Meta-Avaliação é a avaliação da avaliação. O presente trabalho descreve o processo de meta-avaliação conduzido numa instituição universitária (Centro Universitário Newton Paiva, Minas Gerais, Brasil) pela Fundação Cesgranrio, Rio de Janeiro, Brasil, sendo o foco da meta-avaliação a auto-avaliação da referida instituição. O princÃpio desencadeador da tarefa foi o entendimento da meta-avaliação como atividade crucial para assegurar a integridade de uma avaliação, desde a sua concepção até seus resultados. Nesse sentido, a meta-avaliação verificou até que ponto a auto-avaliação em questão correspondeu à s quatro categorias de standards ou padrões de programas avaliativos (JOINT COMMITEE ON STANDARDS FOR EDUCATIONAL EVALUATION, 1994) em termos de utilidade (atendendo à s necessidades de informação dos interessados), viabilidade (sendo realÃstica, prudente, diplomática e simples), ética (sendo legal e ética) e precisão (revelando de forma técnica e adequada informações sobre como o julgamento de mérito e de relevância foram feitos). Tais padrões foram verificados ao longo da avaliação em curso (meta-avaliação formativa) e ao final (meta-avaliação somativa). Os passos metodológicos (STUFFLEBEAM, 2000) incluÃram a interação inicial com os envolvidos e interessados na missão, a escolha de uma equipe qualificada para a condução do processo, a definição das questões de meta-avaliação, o acordo quanto os padrões de julgamento da avaliação do Centro Universitário Newton Paiva, a elaboração do contrato de meta-avaliação, a coleta e revisão da informação acessÃvel e necessária, a análise e interpretação de informações quantitativas e qualitativas à luz dos padrões, a elaboração de informes e a colaboração, junto à instituição-cliente e aos interessados em geral, na interpretação e aplicação de resultados. Tão importante quanto a constatação do sucesso na execução da avaliação do Centro Universitário Newton Paiva foi o fortalecimento da capacidade avaliativa entre os envolvidos, através de uma abordagem inovadora de empowerment (FETTERMAN, 2001) assegurada ao longo de toda a missão – um resultado que emerge como um dos maiores desafios da avaliação no século XXI.
Metaevaluation is evaluation of an evaluation (STUFFLEBEAM; SHINKFIELD, 1985). This paper desribes the metaevaluation conducted by the Cesgranrio Foundation, Rio de Janeiro, Brazil, which focused on the self-evaluation conduted by Newton Paiva University Center in Minas Gerais, Brazil. In seeking to assure the integrity of the Newton Paiva University Center evaluation from conception to results, the metaevaluation verified how far the four Program Evaluation Categories of Standards (JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION, 1994) were met in the Newton Paiva University Center evaluation – utility (serving user needs), feasibility (being realistic, prudent, diplomatic and fugal); propriety (legal and ethical implementation); and accuracy (revealing technically adequate information about how merit and worth judgments were made). The verification was carried out throughout its process (formative metaevaluation) and again at its conclusion (summative metaevaluation). The methodological steps (STUFFLEBEAM, 2000) included: initial interations with pertinent stakeholders; organizing a qualified metaevaluation team; formulating metaevaluative questions; agreeing on standards to judge the Newton Paiva University Center evaluation; framing the metaevaluation contract; collecting and reviewing avalible and addicional information; applying the standards to analyse and interpret (qualitative and quantitative) information; preparing and submitting reports; and helping the client and other stakeholders interpret and use results. An outcome just as important as the success of the Newton Paiva University Center evaluation was strengtheningt the evaluation capacity of its stakeholders – the foremost challenge posed for evaluation in the 21th century – by following an empowerment (FETTERMAN, 2001) approach througthout the process.
Meta-Evaluación es la evaluación de la evaluación. Este trabajo describe el proceso de meta-evaluación llevado acabo en una institución universitaria (Centro Universitario Newton Paiva, Minas Gerais, Brasil) por la Fundación Cesgranrio, Rio de Janeiro, Brasil, siendo el foco de la Meta-evaluación, la auto-evaluación de la referida institución. El principio desencadenador da la tarea fue el entendimiento de la meta-evaluación como actividad crucial para asegurar la integridad de una evaluación, desde su concepción hasta sus resultados. En este sentido, la meta-evaluación verificó hasta que punto la auto evaluación en cuestión correspondió a las cuatro categorÃas de programas Standards evaluativos (JOINT COMMITEE ON STANDARDS FOR EDUCATIONAL EVALUATION, 1994) en términos de utilidad, (atendiendo a las necesidades de información de los interesados) viabilidad, (siendo realista prudente, diplomática y sencilla), ética (siendo legal y ética) y precisión (revelando de forma técnica y adecuada, informaciones sobre como el juzgamiento de mérito y de relevancia fueron hechos). Tales modelos fueron verificados a lo largo de la evaluación en curso (meta-evaluación formativa) y al final (meta-evaluación sumativa). Los pasos metodológicos (STUFFLEBEAM, 2000) incluyeron la interacción inicial con los envueltos y interesados en la misión, la elección de un equipo cualificado para la conducción del proceso, la definición de las cuestiones de meta-evaluación, el acuerdo cuanto a los modelos de juzgamiento de la evaluación del Centro Universitario Newton Paiva, la colaboración del contrato de meta-evaluación, la colecta y revisión de la información accesible y necesaria, el análisis y interpretación de información cuantitativas y cualiatativas a la luz de los padrones, a elaboración de informes y la colaboración junto a la institución cliente y a los interesados en general, en la interpretación y aplicación de los resultados. Tan importante como la constatación del éxito en la ejecución de la evaluación del Centro Universitario Newton Paiva fue el fortalecimiento de la capacidad evaluadora entre los envueltos, a través de un abordaje innovador de empowerment (FETTERMAN, 2001) asegurado a lo largo de toda la misión – un resultado que emerge como uno de los mayores desafÃos de la evaluación en siglo XXI.
