Revista Brasileira de Avaliação
https://rbaval.org.br/article/doi/10.4322/rbaval202110017
Revista Brasileira de Avaliação
Artigo original

Metaavaliação: quais padrões de qualidade, porquê, de quem e para quê?

Elizabeth Moreira dos Santos, Andreia Ferreira de Oliveira, Patrícia Pássaro da Silva Toledo, Egléubia Andrade de Oliveira, Gisela Cordeiro Pereira Cardoso, Paulo de Martino Jannuzzi

Downloads: 2
Views: 847

Resumo

Neste artigo problematiza-se dificuldades com o ensino da qualidade de avaliações na formação de avaliadores. A experiência evidencia que a problematização deve ultrapassar as diferenças semânticas, embora as considerem para a clareza dos processos de avaliação da avaliação. Os profissionais, ao mobilizarem as categorias utilizadas em meta-avaliação, devem estar atentos à estas equivalências e às suas mudanças no tempo. Aborda os padrões de qualidade de quatro documentos representativos da influência anglo-saxônica, européia, latino-americana, incluindo as Diretrizes para a prática da avaliação no Brasil. A comparação baseou-se nos pontos críticos dos processos avaliativos, que explicitam a interação entre competência técnica, investigação sistemática e habilidades de negociação envolvendo uma pedagogia e uma prática política. Toma-se como pressuposto para a comparação entre os documentos sete perguntas norteadoras. Os achados apontam a qualidade da avaliação pautada por evidências científicas. São incipientes a prática avaliativa profissional e o valor agregado como aprendizado e melhoria social.

Palavras-chave

Meta-avaliação. Avaliação. Padrões de referência. Terminologia

Referências

Abreu, Dolores Maria Franco de, Santos, Elizabeth Moreira dos, Cardoso, Gisela Cordeiro Pereira, & Artmann, Elizabeth. (2017). Usos e influências de uma avaliação: Translação de conhecimento? Saúde em Debate, 41(spe), 302-316. http://dx.doi.org/10.1590/0103-11042017s22

Abreu, Dolores Maria Franco de. (2018). Usos e influências de uma avaliação de desempenho do Programa de Controle da Tuberculose em três municípios brasileiros (Tese de doutorado). Fundação Oswaldo Cruz, Rio de Janeiro.

Alkin, Marvin C, & Patton, Michael Q. (2020). The birth and adaptation of evaluation theories. Journal of Multidisciplinary Evaluation, 16(35), 1-13.

Almeida, Cristiane Andrea Locatelli de, & Tanaka, Oswaldo Yoshimi. (2017). Meta-avaliação de uma avaliação participativa desenvolvida por gestores municipais de saúde com foco no padrão “utilidade”. Cadernos de Saude Publica, 33(2), http://dx.doi.org/10.1590/0102-311x00105615

Associação Brasileira de Avaliação Educacional – ABAVE. (2019). X Reunião da ABAVE: Avaliação educacional no Brasil. Recuperado em 6 julho, 2021, de https://abave.org.br/x-reuniao-da-abave/

Bezerra, Luciana, Felisberto, Eronildo, Costa, Juliana, & Hartz, Zulmira. (2019). Translação do conhecimento na qualificação. Physis: Revista de Saúde Coletiva, 29(1), e290112.

Clavier, Carole, Sénéchal, Yan, Vibert, Stéphane, & Potvin, Louise. (2012). A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, 34(5), 791-805. PMid:21929647. http://dx.doi.org/10.1111/j.1467-9566.2011.01408.x

Fragoso, Suely, Recuero, Raquel, & Amaral, Adriana. (2013). O panorama de estudos de internet. In Suely Fragoso, Raquel Recuero & Adriana Amaral (Eds.), Métodos de pesquisa para internet (pp. 27-54). Porto Alegre: Sulina.

Furtado, Juarez Pereira, & Laperrière, Hélène. (2011). A avaliação da avaliação. In Rosana Onocko Campos & Juarez Pereira Furtado (Eds.), Desafios da avaliação de programas e serviços de saúde: Novas tendências e questões emergentes (pp. 19-39). Campinas: Unicamp.

Hartz, Zulmira, & Contandriopoulos André-Pierre, 2008. Do quê ao pra quê da meta-avaliação em saúde. In Zulmira Hartz, Eronildo Felisberto & Lígia Vieira-da-Silva (Eds.), Meta-avaliação da atenção básica à saúde: Teoria e prática (pp. 27-46). Rio de Janeiro: Fiocruz.

Hartz, Zulmira, Santos, Elizabeth, & Matida, Álvaro. (2008). Promovendo e analisando o uso e a influência das pesquisas avaliativas: Desafios e oportunidades ao se institucionalizar a avaliação em saúde. In Zulmira Hartz, Eronildo Felisberto & Lígia Vieira-da-Silva (Eds.), Meta-avaliação da atenção básica em saúde: Teoria e prática (pp. 325-340). Rio de Janeiro: Fiocruz.

Joppert, Márcia Paterno. (2021). Fatores para a profissionalização e a importância das diretrizes para a prática da avaliação no Brasil. Revista Brasileira de Avaliação, 10(1), 1-14.

Latour, Bruno. (2011). Ciência em ação: Como seguir cientistas e engenheiros sociedade afora (2. ed.). São Paulo: Editora Unesp.

Latour, Bruno. (2012). Reagregando o social: Uma introdução à teoria do Ator-Rede. Salvador: EDUFBA. Recuperado em 26 de agosto de 2021, de http://www.edufba.ufba.br/2012/11/reagregando-o-socialuma- introducao-a-teoria-do-ator-rede-2/

Love, Arnold, & Russon, Craig. (2004). Evaluation standards in an international context. New Directions for Evaluation, 2004(104), 5-14. http://dx.doi.org/10.1002/ev.132

Melvin, Mark, Gary, Henry, & George, Julnes. (2000). Understanding social betterment and the role of values in evaluation. In George Julnes, Gary Henry & Melvin Mark (Eds.), Evaluation an integrated framework for understanding, guiding and improving policies and programes (pp. 18-49). San Francisco: Jossey-Bass.

Merton, Robert. (1967). On sociological theories of the middle range. In Robert Merton (Ed.), On theoretical sociology: Five essays old and new (pp. 39-72). New York: Free Press. https://doi.org/10.2307/2574724

Oliveira, Euglébia, Cardoso, Gisela C., Santos, Elizabeth M, Oliveira, Margareth Martins, & Cruz, Marly Marques. (2017). O apoiador local como ator estratégico na implementação do QualiSUS-Rede: Engenheiros de conexão? Saúde em Debate, 41(spe), 275-289. http://dx.doi.org/10.1590/0103-11042017s20

Oliveira, Margarete Martins de, Shimizu, Helena Eri, Santos, Elizabeth Moreira dos, & Silva, Everton Nunes da. (2019). Análise estratégica do Projeto QualiSUS-Rede: Contribuições para avaliação em saúde pública. Saúde em Debate, 43(123), 987-1002. http://dx.doi.org/10.1590/0103-1104201912301

Organisation for Economic Co-operation and Development & Development Assistance Committee – OECD. (2010). Quality standards for development evaluation. Paris: OECD Publishing. https://doi. org/10.1787/9789264167100-ar

Organisation for Economic Co-operation and Development & Development Assistance Committee – OECD. OECD/DAC Network on Development Evaluation. (2019). Better criteria for better evaluation: Revised evaluation criteria definitions and principles for use. Paris: OECD Publishing.

Patton, Michael Quinn. (2018). Evaluation science. The American Journal of Evaluation, 39(2), 183-200. http://dx.doi.org/10.1177/1098214018763121

Patton, Michael Quinn. (2020). Blue marble evaluation webinar: Evaluation criteria for transformation. Recuperado em 6 julho, 2021, de https://www.youtube.com/watch?v=5S_nV8yjZgs&t=23s

Pawson, Ray. (2010). Middle range theory and program theory evaluation: From provenance to practice. In Jos Vaessen & Frans Leeuw (Eds.), Mind the gap: Perspectives on policy evaluation and the social sciences (Vol. 16, pp. 171-202). New Brunswick: Transaction Publishers. Recuperado em 26 de agosto de 2021, de https://www.taylorfrancis.com/https://www.taylorfrancis.com/books/edit/10.4324/9781315124537/mind-gap-jos-vaessen-frans-leeuw

Potvin, Louise, & Bisset, Sherri. (2009). There is more to methodology than method. In Louise Potvin & David McQueen (Eds.), Health promotion evaluation practices in Americas: Values and research (p. 63-80). New York: Springer-Verlag. https://doi.org/10.1007/978-0-387-79733-5

Potvin, Louise, & Bisset, Sherri. (2014). Há mais na metodologia do que o método. In Zulmira Hartz, Louise Potvin & Regina Bodstein (Eds.), Avaliação em promoção da saúde: Uma antologia comentada da parceria entre o Brasil e a Cátedra de abordagens comunitárias e iniquidades em saúde (CACIS), da Universidade de Montreal de 2002 a 2012. Brasília: CONASS. (Tradução do texto de 2009).

Rodríguez Bilella, Pablo, Martinic Valencia, Sergio, Soberón Alvarez, Luis, Klier, Sarah, Guzmán Hernández, Ana, Tapella, Esteban. (2016). Diretrizes para avaliação para a América Latina e o Caribe (1. ed.). Ciudad Autónoma de Buenos Aires.

Santos, Elizabeth M, Cardoso, Gisela C.P, & Abreu, Dolores F. (2019). E-learning and problematizing pedagogies: A brazilian experience in monitoring and evaluation teaching. In André Pereira Neto & Matthew Flynn (Eds.), The Internet and health in Brazil: Challenges and trends (p. 275–298). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-99289-1

Scriven, Michael. (1991). Evaluation Thesaurus (4th ed., 228 p.). California: Sage. Silva, Rogério Renato, Joppert, Marcia Paterno, & Gasparini, Max Felipe Vianna. (2020). Diretrizes para a prática de avaliação no Brasil (1. ed.). Rede Brasileira de Monitoramento e Avaliação. Recuperado em 26 de agosto de 2021, de https://drive.google.com/file/d/11dGgY6SG5juPp1lb4L6fuuuxOIT4ArDR/ view?usp=sharing&usp=embed_facebook

Stufflebeam, Daniel, & Shinkfield, Anthony. (2007). Metaevaluation evaluating evaluations. In Daniel Stufflbeam & Anthony Shinkfeld (Eds.), Evaluation theory, models & applications (1st ed., pp. 647-684). San Francisco: Jossey-Bass.

Stufflebeam, Daniel, Madaus, George, & Kellaghan, Thomas. (2000). Evaluation models: Viewpoints on educational and human services evaluation (2nd ed). Boston: Kluwer Academic. <jrn>Stufflebeam, Daniel. (2001). Evaluation models. New Directions for Evaluation, 2001(89), 7-98. http://dx.doi.org/10.1002/ev.3

The Joint Committee on Standards for Educational Evaluation – JCSEE. (1994). The program evaluation standards: How to assess evaluations of educational programs (2nd ed.). Thousand Oaks: Sage Publications.

The Joint Committee on Standards for Educational Evaluation – JCSEE. (2021). Recuperado em 26 de agosto de 2021, de https://evaluationstandards.org/

Worthen, B. R., Sanders, J. R., & Fitzpatrick, J. L. (1997). Program evaluation: Alternative approaches and practical guidelines. White Plains: Longman.

Yarbrough, Donald. (2017). Developing the program evaluation utility standards: Scholarly foundations and collaborative processes. The Canadian Journal of Program Evaluation, 31(3), http://dx.doi.org/10.3138/cjpe.349

Yarbrough, Donald, Shula, Lyn, Hopson, Rodney, & Caruthers, Flora. (2010). The program evaluation standards: A guide for evaluators and evaluation users (3rd ed.). Thousand Oaks, CA: Corwin Press.


Submetido em:
26/08/2021

Aceito em:
31/08/2021

6172fdc7a953954760021088 rbaval Articles
Links & Downloads

Revista Brasileira de Avaliação

Share this page
Page Sections