Metaavaliação: quais padrões de qualidade, porquê, de quem e para quê?
Elizabeth Moreira dos Santos, Andreia Ferreira de Oliveira, Patrícia Pássaro da Silva Toledo, Egléubia Andrade de Oliveira, Gisela Cordeiro Pereira Cardoso, Paulo de Martino Jannuzzi
Resumo
Neste artigo problematiza-se dificuldades com o ensino da qualidade de avaliações na formação de avaliadores. A experiência evidencia que a problematização deve ultrapassar as diferenças semânticas, embora as considerem para a clareza dos processos de avaliação da avaliação. Os profissionais, ao mobilizarem as categorias utilizadas em meta-avaliação, devem estar atentos à estas equivalências e às suas mudanças no tempo. Aborda os padrões de qualidade de quatro documentos representativos da influência anglo-saxônica, européia, latino-americana, incluindo as Diretrizes para a prática da avaliação no Brasil. A comparação baseou-se nos pontos críticos dos processos avaliativos, que explicitam a interação entre competência técnica, investigação sistemática e habilidades de negociação envolvendo uma pedagogia e uma prática política. Toma-se como pressuposto para a comparação entre os documentos sete perguntas norteadoras. Os achados apontam a qualidade da avaliação pautada por evidências científicas. São incipientes a prática avaliativa profissional e o valor agregado como aprendizado e melhoria social.
Palavras-chave
References
Abreu, Dolores Maria Franco de, Santos, Elizabeth Moreira dos, Cardoso, Gisela Cordeiro Pereira, & Artmann, Elizabeth. (2017). Usos e influências de uma avaliação: Translação de conhecimento? Saúde em Debate, 41(spe), 302-316. http://dx.doi.org/10.1590/0103-11042017s22
Abreu, Dolores Maria Franco de. (2018). Usos e influências de uma avaliação de desempenho do Programa de Controle da Tuberculose em três municípios brasileiros (Tese de doutorado). Fundação Oswaldo Cruz, Rio de Janeiro.
Alkin, Marvin C, & Patton, Michael Q. (2020). The birth and adaptation of evaluation theories. Journal of Multidisciplinary Evaluation, 16(35), 1-13.
Almeida, Cristiane Andrea Locatelli de, & Tanaka, Oswaldo Yoshimi. (2017). Meta-avaliação de uma avaliação participativa desenvolvida por gestores municipais de saúde com foco no padrão “utilidade”. Cadernos de Saude Publica, 33(2), http://dx.doi.org/10.1590/0102-311x00105615
Associação Brasileira de Avaliação Educacional – ABAVE. (2019). X Reunião da ABAVE: Avaliação educacional no Brasil. Recuperado em 6 julho, 2021, de https://abave.org.br/x-reuniao-da-abave/
Bezerra, Luciana, Felisberto, Eronildo, Costa, Juliana, & Hartz, Zulmira. (2019). Translação do conhecimento na qualificação. Physis: Revista de Saúde Coletiva, 29(1), e290112.
Clavier, Carole, Sénéchal, Yan, Vibert, Stéphane, & Potvin, Louise. (2012). A theory-based model of translation practices in public health participatory research. Sociology of Health & Illness, 34(5), 791-805. PMid:21929647. http://dx.doi.org/10.1111/j.1467-9566.2011.01408.x
Fragoso, Suely, Recuero, Raquel, & Amaral, Adriana. (2013). O panorama de estudos de internet. In Suely Fragoso, Raquel Recuero & Adriana Amaral (Eds.), Métodos de pesquisa para internet (pp. 27-54). Porto Alegre: Sulina.
Furtado, Juarez Pereira, & Laperrière, Hélène. (2011). A avaliação da avaliação. In Rosana Onocko Campos & Juarez Pereira Furtado (Eds.), Desafios da avaliação de programas e serviços de saúde: Novas tendências e questões emergentes (pp. 19-39). Campinas: Unicamp.
Hartz, Zulmira, & Contandriopoulos André-Pierre, 2008. Do quê ao pra quê da meta-avaliação em saúde. In Zulmira Hartz, Eronildo Felisberto & Lígia Vieira-da-Silva (Eds.), Meta-avaliação da atenção básica à saúde: Teoria e prática (pp. 27-46). Rio de Janeiro: Fiocruz.
Hartz, Zulmira, Santos, Elizabeth, & Matida, Álvaro. (2008). Promovendo e analisando o uso e a influência das pesquisas avaliativas: Desafios e oportunidades ao se institucionalizar a avaliação em saúde. In Zulmira Hartz, Eronildo Felisberto & Lígia Vieira-da-Silva (Eds.), Meta-avaliação da atenção básica em saúde: Teoria e prática (pp. 325-340). Rio de Janeiro: Fiocruz.
Joppert, Márcia Paterno. (2021). Fatores para a profissionalização e a importância das diretrizes para a prática da avaliação no Brasil. Revista Brasileira de Avaliação, 10(1), 1-14.
Latour, Bruno. (2011). Ciência em ação: Como seguir cientistas e engenheiros sociedade afora (2. ed.). São Paulo: Editora Unesp.
Latour, Bruno. (2012). Reagregando o social: Uma introdução à teoria do Ator-Rede. Salvador: EDUFBA. Recuperado em 26 de agosto de 2021, de http://www.edufba.ufba.br/2012/11/reagregando-o-socialuma- introducao-a-teoria-do-ator-rede-2/
Love, Arnold, & Russon, Craig. (2004). Evaluation standards in an international context. New Directions for Evaluation, 2004(104), 5-14. http://dx.doi.org/10.1002/ev.132
Melvin, Mark, Gary, Henry, & George, Julnes. (2000). Understanding social betterment and the role of values in evaluation. In George Julnes, Gary Henry & Melvin Mark (Eds.), Evaluation an integrated framework for understanding, guiding and improving policies and programes (pp. 18-49). San Francisco: Jossey-Bass.
Merton, Robert. (1967). On sociological theories of the middle range. In Robert Merton (Ed.), On theoretical sociology: Five essays old and new (pp. 39-72). New York: Free Press. https://doi.org/10.2307/2574724
Oliveira, Euglébia, Cardoso, Gisela C., Santos, Elizabeth M, Oliveira, Margareth Martins, & Cruz, Marly Marques. (2017). O apoiador local como ator estratégico na implementação do QualiSUS-Rede: Engenheiros de conexão? Saúde em Debate, 41(spe), 275-289. http://dx.doi.org/10.1590/0103-11042017s20
Oliveira, Margarete Martins de, Shimizu, Helena Eri, Santos, Elizabeth Moreira dos, & Silva, Everton Nunes da. (2019). Análise estratégica do Projeto QualiSUS-Rede: Contribuições para avaliação em saúde pública. Saúde em Debate, 43(123), 987-1002. http://dx.doi.org/10.1590/0103-1104201912301
Organisation for Economic Co-operation and Development & Development Assistance Committee – OECD. (2010). Quality standards for development evaluation. Paris: OECD Publishing. https://doi. org/10.1787/9789264167100-ar
Organisation for Economic Co-operation and Development & Development Assistance Committee – OECD. OECD/DAC Network on Development Evaluation. (2019). Better criteria for better evaluation: Revised evaluation criteria definitions and principles for use. Paris: OECD Publishing.
Patton, Michael Quinn. (2018). Evaluation science. The American Journal of Evaluation, 39(2), 183-200. http://dx.doi.org/10.1177/1098214018763121
Patton, Michael Quinn. (2020). Blue marble evaluation webinar: Evaluation criteria for transformation. Recuperado em 6 julho, 2021, de https://www.youtube.com/watch?v=5S_nV8yjZgs&t=23s
Pawson, Ray. (2010). Middle range theory and program theory evaluation: From provenance to practice. In Jos Vaessen & Frans Leeuw (Eds.), Mind the gap: Perspectives on policy evaluation and the social sciences (Vol. 16, pp. 171-202). New Brunswick: Transaction Publishers. Recuperado em 26 de agosto de 2021, de https://www.taylorfrancis.com/https://www.taylorfrancis.com/books/edit/10.4324/9781315124537/mind-gap-jos-vaessen-frans-leeuw
Potvin, Louise, & Bisset, Sherri. (2009). There is more to methodology than method. In Louise Potvin & David McQueen (Eds.), Health promotion evaluation practices in Americas: Values and research (p. 63-80). New York: Springer-Verlag. https://doi.org/10.1007/978-0-387-79733-5
Potvin, Louise, & Bisset, Sherri. (2014). Há mais na metodologia do que o método. In Zulmira Hartz, Louise Potvin & Regina Bodstein (Eds.), Avaliação em promoção da saúde: Uma antologia comentada da parceria entre o Brasil e a Cátedra de abordagens comunitárias e iniquidades em saúde (CACIS), da Universidade de Montreal de 2002 a 2012. Brasília: CONASS. (Tradução do texto de 2009).
Rodríguez Bilella, Pablo, Martinic Valencia, Sergio, Soberón Alvarez, Luis, Klier, Sarah, Guzmán Hernández, Ana, Tapella, Esteban. (2016). Diretrizes para avaliação para a América Latina e o Caribe (1. ed.). Ciudad Autónoma de Buenos Aires.
Santos, Elizabeth M, Cardoso, Gisela C.P, & Abreu, Dolores F. (2019). E-learning and problematizing pedagogies: A brazilian experience in monitoring and evaluation teaching. In André Pereira Neto & Matthew Flynn (Eds.), The Internet and health in Brazil: Challenges and trends (p. 275–298). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-99289-1
Scriven, Michael. (1991). Evaluation Thesaurus (4th ed., 228 p.). California: Sage. Silva, Rogério Renato, Joppert, Marcia Paterno, & Gasparini, Max Felipe Vianna. (2020). Diretrizes para a prática de avaliação no Brasil (1. ed.). Rede Brasileira de Monitoramento e Avaliação. Recuperado em 26 de agosto de 2021, de https://drive.google.com/file/d/11dGgY6SG5juPp1lb4L6fuuuxOIT4ArDR/ view?usp=sharing&usp=embed_facebook
Stufflebeam, Daniel, & Shinkfield, Anthony. (2007). Metaevaluation evaluating evaluations. In Daniel Stufflbeam & Anthony Shinkfeld (Eds.), Evaluation theory, models & applications (1st ed., pp. 647-684). San Francisco: Jossey-Bass.
Stufflebeam, Daniel, Madaus, George, & Kellaghan, Thomas. (2000). Evaluation models: Viewpoints on educational and human services evaluation (2nd ed). Boston: Kluwer Academic. <jrn>Stufflebeam, Daniel. (2001). Evaluation models. New Directions for Evaluation, 2001(89), 7-98. http://dx.doi.org/10.1002/ev.3
The Joint Committee on Standards for Educational Evaluation – JCSEE. (1994). The program evaluation standards: How to assess evaluations of educational programs (2nd ed.). Thousand Oaks: Sage Publications.
The Joint Committee on Standards for Educational Evaluation – JCSEE. (2021). Recuperado em 26 de agosto de 2021, de https://evaluationstandards.org/
Worthen, B. R., Sanders, J. R., & Fitzpatrick, J. L. (1997). Program evaluation: Alternative approaches and practical guidelines. White Plains: Longman.
Yarbrough, Donald. (2017). Developing the program evaluation utility standards: Scholarly foundations and collaborative processes. The Canadian Journal of Program Evaluation, 31(3), http://dx.doi.org/10.3138/cjpe.349
Yarbrough, Donald, Shula, Lyn, Hopson, Rodney, & Caruthers, Flora. (2010). The program evaluation standards: A guide for evaluators and evaluation users (3rd ed.). Thousand Oaks, CA: Corwin Press.
Submitted date:
08/26/2021
Accepted date:
08/31/2021
Facebook
Google+
Twitter
LinkedIn
Mendeley
StumbleUpon
CiteULike
Reddit
Email