Los días 27 y 28 de febrero de 2023, el Independent Advisory and Evaluation Service (IAES) de CGIAR celebró un taller en Roma, Italia, sobre su nueva serie de guías de evaluación. Basadas en el Marco de referencia de la QoR4D del Independent Science for Development Council (ISDC), ofrecen el marco, los criterios, las dimensiones y los métodos para la evaluación de la QoR4D, tanto dentro del CGIAR como en otras organizaciones afines. El diseño de este evento híbrido en línea y presencial tuvo como fin ayudar a los profesionales dentro y fuera del CGIAR System Organization a entender y aplicar las pautas nuevas a sus propios contextos evaluativos.
Hablamos con los consultores de evaluación Emma Rotondo y Rodrigo Paz Ybarnegaray para conocer en mayor profundidad sus experiencias en el taller y sus aspiraciones relacionadas de cara al futuro. Rotondo es consultora de evaluación internacional basada en Perú, presidenta de la Red Peruana de Evaluación (EvalPerú) y fundadora de la Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe (ReLAC). Por otro lado, Paz Ybarnegaray, es especialista de evaluación internacional basado en Bolivia. En la actualidad, es gerente de evidencia e impacto para la Fundación Cadasta, tras haber ejercido como consultor de evaluación independiente, incluso para muchos centros del CGIAR.
P: Antes de este taller, ¿qué conocíais del CGIAR, el ISDC y la Función de evaluación?
Rotondo: Yo dirigí el área de evaluación del proyecto de la plataforma de la Iniciativa Andina para el Centro Internacional de la Papa (CIP) del CGIAR durante cuatro años, entre 2007 y 2011. Realizamos ahí unas once evaluaciones de impacto en cuatro países andinos –Perú, Bolivia, Ecuador y Colombia– y generamos un inventario de métodos participativos para la innovación.
Paz Ybarnegaray: Yo trabajé con distintos centros del CGIAR –CIMMYT, CIAT, IFRI y World Fish– como consultor de evaluación, y varias veces con World Fish como científico de evaluación. El ISDC evaluaba algunos de los proyectos en los cuales participé en esos centros.
P: ¿Se cumplieron vuestras expectativas del taller? ¿Surgieron aprendizajes no esperados?
Rotondo: Para mí, fue un encuentro de gran importancia porque retomé el contacto con el tema de la evaluación en la investigación. Tuve mucho interés en aprender sobre cómo la evaluación puede retroalimentar las fases de planificación y diseño de intervenciones futuras. Opino que esta Guía de evaluación es muy potente y la considero muy actualizada y relevante.
Paz Ybarnegaray: Yo aprendí que el trabajo en términos de intentar crear marcos, procesos, pautas, métodos, herramientas, etc. no es nuevo. para apoyar a los centros del CGIAR en su evaluación de la calidad de la investigación. Que yo sepa, lo que sí es nuevo es que esta es la primera vez que se está realizando un esfuerzo colectivo, sistemático e integral para lograrlo, en el cual todos los centros participan como parte de One CGIAR. Fue muy positivo escuchar que el equipo había logrado ampliar el proceso para incluir hasta la producción misma de la guía.
Es más, fue muy interesante la naturaleza participativa mediante la cual lo hizo, en consulta con distintas personas en diversos niveles y con la involucración de profesionales de la evaluación en el proceso, con asesores de prestigio aportando retroalimentación al proceso, etc., y produciendo algo que parece ser una muy buena herramienta con un gran potencial en el entorno del CGIAR.
Han desarrollado una forma muy sistemática, exhaustiva e interesante como perspectiva de cómo evaluar la investigación y la producción científica, pero a la vez como herramienta sumamente práctica. A veces se puede generar algo muy complejo y difícil de operativizar, pero estas pautas eran especialmente prácticas, y esa es la clave para que sea posible implementarlas a todos los niveles del CGIAR System Organization.
P: ¿Habéis echado en falta otros temas de los que os hubiera gustado saber más?
Rotondo: Son tres los temas que creo es muy importante desarrollar en mayor profundidad en el futuro. El primero es sobre herramientas de evaluación para contextos que son frágiles y cambiantes, y cómo se puede improvisar en este tipo de situaciones. El segundo es el análisis contextual: es algo extremadamente complejo de hacer y a la vez tremendamente importante en una evaluación. Es indispensable que integre elementos sociales, comunitarios y organizacionales. El tercer tema es sopesar las «habilidades blandas» o competencias interpersonales de los evaluadores.
Paz Ybarnegaray: Lo único –y esto ocurre siempre y no es culpa de la organización– es la falta de tiempo, porque las conversaciones eran excelentes, y muchas veces se tuvieron que finalizar las sesiones cuando el público aún deseaba más tiempo de aprendizaje y debate.
P: ¿Qué considerasteis lo más apasionante (p. ej., sesiones, personas, estudios de caso)?
Rotondo: La selección de las personas que estaban presentes. Los participantes acudieron desde regiones diferentes y tenían relaciones muy dispares con la investigación y la evaluación. Supuso un reto tender un puente entre estas distintas comunidades de investigación y evaluación –no es sencillo hacerlo– pero fue muy interesante: este tipo de diálogo abre las puertas a otras perspectivas, suposiciones, intereses y enfoques.
Paz Ybarnegaray: Las personas eran absolutamente cautivadoras. Era un reencuentro con colegas y amistades viejas, y también hice conexiones nuevas con otras personas a quienes también les interesa este tipo de trabajo. Además, las sesiones y los ejercicios eran fascinantes y estimuladores, y una actividad ideal para sumergirnos en los detalles de las guías y sobre cómo enfocar una evaluación. En general, era muy emocionante ver la materialización de un gran esfuerzo y que se va a implementar y, se espera, generar información útil para guiar a otros centros respecto de cómo hacen su investigación y para guiar los procesos en distintos niveles de la producción científica.
P: ¿Cómo os gustaría continuar vuestra implicación a nivel personal con el IAES/Evaluación y el CGIAR en torno a este tema y en relación a las guías? En su caso, ¿cuál?
Rotondo: Sí, de dos maneras. Primero, como líder de la red nacional de evaluación profesional y como miembros de una red regional de evaluadores. Considero que el tema de la evaluación en la investigación no está suficientemente posicionado dentro de la comunidad de evaluadores. Por tanto, es primordial crear espacios para el debate, el intercambio de información y la elaboración de propuestas.
Segundo, tengo interés y experiencia por temas relacionados con género, inclusión social, reducción de la pobreza, innovación, resiliencia y, en particular, por programas en situaciones y contextos de alta vulnerabilidad. Considero que esta guía da importancia a estos temas, y que podré contribuir más a estos ámbitos también.
Paz Ybarnegaray: Este tipo de evaluación se enmarca en un espacio muy reducido: en los ámbitos universitarios y de centros de investigación a nivel mundial y, por supuesto, para los estudios propios del CGIAR. En estos momentos, mis esfuerzos se centran más en el desarrollo y mucho menos en la investigación, por lo que no aplico directamente este tipo de herramientas. Sin embargo, si en el futuro participase en alguna evaluación enfocada en particular sobre la calidad de la investigación, pienso que estas pautas serán de gran utilidad.
