¿Y si la evaluación estaba haciendo la pregunta equivocada?

En VOZES hacemos muchas evaluaciones. Algunas buscan entender los resultados de un programa, otras revisar una estrategia, identificar aprendizajes o producir evidencia que permita tomar mejores decisiones. Casi siempre empiezan con preguntas bastante claras: qué funcionó, qué cambió, qué podría hacerse mejor, qué explica determinados resultados.

Pero una de las cosas que más nos interesa de estos procesos ocurre cuando esas preguntas empiezan a moverse.

Hace un tiempo acompañamos la evaluación de un programa que llevaba varios años trabajando apoyando a organizaciones en distintos países. Una de las preguntas iniciales tenía que ver con la manera en que el programa podía mejorar el apoyo que ofrecía. Había información, experiencia acumulada, percepciones de las organizaciones participantes y muchos años de implementación sobre los que mirar.

Podríamos haber organizado toda esa evidencia alrededor de la pregunta original y producido recomendaciones para mejorar el programa. En parte, eso era lo que se esperaba de la evaluación.

Sin embargo, a medida que avanzamos, empezamos a preguntarnos si estábamos mirando el problema desde el lugar correcto.

Lo que aparecía no hablaba solamente de la calidad o pertinencia de determinados apoyos. También mostraba cómo se definían las necesidades, quién podía identificarlas, en qué momento se conversaba sobre ellas y cuánto margen existía para que cambiaran durante la implementación. Poco a poco, una pregunta sobre qué apoyo ofrecer empezó a convertirse en otra: cómo construir una relación en la que las organizaciones tengan mayor capacidad para definir qué necesitan, cuándo lo necesitan y qué tipo de acompañamiento tiene sentido para ellas.

El desplazamiento puede parecer pequeño, pero cambia bastante. Porque si el problema es mejorar una oferta de apoyo, probablemente la respuesta sea diseñar mejores herramientas, modalidades o servicios. Si el problema tiene que ver también con quién define las necesidades y cómo se toman esas decisiones, entonces aparecen otras cuestiones: autonomía, escucha, relaciones de poder, flexibilidad, confianza. Y las respuestas posibles empiezan a ser otras.

Nos ha pasado algo parecido en distintos procesos. Una evaluación sobre una estrategia de aprendizaje puede mostrar que existe mucha información, pero muy pocos espacios donde interpretarla colectivamente y permitir que afecte una decisión. Un diagnóstico sobre sostenibilidad puede llevarnos de la pregunta por cómo conseguir más recursos a preguntarnos qué capacidades queremos sostener y cuánto cuesta hacerlo.

En esos casos, la evidencia hizo algo más que responder una pregunta: nos permitió reformularla.

Y para que eso ocurra no necesariamente necesitamos producir más información. Muchas organizaciones ya tienen datos, evaluaciones, sistemas de monitoreo y años de experiencia acumulada. Lo difícil muchas veces es encontrar las condiciones para detenerse frente a todo eso, poner distintas fuentes en relación y aceptar que aquello que encontramos pueda modificar la pregunta con la que empezamos.

Los 55 minutos del problema

Hay una idea que usamos mucho y que, aunque exagera deliberadamente la proporción, expresa bastante bien nuestra manera de trabajar: si tenemos una hora para resolver un problema, vale la pena dedicar 55 minutos a comprenderlo y cinco a pensar qué hacer.

En organizaciones atravesadas por urgencias, esa proporción suele invertirse. Aparece un problema y rápidamente buscamos una actividad, una herramienta, una capacitación, un nuevo procedimiento. Hay razones comprensibles para hacerlo: los proyectos tienen cronogramas, los equipos necesitan avanzar, los recursos son limitados y muchas veces hay que responder mientras las cosas están sucediendo.

Pero quizás el riesgo no sea solamente llegar demasiado rápido a una solución. Es posible que estemos intentando resolver un problema que todavía no comprendemos bien.

Dedicar más tiempo a mirar no significa producir diagnósticos interminables ni esperar a comprenderlo todo antes de actuar. Significa admitir que la primera manera en que formulamos un problema es también una hipótesis, construida desde aquello que estamos mirando, las preguntas que hacemos y las fuentes de información que consideramos relevantes.

Y quizás ahí haya algo todavía más importante. En las organizaciones hemos aprendido a mirar algunas cosas mucho mejor que otras. Tenemos datos sobre resultados, presupuestos, indicadores, actividades, alcance. Pero hay otras fuentes que entran mucho menos en nuestras lecturas: qué está capturando nuestra atención, qué conversaciones evitamos, dónde aparece sistemáticamente el agotamiento, qué nos entusiasma y qué nos quita energía, qué perciben nuestros cuerpos, qué sabemos por experiencia aunque todavía no sepamos convertirlo en un indicador.

No se trata de reemplazar la evidencia por intuiciones ni de que todas esas fuentes tengan el mismo peso para cualquier decisión. Se trata de preguntarnos qué parte de la realidad queda afuera cuando decidimos, de antemano, qué información cuenta.

Por eso nos gusta tanto esa idea de dedicar 55 minutos a comprender el problema y cinco a pensar la solución. No porque mirar más tiempo garantice una respuesta mejor, sino porque esos 55 minutos pueden permitirnos descubrir que estábamos intentando resolver el problema equivocado.

Para nosotras, ahí hay una parte central del trabajo de evaluar, investigar y acompañar organizaciones: ampliar lo que somos capaces de ver, poner en relación información que suele vivir separada y hacernos preguntas suficientemente buenas como para que aquello que encontremos pueda cuestionar incluso nuestra formulación inicial del problema.

A veces la pregunta con la que empezamos seguirá siendo la correcta. Otras veces, la evidencia, la experiencia, las relaciones, el contexto o aquello que la propia organización viene sintiendo hace tiempo nos llevarán a formular otra.

Y entonces no habremos encontrado todavía la solución. Pero quizás hayamos hecho algo más importante: empezar a comprender qué necesitamos realmente resolver.