1.2.1.  Haciendo un poco de historia

En la historia de la evaluación los aportes de Ralph Tyler marcaron un hito. En la década del cuarenta  su perspectiva  instaló  esta problemática en el campo de la educación, puesto que hasta entonces era un tema del ámbito empresarial, de la industria, de la economía y a principios del siglo pasado, también de la psicología. El auge de la psicometría y el énfasis puesto en el desarrollo de  los tests psicológicos orientados a medir la inteligencia, las capacidades cognitivas, las destrezas escolares y diversos aspectos de la conducta humana, fueron el preludio del trabajo tayleriano. Es este autor quién advirtió que el fracaso del alumno dentro de la escuela no se debía a limitaciones propias del estudiante, a su escasa inteligencia, sino  que su origen correspondía buscarlo en el contexto institucional y en la habilidad de los profesores para definir el programa curricular más adecuado (Carrión Carranza, 2001). El ajuste entre los logros de un programa y sus objetivos definidos previamente es la esencia del modelo sostenido por Tyler, para quien la evaluación tiene como fin principal determinar el grado de consecución de los objetivos previstos, después de haber desarrollado lo planificado. Tyler sostiene una concepción conductista que se mantendrá por unas cuantas décadas más.

La preocupación central de evaluar programas para evitar gastos innecesarios en educación, contrastando los objetivos diseñados con aquellos que se lograban y utilizando para ello metodologías cuantitativistas, estuvo presente durante los años sesenta y setenta. La evaluación era solicitada (y  pagada) por organismos internacionales, funcionarios de gobierno y  fundaciones, interesados en verificar los resultados obtenidos (Municio, 2006). La evaluación que se lleva a cabo en ese período es externa y generalmente se concreta una vez que ha concluido el programa o proyecto.

Durante ese período comienzan a fundarse asociaciones profesionales dedicadas a la evaluación, especialmente en Estados Unidos (en 1970 se crea la Asociación de Evaluadores Phi Delta Kappa International, en 1976 la Evaluation Research Society y posteriormente, en 1986 se funda la American Evaluation Association). “Desde la mitad de la década de los 70 la evaluación emergió como una profesión distinta de la investigación académica” (Martínez Mediano, 2007:128).

La década del ochenta marca un fuerte desarrollo de lo cualitativo, los procesos –en oposición a los resultados– atrapan la atención de los evaluadores. Surgen múltiples modelos  que expresan la inquietud de incluir al implicado en la evaluación, hecho que no siempre se concretó en las praxis. Los métodos etnográficos cobran importancia y se resalta fuertemente el papel de la audiencia en las indagaciones.

Muchos países comienzan a desplegar procesos de descentralización de sus instituciones sociales y educativas, movimiento que acompañó la evaluación, otorgándose  mayor poder sobre la misma a las instituciones y a los profesores.

En los años noventa la evaluación estuvo estrechamente ligada al concepto de calidad. Japón, Estados Unidos y Europa crearon modelos de evaluación (Deming, Baldridge, EFQM, entre otros) orientados a indagar y transformar las organizaciones. La evaluación se concibe como herramienta de empoderamiento de los actores, se entiende como parte del propio trabajo.

Los países de América Latina en su mayoría, inauguran en ese momento sus sistemas nacionales de evaluación de la calidad. Los programas educativos emanados de organismos gubernamentales y no gubernamentales intentan inscribirse en una planificación estratégica situacional –aunque a veces sólo en lo discursivo– asumiendo a la evaluación con sentido renovado. La  evaluación se constituye en la instancia indispensable, para garantizar el correcto rumbo de las acciones planificadas.

La primera década de este siglo devela a la evaluación educativa como un fenómeno complejo, que es abordado desde una multiplicidad de modelos, en diversos ámbitos de acción. La misma es en esencia una acción política y ética, en tanto se sustenta en determinada ideología y se organiza en torno a ciertos valores que le dan sentido.

1.2.2.  Los momentos de la evaluación

La evaluación de un programa  atraviesa sus diferentes fases.

Puede plantearse una evaluación previa (ex - ­ante) con el propósito de detectar las problemáticas existentes para elaborar una adecuada intervención. Es el inicio de un programa o proyecto, la idea, la representación mental o el germen que se encuentra en el contexto de descubrimiento (Mendicoa, 2006).

Es posible evaluar el diseño de un programa para verificar la calidad técnica en la definición de cada componente del mismo, para identificar la presencia de los elementos básicos, para analizar la correspondencia multidireccional entre los componentes enunciados –lo que define el grado de consistencia interna que posee esa planificación–, para observar el ajuste y adecuación a su contexto, o bien, para considerar la evaluabilidad del programa –es decir, la posibilidad que tiene el mismo de ofrecer ciertas condiciones que permitirán su evaluación.

Se evalúa el proceso de ejecución de un programa, cuando la búsqueda se orienta a vigilar la direccionalidad  que posee, los tiempos y recursos que insumen las acciones, los obstáculos y los logros que se van obteniendo, etc. es decir, cuando se requieren indicios para retroalimentar el mismo programa y replanificar su desarrollo. Esta evaluación es conocida como monitoreo.

Pueden evaluarse los resultados obtenidos para detectar en qué grado lo previsto logró concretarse, pero también, es deseable indagar  el impacto de un programa. En el último caso, se analizan los cambios que ocurrieron en la realidad sobre la que se intervino con la planificación, generalmente una vez  que ha transcurrido un tiempo de su ejecución. La evaluación de resultados y de impacto operan en la dimensión del “después”, por ello se la denomina evaluación ex post.

La evaluación que se gestó y lleva a cabo en esta experiencia atraviesa esta tipología clásica, se focaliza en los resultados, recupera procesos y avanza hacia algunas cuestiones del impacto. Si bien a lo largo del desarrollo del programa la función formativa de la evaluación tuvo un papel prioritario para reformular la acción prevista, el objeto de análisis y reflexión que aglutina en la actualidad al grupo de trabajo, se vincula más estrechamente con la evaluación ex post, aunque apela a lo procesual para potenciar sentidos.

La evaluación del programa o proyecto se concibe como una continuidad constituida por múltiples momentos. Esto significa que la misma no se piensa como un acto aislado de aplicación de técnicas e instrumentos, sino que  se asume como un subproceso del programa, cuya presencia resulta indispensable si se pretende comprender integralmente su ciclo.

En América Latina, en el ámbito de la educación se indaga poco acerca de las intervenciones realizadas. Existe escasa producción escrita acerca de los resultados obtenidos en la evaluación de  programas educativos que han sido ejecutados.

Evaluar un programa constituye una compleja tarea que requiere múltiples y constantes decisiones. Decidir implica elegir, seleccionar, efectuar recortes y posicionarse para leer la realidad, en consecuencia, evaluar supone “efectuar una lectura orientada” (Bertoni, Poggi y Teobaldo, 1995:20).

En la fase inicial del diseño, es indispensable definir cuestiones claves del proceso, tales como: el propósito que se persigue con la evaluación, los criterios a emplear, el objeto de indagación, los actores participantes, los modos e instancias de participación, las técnicas e instrumentos de captación de datos que es necesario elaborar, el tiempo en que transcurrirá esa evaluación,…Estas definiciones dependerán en primer término de la concepción de evaluación que sustenta el equipo responsable de llevar adelante el proceso, en segundo lugar, del origen de esta indagación (es decir, cómo surge, quién la requiere) y en tercer lugar, de las características particulares del programa a evaluar y del contexto histórico, social y político en que se desarrolla.

Divulgar el plan de evaluación implica comunicarlo a los evaluados antes de llevarlo a cabo. Significa  difundir y fundamentar  los criterios adoptados que guiarán la evaluación, e incluir aquellos  que logren acordarse{3}. Este momento del proceso –y las decisiones que en él se tomen- otorga transparencia a la evaluación. Es la instancia en que se le construye viabilidad –o posibilidad de concreción– al plan evaluativo diseñado. Para que ello ocurra es necesario lograr la adhesión de los destinatarios, es decir,  involucrarlos como  miembros activos en la valoración.

La ejecución o aplicación de los instrumentos durante la indagación también exige decisiones,  revisiones y reajustes. Del mismo modo que la organización, el análisis de la información y la formulación del juicio de valor.

1.2.3.  El concepto de evaluación

El proceso evaluativo nunca abarca la totalidad del objeto, siempre resulta inacabado, perfectible, por ello, todo informe final es mejorable. “El acto de evaluación, como toda operación intelectual, no capta nunca directa y totalmente la realidad examinada. Ésta es siempre objeto de un proceso previo de definición o de elección de los caracteres que permitirán aprehenderla” (Barbier, 1993:66). Para este autor, los indicios de la realidad evaluada incorporan un esquema de lectura de la misma que siempre resulta reductor o simplificador de su complejidad, hecho del que debe ser consciente el evaluador.

Si bien el Programa abordado delinea su estructura desde una definición nacional que excede el ámbito jurisdiccional –y no es objeto de este estudio–, el equipo orienta deliberadamente la mirada a ciertas líneas de trabajo, aquellas que se consideran más relevantes y que  representaron la esencia de la dimensión pedagógica, en esta experiencia concreta desarrollada en la Provincia de San Luis. Acá se enfatiza el sentido de “experiencia” no sólo como un cúmulo de hechos ocurridos, observados o vividos, sino como aquellos acontecimientos  acerca de los cuales los miembros del equipo hemos podido reflexionar y  han llegado a implicarnos  (Larrosa, 2003).

En el diseño y ejecución de cada una de las líneas del Programa –que bien pueden considerarse en sí mismas proyectos– ocupó un lugar especialmente significativo la palabra del otro. El “otro”, como sujeto implicado en cada proyecto, adquirió diferentes rostros: del directivo, de profesores, alumnos, supervisores, coordinadores de centros de actividades juveniles, jóvenes de la comunidad,…. El aporte de las múltiples perspectivas efectuadas por los sujetos desde contextos particulares, lugares específicos por el rol que desempeñan y además,  entornos geográficos distintos por el emplazamiento de la unidad escolar a la que  pertenecen, permitió construir viabilidad a las líneas de acción puestas en marcha en cada institución.

La evaluación asumida privilegia la valoración de quienes fueron actores y destinatarios de las acciones desarrolladas. Se trata de conocer y comprender cuál es el grado de satisfacción de los actores claves, respecto a la intervención que se realizó con el Programa. Algunos autores denominan a este modo de evaluar Modelo centrado en los participantes, en el que importa especialmentela respuesta que  ha sido capaz de dar la propuesta desarrollada, a las expectativas, necesidades e intereses de esas personas. Otros autores –como Robert Stake–, la llaman Evaluación  Respondente o Respondiente, en ella se persigue la participación y valoración de los implicados como propósito clave de la evaluación del programa. Este modelo  no está de modo previo absolutamente determinado y acabado, sino que es flexible a lo largo del proceso evaluativo, son diseños que se van reajustando en función del avance de la indagación. Stake fue un férreo defensor del uso de métodos cualitativos en la evaluación de programas. Propuso la evaluación como un servicio  especialmente destinado a las personas que participan del mismo, más que a sus patrocinadores. En este modelo el evaluador es un facilitador que debe conocer plenamente el lenguaje y los intereses de la audiencia. Stake sostiene que no son los evaluadores quienes elaboran los juicios de valor, sino las audiencias o los clientes (Martínez Mediano, 2007).

La evaluación respondiente se opone a la evaluación preordenada que está definida previamente, antes de indagar en campo. “Lo mismo que un programa evoluciona de modo inesperado, los esfuerzos evaluativos deberían adaptarse a ello, esbozándose desde la estabilidad y experiencia previas cuando sea posible y extendiéndose hacia nuevos temas y desafíos cuando se necesite” (Stake, 1980:87).

La indagación que se lleva adelante en esta experiencia,  puede encuadrarse en  un modelo heurístico de evaluación que asume las condiciones políticas y sociales del contexto, para desplegar el proceso de búsqueda en  terreno. Carrión Carranza (2001) sostiene que un modelo evaluativo es heurístico cuando posee determinados rasgos característicos. Algunos de ellos son:

1. Selecciona los procedimientos en función de las circunstancias en que se desarrolla el proceso, pudiendo reajustar los mismos cuando no resulten adecuados.
2. Se sustenta en la configuración de sistemas o subsistemas operativos como base de análisis. A través de ellos se construye una imagen de la totalidad –del programa, en nuestro caso.
3. Se orienta a detectar la pertinencia del hecho evaluado, más que a establecer su eficacia.
4. Aborda lo situacional (no el todo) a partir de una necesidad, una decisión política, un problema… y para recabar datos específicos se diseñan los instrumentos más adecuados.
5. Focaliza en los sujetos, recupera sus reflexiones y sus análisis en el marco de las experiencias anteriores. Sin embargo, no neutraliza la asimetría existente con el evaluador experto, quien es el responsable de velar por la aplicación de los procedimientos técnicos, mantener la vigilancia sobre la totalidad, integrar los resultados parciales y preservar la responsabilidad de los juicios.
6. El énfasis en los sujetos devela la naturaleza política de la evaluación. La participación, confrontación, los acuerdos, la validación de los resultados…son claves en los procedimientos evaluativos a llevar adelante.

Coincidimos con Carmen Carrión Carranza cuando afirma que la evaluación sólo se entiende en un contexto de planificación, en el seno de los procesos tendientes a crear una imagen prospectiva de la realidad, a delinear el futuro. Los modelos capaces de generar espacios de reflexión compartida, debates y análisis de las acciones desarrolladas, de las propias prácticas, las problemáticas surgidas, los retos  asumidos, las vías alternativas construidas en el camino de consecución de aquella imagen, son modelos heurísticos de evaluación{4}.

Alineada en esta perspectiva la presente indagación no desprecia, por el contrario capitaliza e integra la perspectiva valorativa de los consultores que forman parte de la unidad ejecutora provincial, quienes coordinaron el desarrollo de cada proyecto, impregnando al mismo de la concepción compartida, pero otorgándole el sello propio en el estilo y modo de hacer.

De acuerdo con Margarita Poggi (2008) es posible afirmar que la evaluación es un proceso de construcción de conocimiento acerca del objeto elegido, a la vez que constituye un acto de interrogación sobre el mismo y sobre el propio proceso desplegado.

1.2.4.  Los destinatarios de la evaluación

Frente a un proceso de indagación es preciso preguntar ¿quiénes son los destinatarios de esa evaluación?

Se entiende por destinatarios a los actores a quienes les incumbe esa evaluación, quienes pueden apropiarse de alguna manera de los resultados y emplearlos para mejorar las prácticas.
Resultaría inapropiado identificar un destinatario universal e inespecífico, pero en este caso también es incorrecto pensar en un actor único. El proceso evaluativo llevado adelante, reconoce distintos destinatarios o un “combinado de grupos diversos” al decir de House (2000:73). Los principales destinatarios del presente trabajo son:

1. Los actores intervinientes en el Programa. Reconocidos como ejecutores y receptores de las acciones desplegadas en el marco de tal proceso, son aquellos sujetos relacionados estrechamente con las unidades operativas más concretas  del Programa –las escuelas– en el ejercicio de distintos roles. Cuando la investigación evaluativa logra tender redes y conectar a los actores participantes en procesos de reflexión acerca del mismo programa y de sus propias implicaciones, comienza a generarse conocimientos sobre la  institución escolar. La evaluación de un proyecto o programa que involucra la escuela, siempre constituye una oportunidad para gestar aprendizajes institucionales, para pensarse más allá del ser individual, como ser colectivo. Evocando una de las tesis de Cronbach “…la evaluación de programas es un proceso por el que la sociedad aprende a conocerse”{5}
2. El propio equipo coordinador del Programa. En este caso Kemmis (1976) evocaría la tarea desarrollada en términos de “la evaluación como autocrítica”, una vía de vinculación directa entre  conocimiento - acción - conocimiento. En un sentido estricto, la evaluación se asume como proveedora de información para perfeccionar el ejercicio profesional, revisar y reajustar el desarrollo de lo planificado y poder elaborar teoría a partir de la acción  y sus resultados.
3. Si un programa conforma una hipótesis de trabajo (DINIECE, 2008) en tanto sendero posible para alcanzar ciertos objetivos, su evaluación constituye una prueba de dicha hipótesis, que promoverá la ratificación o  rectificación de los diferentes aspectos considerados.
4. Los lectores interesados en esta temática. Tal vez más lejanos y de modo indirecto, son sujetos imaginados, menos nítidos e identificables. Se trata de actores vinculados al campo de la educación, preocupados por encontrar modos de evaluar lo planificado y ejecutado. Los perfiles convocados pueden ser  profesores, directivos de escuelas, supervisores, pedagogos, psicopedagogos, psicólogos, sociólogos, funcionarios de la educación… Un público que se interroga sobre las prácticas evaluativas y encuentra en esta textualización un espacio para seguir preguntando.

La identificación de los destinatarios es parte del contexto de la evaluación y su comprensión es crítica (House y  Howe, 2001) para el pleno desarrollo de este proceso.

1.2.5.  La importancia del juicio de valor

¿Qué papel les compete a estos destinatarios en la elaboración del juicio de valor? ¿Es necesario concluir la evaluación con un juicio de valor?

Las respuestas diferirán en función del especialista que se  consulte. Así Cronbach sostiene que la evaluación de programa se parece más al arte que a la ciencia. Alkin concibe a la evaluación como proceso factual de recogida de datos y elaboración de información para la toma de decisiones, pero exenta de juicios valorativos. Stufflebeam y MacDonald en la misma línea, sugieren la no valoración de la información por parte del evaluador, delegando a los responsables de la toma de decisiones esa tarea. Stake, Parlett y Hamilton, Guba y Lincoln –entre otros- destacan la evaluación como búsqueda y determinación  del valor del objeto evaluado (más que de su “mérito”), sin embargo, sostienen que  el criterio de valoración está dado por las necesidades del contexto en que se sitúa ese objeto (Escudero Escorza, 2003).

Péchenard por su parte, afirma que sólo hay evaluación cuando se produce juicio de valor, en este sentido asegura que “el juicio constituye la señal de la evaluación” (Barbier, 1993:77). Jean Marie Barbier coincide con Ardoino cuando asevera que evaluar es transformar datos en valor, ellos consideran que la evaluación no consiste en ofrecer información sino en mostrar su significado. No obstante la elaboración de un juicio de valor no crea por sí valor, sino que lo muestra, lo “traduce”, lo hace visible en un contexto social y político determinado.

En consecuencia, respondiendo a la segunda pregunta, es posible afirmar que hay enfoques para los cuales el juicio de valor es indispensable en el proceso evaluativo, mientras que otros, privilegian la comprensión del objeto indagado. En función de ese posicionamiento, los múltiples modelos evaluativos existentes asignan  una responsabilidad diferente a los destinatarios. Dicha responsabilidad se  ubica en algún punto del continuum  cuyos extremos van desde el rol pasivo y receptivo de una audiencia que “delega” en el experto evaluador la totalidad del proceso, esperando sentencias acabadas,  hasta el papel protagónico de los destinatarios que construyen sentidos y elaboran juicios valorativos a partir de los informes elaborados por el  evaluador, pero prescindiendo  de los argumentos de aquel.

¿Cuál es la posición que asume al respecto el equipo evaluador que lleva adelante el presente trabajo?

Desde éste se respeta  el derecho que tiene cada uno de los agentes involucrados con la experiencia, a emitir juicios de valor sobre la realidad evaluada. En este sentido, se entiende que la elaboración del juicio es el núcleo fundante de toda evaluación, es el rasgo esencial que la distingue de otros procesos, pero de ninguna manera se arroga a los miembros que llevan adelante la evaluación (en nuestro caso, al equipo evaluador) el monopolio en la formulación de dichas valoraciones.

Este estudio privilegia los juicios emitidos por aquellas personas que concretaron las acciones más específicas del Programa en el escenario escolar, a la vez que asume  la indelegable responsabilidad que le compete a un equipo evaluador de construir juicios de valor sobre el objeto indagado y alienta  el surgimiento de nuevas valoraciones por parte de los distintos  destinatarios.

Se concibe a la evaluación “…como proceso continuo, recursivo y divergente –con juiciosa veces contradictorios{6} – porque sus hallazgos son creados mediantes construcciones sociales sujetas a revisión. Las evaluaciones deben ser continuamente recicladas y actualizadas. Una buena evaluación sugiere más preguntas que respuestas y no tiene un punto final natural” (Martínez Mediano, 2007:204).

Considerar que el juicio de valor es la esencia de la evaluación,  impone la necesidad de  reflexionar acerca  de la construcción del referente o la norma que hace posible la elaboración del mismo.

El referente de la evaluación es “aquello en relación con lo cual se produce o es susceptible de producirse el juicio de valor” (Barbier, 1993:71), es el patrón con el que se contrastan los datos relevados, la información producida. Por ello, la modificación del referente provoca siempre un impacto directo en el juicio que se formula, es decir, distintos referentes de evaluación generan valoraciones diferentes de los mismos datos recogidos.

Durante mucho tiempo en la historia de la evaluación educacional los referentes utilizados permanecieron ocultos o no explícitos, fue necesario inferirlos a partir de las prácticas valorativas desarrolladas. El surgimiento de modelos más democráticos en este campo del conocimiento, enfatizan la importancia de transparentar el proceso, tornando visible las normas que originan la valoración. Sin embargo, corresponde señalar que en el desarrollo de esos procesos  le asisten responsabilidades diferenciales a los actores que participan en la evaluación.

Los profesionales de la evaluación educativa –en este caso, miembros del equipo evaluador– tienen el deber ético de definir los principales referentes con los que operan en el análisis del objeto indagado, para iluminar la comprensión de los juicios emitidos. La pregunta que se impone entonces es: ¿cómo se construyen esos referentes? Hay, sin duda, variados modos de hacerlo. En este trabajo cada referente se asume como un constructo complejo elaborado a partir de tres anclajes claves:

1. Los propósitos u objetivos que se persiguen con la evaluación.
2. La concepción –ideológica, social, económica, cultural,…– y el posicionamiento teórico disciplinar que asume el evaluador para efectuar la lectura del fenómeno indagado.
3. Las condiciones en que transcurre el proceso evaluativo.

La elaboración de los parámetros referenciales no se realiza de modo estricto con anticipación, es decir “no se definen de una vez y para siempre”, si bien se anticipa un esbozo inicial de la norma a la búsqueda de datos factuales, su delimitación se realiza por aproximación sucesiva, en función del contexto y las circunstancias socio-políticas en que se concreta la evaluación.

La definición del referente en el juicio valorativo que emite un joven, un profesor, el director de la escuela o un coordinador de centro de actividades juveniles (o sea, los ejecutores y/o destinatarios de los proyectos desarrollados) no siempre logra hacerse público. El acto de construir deliberadamente una norma que posibilite el contraste, es un aprendizaje que demanda prácticas sucesivas. Si bien siempre que se efectúa una evaluación existe una norma, habitualmente se trata de una construcción intuitiva que realiza el sujeto desde la propia experiencia vivida. En el estudio que nos ocupa, los referentes elaborados por esos actores no fueron explicitados, la formulación del juicio se realizó de manera espontánea a partir de parámetros particulares que en su intimidad construyó cada indagado  para poder valorar.
La confección de los referentes en estos casos, se logra a partir de:

1. Las experiencias vividas anteriormente.
2. Las expectativas que generó en cada persona la puesta en marcha del proyecto o línea de acción objeto de evaluación.
3. La vinculación emocional que el agente logró establecer con el proyecto.
4. Las concepciones que porta.

En consecuencia,  resulta altamente probable que las normas que originaron las valoraciones sean variadas  y que dichas valoraciones focalicen niveles de satisfacción personales, en torno a aspectos específicos del Programa. Esta información es altamente relevante para los evaluadores quienes procuran recuperar las argumentaciones sustantivas que sustentan las evaluaciones  realizadas por cada estamento.

1.2.6.  La vinculación de los evaluadores con el objeto de indagación

La perspectiva asumida por el equipo evaluador, no puede considerarse externa al objeto evaluado, en tanto todos los miembros hemos tenido algún desempeño vinculado con la Unidad Técnica Provincial responsable de coordinar el Programa. Sin embargo, se trata de una valoración que toma distancia de los hechos particulares y del funcionamiento específico que cada línea o proyecto de trabajo  ha tenido en las instituciones escolares, para componer desde la globalidad, algunos trazos que delinean el “todo”. 

¿Cómo impacta en la evaluación, la vinculación que poseen los integrantes del equipo con el objeto a evaluar?

Esta relación –que en la actualidad ya no existe por haber concluido el Programa– es un acontecimientoque provoca dos lecturas encontradas:

1. Una positiva, por cuanto el grado de involucramiento de los actores otorga un conocimiento acabado de los detalles  manifiestos, pero también de los repliegues no siempre difundidos del programa. Al conocer “el adentro”, su historia y los contextos en que se tomaron las decisiones, se construye una comprensión más profunda del hecho indagado.
2. Otra negativa, puesto que existe un permanente riesgo que debe vigilarse: al ser “parte de” hay una tendencia natural que impulsa a los sujetos a  destacar los aspectos positivos en desmedro de los negativos, o evocando a M. A. Santos Guerra, una disposición a confirmar las teorías previas (es decir, sólo “ver” o reafirmar con la evaluación, aquello que ya se sabía antes de la misma).

Ello indica que en el campo de la evaluación, se pueden reconocer tanto defensores como detractores de una evaluación atravesada por esa relación. Para quienes llevamos adelante esta indagación, haber sido parte del Programa es un hecho real, que no resulta indiferente. Se torna importante por cuanto abre posibilidades para potenciar una interpretación más rica y compleja del fenómeno en estudio, pero a su vez,  exige  que se tomen recaudos para evitar posibles sesgos en la lectura.

Los principios fundamentales en que se sustenta la vigilancia que desarrolla el equipo evaluador para garantizar  un proceso ético, responsable y justo,  son los siguientes.

• Respetar las voces de otros actores. Democratizar la palabra significa abrir espacios para que los otros puedan decir,  “permitir que otro tenga su tiempo para hablar en nombre propio” (García Molina, 2003:172), generar el encuentro para escuchar. “Escuchar” no sólo lo explícito y manifiesto de un discurso, sino aquello que quedó al costado, lo olvidado, lo negado…Los silencios y los modos de nombrar, revelan formas de sentir, pensar y vivir, aquello  de lo que se habla.
  Sin embargo, el respeto por esa palabra no sólo se vincula con el momento de otorgarla, de habilitar el diálogo, de recoger lo dicho, sino que también se sostiene en la instancia de análisis, de lectura e interpretación. Actuar respetuosamente implica  renunciar al menos a dos cuestiones  centrales que constituyen  errores frecuentes:
  1. Unificar las voces recogidas, o sea “hacer decir” lo mismo a los diversos actores, aplanando y simplificando la construcción, eliminando los claroscuros, matices y contradicciones, con la pretensión –muchas veces inconsciente – de obtener un todo armónico e integrado.
  2. Anclarse en la singularidad de un caso, transcribiendo literalmente un fragmento o palabra  del discurso para “mostrar” lo que se afirma. Al respecto Arfuch recomienda “enfatizar el acontecimiento del decir, la producción dialógica del sentido, y no meramente el “contenido” de los enunciados” (2007:197) “… realizar un entramado significante de las voces, intentando rescatar, en la articulación de fragmentos de distintos enunciadores, una tonalidad expresiva…”(2007:194.) En este sentido, los aportes particulares son importante pero tienen representatividad  en un corpus global.
• Explicitar criterios, marcos referenciales y normas. Hacer público el posicionamiento conceptual y los criterios  que adopta el evaluador para abordar el objeto de estudio –es decir, identificar claramente desde dónde se interpreta– y difundir los referentes asumidos  en la evaluación –o sea, precisar cuáles son las normas en relación a las que se emiten los juicios de valor–, otorga transparencia al proceso. Esta comunicación  ilumina las conclusiones a las que arriban los evaluadores, ofreciendo elementos que permiten profundizar la comprensión del informe final.
  Asumir esta decisión pone al descubierto el grado de coherencia que posee una evaluación, en tanto devela  la congruencia o conexión lógica que existe entre las diversas partes o componentes de la misma. En la medida que el proceso y sus resultados evidencien coherencia, se incrementa el nivel de credibilidad para los destinatarios.
• Triangular o contrastar datos.Para incrementar la veracidad{7} de la indagación y en consecuencia profundizar la credibilidad de sus conclusiones, se considera indispensable contraponer técnicas e instrumentos, fuentes y perspectivas.
  La triangulación es el control cruzado entre distintas fuentes de datos –personas, documentos, instrumentos, etc.– Es una opción metodológica que se apoya en la combinación de métodos para captar la complejidad del fenómeno abordado.
  Entender que la búsqueda de la evaluación no es acceder a la verdad científica, que el valor del objeto indagado es relativo a la norma y perspectiva que asuma quien evalúe, que no existe un actor que pueda emitir conclusiones definitivas y certeras en la indagación de realidades sociales,… enfrenta a la necesidad de adoptar la contrastación como estrategia de objetivación de los datos. La triangulación permite acotar el sesgo –voluntario o involuntario– que puede contener cada mirada, escena o palabra. La intersección de las múltiples perspectivas habilita un mayor acercamiento a la realidad en estudio.
• Validar conclusiones con los principales destinarios La  confirmación de la información, la interpretación de significados y la elaboración de conclusiones necesitan ponerse a consideración de los participantes y principales destinatarios. Que esos sujetos puedan tener acceso a los informes evaluativos abre espacios para el debate, la confrontación, la adhesión o el silencio (que también es una forma de “decir”).
  Hay autores que la denominan validación respondente o negociación (entre otros, A. Latorre Beltrán) y la entienden como una técnica  clave para otorgar validez a las proposiciones o enunciados que construyen los evaluadores.
  Las conclusiones se conciben como “conceptos de segundo orden” (Van Maanen, 1985) en tanto se edifican sobre conceptos de primer orden –los datos–, a partir de las relaciones que se establecen entre los mismos, el análisis y su interpretación, se construyen los significados.
  La contrastación que se realiza con los implicados en la evaluación de los principales resultados obtenidos, valida las conclusiones del proceso desarrollado. No se desconocen las variadas dificultades que deben enfrentar los evaluadores, para  validar los resultados finales cuando los programas o proyectos educativos, objetos de estudios, han concluido su aplicación. El principal obstáculo a  vencer en ese caso, es el desinterés –o baja motivación– de la audiencia, que ya ha “cerrado” mentalmente un desarrollo y no visualiza un rédito directo para sus próximas decisiones. El desafío que se les presenta a los evaluadores es encontrar la estrategia más adecuada para convocar la participación.{8}