Develando los criterios de la evaluación.

Develando los criterios de la evaluación.

El concurso

En una escuela primaria, se organiza un concurso para los grados superiores acerca de la vida y obra de un escritor argentino y su contribución al campo de la literatura. El reglamento establece que los alumnos pueden presentar trabajos escritos en forma individual o en grupos de hasta tres y con pseudónimo. Integrado por 2 profesores de materias especiales, el vicedirector, 2 padres y un escritor externo a la escuela, el jurado trata de ponerse de acuerdo acerca del análisis de los trabajos y de los criterios que establecerán para su lectura y evaluación. La tarea del jurado no resulta sencilla. Algunos de sus miembros sostienen el siguiente diálogo:

-propongo tener en cuenta la extensión de los trabajos, porque nos permitirá verificar la cantidad de información buscada por los alumnos.

-estoy de acuerdo, pero sugiero que hagamos una distinción entre aquellos aportes informativos más novedosos.

-yo propongo el criterio de originalidad, tanto en el contenido como en su modo de organización y presentación.

-pienso que, lo más importante, es la coherencia del texto.

-sugiero tomar en cuenta los aportes personales, las opiniones y las preguntas que los alumnos incluyan en el trabajo.

 

En el caso del concurso, se evidencian varios problemas para valorar los trabajos de los estudiantes:

·         La ausencia de criterios establecidos previamente a la producción de los trabajos realizados por los alumnos; dichos criterios permitirían establecer acuerdos acerca de qué mirar y qué valorar al recibir los escritos. Este vacío deja un espacio abierto para que la subjetividad se instale de manera decisiva.

·         La disparidad de criterios demostrada por los miembros del jurado, porque cada uno privilegia algún aspecto de los trabajos a partir de sus intereses, experiencias, saberes, creencias y supuestos.

·         El hecho de no tener los criterios definidos con claridad y anticipación perjudica su transmisión, por lo que se genera una desorientación sobre lo que se espera y sobre cómo saber si se está procediendo correctamente.

 

El curso al que nos referimos al inicio no es el único caso en el que aparecen dudas, intercambios y discusiones sobre la calificación de un trabajo, la valoración de la producción los desempeños. Es habitual que en las escuelas haya problemas -más o menos explícitos- a la hora de ponderar las evaluaciones de los alumnos, muchas de ellas, teñidas de oscuridad, falta de transparencia, con un alto grado de subjetividad y ausencia de criterios. Comprender esta realidad nos permite indagar qué respuestas puede darnos el enfoque alternativo de la evaluación.

En la introducción, se definió y describió el enfoque alternativo, y en el primer capítulo, nos centramos en la retroalimentación como un modo de regulación de los procesos de aprendizaje y enseñanza, y como una forma de establecer diálogos reflexivos con los alumnos acerca de sus resultados y sus desempeños. No obstante para posibilitar ese diálogo, hay que establecer un marco de referencia que permita, por ejemplo, compartir con los estudiantes el criterio que considere, como base, qué se califica un trabajo con un cuatro, un 10, un satisfactorio o un excelente. El marco de referencia está dado por criterios de evaluación, cuando son claramente formulados y compartidos, o incluso, construidos con los alumnos.

En este capítulo se mostrarán instrumentos que permiten transparentar los criterios de evaluación, y de este modo, responder tanto a viejas tensiones que siguen vigentes como a nuevas preguntas.

Comencemos con un ejemplo de modos diferentes de comunicar lo que van a aprender los alumnos en las siguientes dos semanas. La manera en que anticipamos lo que se va a enseñar es una forma de evidenciar un recorrido que se ha de desarrollar. Así se les oculta o se comparte el por qué, El para qué de lo que los alumnos van a aprender y las expectativas de logro, que son la base para construir los criterios de evaluación.

En un enfoque tradicional de enseñanza y de evaluación, la información transmitida a la alumno sería, por ejemplo: en matemáticas, resolveremos problemas; en prácticas de lenguaje, leeremos el capítulo dos del texto de Gabriel García Márquez; Y en inglés, aprenderemos vocabulario de animales.

En un enfoque de la evaluación alternativa, se informaría del siguiente modo: en matemáticas, exploraremos múltiples caminos para obtener El número 1000; en prácticas de lenguaje, plantearemos las características de cada uno de los personajes de la novela de García Márquez y pensaremos en si pueden aplicarse a cualquier otra novela; y en inglés, aprenderemos los nombres de los animales para poder conversar sobre temas, como un paseo al zoológico, utilizando las palabras nuevas.

Además de anticipar los contenidos y sus expectativas de logro, se necesitan instrumentos adecuados que ayuden A identificar y a compartir los criterios utilizados para evaluar los aprendizajes de los alumnos. A continuación, se desarrollan herramientas prácticas para emplear con ese fin:

·         Lista de control o cotejo.

·         Escalas de valoración.

·         Matrices de valoración.

 

Las listas de control o cotejo.

Una lista de control o cotejo consiste en una serie de aspectos, características, cualidades, acciones, observables sobre un proceso o un procedimiento que suele registrarse en un cuadro de doble entrada.

El proceso procedimiento que ha de observarse está descompuesto en partes. Al lado de cada componente del proceso, se coloca en columnas en las que se marca su presencia o ausencia. También se pueden incluir algunas características deseables tanto del proceso como del producto, así como errores o fallas más comunes. Veamos un ejemplo.

Ejemplo uno: monitoreando un desempeño. 

Características	Si	No
Explica correctamente el procedimiento que utilizó.
Usa gráficos para explicar el procedimiento.
Reconoce pasos correctos.
Reconoce pasos incorrectos.
Elige entre dos procedimientos alternativos.
Tiene dificultades para explicar el procedimiento que empleó.

 

Como se observa en esta tabla, la lista de cotejo es, básicamente, un instrumento de verificación, de revisión y, Al mismo tiempo, puede funcionar como referente para ajustar un desempeño. Asimismo, muestra avances y tareas pendientes de modo tal que interviene durante el proceso de enseñanza y aprendizaje.

El modelo clásico es una lista que permite señalar la presencia o ausencia del desempeño de un alumno.

Muchas veces, no alcanza la información que se recoge a través de una lista de control. Por eso, se proponen dos ejemplos alternativos de listas, que se denominarán de seguimiento porque su función primaria se relaciona más con monitorear y mejorar que con controlar o verificar. Estas listas intentan profundizar en la información que se releva para mejorar el trabajo.

Los ejemplos propuestos están redactados para que los docentes los utilicen, pero del mismo modo podrían usarlos los alumnos, redactando los criterios en primera persona, lo que contribuiría al desarrollo de su autonomía. También es posible que docente y alumno empleen la misma lista Y conversen acerca de las miradas de cada uno sobre las producciones y los desempeños del estudiante.

Ejemplo dos: aportando evidencias. 

Participación en clase	Si	No	Evidencias (ejemplos)
Fórmula preguntas pertinentes al tema.
Responde las preguntas.
Traer a clases materiales acerca del tema.
Permanece en silencio.
Otro.

 Se avanza hacia otro nivel de análisis si se agrega una columna denominada acciones para mejorar, con el objetivo de identificarlas y pensar en que mejorar y cómo habría que hacer para lograrlo.

Ejemplo tres: proponiendo acciones. 

Participación en clase	Si	No	Evidencias (ejemplos)	Acciones para mejorar
Fórmula preguntas pertinentes al tema.				Ejemplo: escribir una pregunta antes de iniciar la clase.
Responde las preguntas.
Traer a clases materiales acerca del tema.
Permanece en silencio.
Otro.

 

Otro tipo de listas puede ser utilizado para efectuar el seguimiento de los proyectos, de trabajos en sus aspectos organizativos.

Ejemplo cuatro: toreando el proyecto. 

Indicadores	Realizado	Pendiente	Sin iniciar aún
Búsqueda de información.
Selección de la información.
Otro.

Sencillos para que los docentes diseñen, administren y procesen, las listas de cotejo son instrumentos útiles para acompañar la evaluación del trabajo de los alumnos en el aula.

La escala de valoración.

Las escalas ayudan a registrar el grado de desarrollo que un estudiante logra en relación con un proceso o producto. También permiten registrar su frecuencia o el grado en que se ha logrado.

 

Ejemplo cinco: monitoreando la participación.

 

Participación en clase	Siempre/mucho	A veces/ poco	Nunca/nada
Fórmula preguntas pertinentes al tema.
Responde a las preguntas.
Trae a clase materiales acerca del tema.
Permanece en silencio.
Otro

 

Como se muestra en este ejemplo, las escalas de valoración, al igual que las listas de cotejo, dan cuenta de la ejecución de determinada acción o de la aparición de un atributo específico, pero además, las de valoración suman información al permitir observar la frecuencia con la que se presenta un componente del procedimiento o proceso que se quiere evaluar.

En el caso de las habilidades sociales, por ejemplo, se sabe que permanecer en silencio o responder a las preguntas, una sola vez es esporádicamente, no es un indicador certero de aprendizaje. En este caso, como en otros muchos la posibilidad de hacer observaciones sistemáticas y registrarlas es muy importante a la hora de evaluar.

Ejemplo seis: desempeño en el laboratorio.

 

Criterio	Siempre	A veces	Nunca
Evidencia habilidades procedimentales en el laboratorio y competencias científicas.
Sigue las instrucciones en forma independiente.
Maneja los materiales adecuadamente.
Cumple con las normas de seguridad.
Trabaja con otros de manera colaborada
Identifica la pregunta a la que se quiere responder con la experiencia de laboratorio.
Propone una o más hipótesis como respuestas tentativas a dicha pregunta.
Diseña uno o más experimentos válidos para poner a prueba las hipótesis planteadas.
Recolecta los datos necesarios para testear las hipótesis.
Registra con claridad los datos obtenidos.
Elabora una conclusión coherente que relaciona sus resultados con la pregunta o hipótesis planteada inicialmente.
Presenta la información en forma inteligible, detallando los métodos utilizados, identificando los resultados obtenidos y la interpretación que realizó de dichos resultados en relación con la pregunta del comienzo.

Las matrices de valoración.

Las matrices de valoración son documentos públicos, compartidos por docentes y alumnos, que se utilizan para evaluar las producciones o el desempeño de los alumnos.

Las matrices incluyen tres elementos:

Criterios que traduce en las expectativas relativas al aprendizaje, la importancia de una producción o de un proceso. Para definir los criterios, habitualmente, se recurre a las expectativas de logro. Por ejemplo, si en una planificación el docente propone que los alumnos analicen y resuelvan problemas específicos, un criterio para aplicar podría ser: la selección de datos.

Niveles de calidad de cada criterio, desde el más bajo hasta el más alto, y del novato al experto. Se sugiere definir entre 4 y 6 niveles para identificar la secuencia de algunos procesos o distinguir con mayor detalle y profundidad los aspectos de la producción encarada. para evitar el uso de una escala numérica, inmediatamente se asocia a una calificación, se propone utilizar una evaluación cualitativa que dé cuenta de los procesos. Por ejemplo: aprendiz, novato, competente, experto, niveles que la psicología cognitiva ofrece.

Indicadores que intentan describir la calidad de cada uno de los criterios, ser visibles para quienes van a mirar. Describir implica referir las características de un objeto o una situación por medio del lenguaje. En el caso de las matrices de valoración, tienen que estar expresadas en forma comprensible para los lectores, para que no sea necesario explicar cada elemento. Así se contribuye a la autoevaluación y a la evaluación entre pares, y además, se contempla la heterogeneidad de alumnos ya que considera varios niveles de calidad. La matriz de valoración provee información para explicar lo que sucede respecto del objeto que se estudia. No es preciso que recoja sólo información cuantitativa, también puede incluir información cualitativa.

No siempre resulta sencillo elaborar un buen indicador. Por esta razón, parece útil describir las etapas para desarrollarlo:

·         Leer los objetivos o las expectativas de logro para definir de manera clara los criterios de evaluación.

·         Establecer niveles de calidad, construyendo con los alumnos las descripciones detalladas de cada nivel: se comienza por el nivel más alto y el más bajo, es decir los extremos y, después, se continúa por los intermedios. Las fuentes de información para definir los niveles de calidad se obtienen de los expertos disciplinares, de los textos, los ejemplos y modelos de buenas producciones, y de los errores más comunes.

·         Se puede modificar el indicador a partir del trabajo de los alumnos.

·         Incorporar el uso de los criterios y los niveles de calidad en la enseñanza.

La creación de las matrices de valoración se fundamenta en la necesidad de compartir con los alumnos en un principio, pero también con los padres y la comunidad educativa en general, las expectativas de logro y los criterios con los que se evaluarán los aprendizajes durante el ciclo lectivo.

Tradicionalmente, la utilización y el conocimiento de los criterios ha sido propiedad exclusiva de los docentes o de las instituciones, y han estado casi siempre ocultos para los alumnos. Así es como la evaluación del aprendizaje de los estudiantes tiene una base sólida sobre los supuestos subyacentes acerca de cómo hacer un buen trabajo; supuestos que se caracterizan por ser personales y no siempre compartidos con otros colegas en una misma institución.

Por lo tanto, si bien nuestro foco de trabajo es la evaluación, no se trata sólo de transparentar los criterios que nos llevan a ella, sino también el modo de encarar la clase y la exposición de las reglas de trabajo y en ese ámbito, para sostener la coherencia entre la enseñanza, el aprendizaje y la evaluación.

No es suficiente la intención de comunicar los criterios y únicamente al comenzar el trabajo, sino que dicha comunicación tiene que constituirse en un diálogo permanente entre los docentes y los alumnos para ajustar el proceso de enseñanza aprendizaje.

En este Marco, las matrices de valoración contribuyen a desarrollar la autoevaluación, así como la coevaluación, para que los alumnos reflexionen sobre sus desempeños y sus producciones, y sobre sus maneras de abordar la tarea (procesos cognitivos).

Además, estos instrumentos explicitan los criterios y sus niveles de calidad antes de comenzar la tarea. Asimismo, permiten realizar un monitoreo sobre el avance de la actividad utilizando los estándares establecidos y llevan a que los alumnos revisen su trabajo antes de entregarlo.

Las matrices de valoración entonces guía en la evaluación y la enseñanza, y acompañan el aprendizaje porque proveen orientaciones, direcciones y evitan jugar a las adivinanzas en el sentido de que se espera de mí frente a una tarea.

También se les conoce con el nombre de rúbricas porque, al construirse especialmente para cada evaluación, funcionan como si tuvieran que ponerle la firma personal a esta; también reciben ese nombre porque antes, cuando se corregía, se lo hacía poniendo sobre el escrito marca rojas (la palabra rúbrica deriva de latín Ruber: rojo).

 

Cómo trabajar con los alumnos utilizando las matrices de valoración.

Nos preocupa que la matriz de valoración se convierta en un instrumento sólo para entregar al docente. para evitarlo, es necesario que el alumno sea partícipe, y comprenda y se apropia también de la matriz.

Las matrices de valoración son instrumentos valiosos para utilizar en tareas complejas, como los proyectos de trabajo, los ensayos y las investigaciones, tanto en sus productos finales como en sus procesos de elaboración.

Cómo se atiende a que sea un instrumento que los alumnos conozcan, aprendan a utilizar y comprendan su sentido, se sugiere considerar algunas cuestiones clave:

·         Explica que es una matriz de valoración y para qué sirve.

·         Mostrar ejemplos que corresponden a trabajos de distintos niveles de calidad.

·         Debatir con los alumnos acerca de los criterios y sus niveles de calidad, como también sobre el significado de cada criterio.

·         Que los alumnos analicen trabajos a la luz de la matriz de valoración, a modo de ejercicio de comprensión y aplicación.

En su origen, la matriz de valoración fue pensada para ser construida en conjunto con los alumnos. Ofrecemos un ejemplo de actividad para realizar con ellos:

Proponga sus estudiantes:

“Ustedes son evaluadores en este concurso de cuentos escriban una lista de los criterios importantes para considerar. En el aula, tienen a su disposición los cuentos para leer. Cuando finalicen la lista de criterios, la compartiremos para construir juntos la matriz de valoración”.

A continuación se muestran matrices de valoración que tanto los docentes como alumnos pueden utilizar en diferentes disciplinas y niveles para evaluar los aprendizajes.

Ejemplo siete: matriz de valoración para el nivel inicial.

 

Criterio	En el inicio	Básico	Avanzado	Competente
Identificar animales que tienen características similares	No reconoce ni nombra un animal.	Reconoce y nombra un animal.	Describe algunas características del animal.	Nombra, al menos, dos animales y alguna característica que tengan en común.
Identificar animales que tienen comportamientos similares.	No reconoce el comportamiento de un animal.	Reconoce un comportamiento de un animal.	Describe varios comportamientos del animal.	Nombra al menos, dos animales y algún comportamiento que tengan en común.

Ejemplo ocho: matriz de valoración de un texto narrativo de ficción.

Esta matriz de valoración para utilizar en la escuela media fue diseñada por la docente y especialista en lengua, Roxana Lewinsky. Antes de compartir la matriz de valoración, transcribimos algunas reflexiones de la docente en el momento de diseñarla, como un aporte para mostrar el trabajo profundo que implica utilizar ese instrumento.

En lo que hace la lengua, los dos planos que están siempre interactuando son tanto una sintaxis de frase como una gramática textual, la frase bien formada y la ordenación del texto, ambas con vistas a producir sentido. Podemos poner el acento en uno u otro aspecto, pero sin dejar de tener presente la significación de conjunto. Por ejemplo, un acento puede precisar un adjetivo posesivo un pronombre, y esto resolverse en la cadena sintagmática por la que el texto avanza. Mi experiencia de lo que sólo aplicar a la hora de evaluar tiene que ver más con una concepción de la gramática de texto que oracional, más con el sentido que con el significado, más con la construcción de lectores y escritores no escolarizados. Me preocupa más la imposibilidad de desplegar una idea en un texto informativo o en una escena de ruptura con los lugares comunes en la narración ficcional que es la ortografía.

La matriz de valoración que se presenta y está escrita en un lenguaje de experta en la disciplina. Una vez definida la matriz de valoración, se traducirá en un lenguaje comprensible para compartir con los estudiantes.

 

Dimensión	Criterio niveles de calidad	Rangos
Nivel Morfo sintáctico o gramática de la frase	Vocabulario lenguaje referencial y figurativo	Varios términos de uso común con errores de acentuación y ortográficos. Mal uso de las mayúsculas. Equívocos pre posicionales. Problemas de conjugación en general. Pobreza de palabras y repetición de estas, que traba y dilata lo que se quiere decir.	Errores en palabras de usos más esporádicos o de homónimos no es claro el empleo de comas y puntos, lo que dificulta la comprensión. Problemas en el uso de los modos verbales. limitación terminológica, sin que llegue oscurecer el significado final. No hay figuras: texto literal y plano.	En general, manejo correcto de la ortografía. Problemas de de qué ismo o utilización de los impersonales. Imprecisiones en el uso de rayas y “. Léxico adecuado al tema, aunque sean figuras interesantes que den vuelo al texto.	Buen desempeño ortográfico y léxico gráfico. La puntuación facilita la progresión de la lectura el relato se beneficia por mostrar vocablos precisos, una adjetivación ceñida y figuras que ahondan en descripciones y personajes.	Ortografía prácticamente impecable y un vocabulario amplio y matizado. La puntuación armoniza con el todo. El empleo de figuras retóricas es un acierto de significación que define la intención literaria del trabajo.
	Clases de palabras, funciones y empleo en la frase. La intriga, y la composición oración al y textual. La puntuación, género. Narradores y destinatarios.	Faltas numerosas en la concordancia de género y número. Adjetivación pobre, pocos y repetidos adverbios, con abuso del superlativo. Dominan el modo indicativo y el tiempo verbal presente. Las oraciones son simples, aunque suelen no estar bien construidas. La intriga apenase de línea sin llegar siquiera a una anécdota. El texto no tiene ejes ni avances, con una indefinición del género, y sin instancias narrativas claras que interesen al lector.	La concordancia suele presentar problemas. La adjetivación es trivial y sabida, no siempre bien aplicada, igual sucede con los adverbios. Se amplía un poco el uso de los modos y tiempos verbales, con problemas de correspondencia. Dificultad con el gerundio. Las oraciones se enriquecen, pero se largan o terminan abruptamente. La historia tiene dificultades para estructurarse y seguir una coherencia y progresión ordenada. Tienes altos y huecos informativos, clímax mal preparado y desenlaces artificiales o no logrados. El género se afianza más, y el destinatario llega a tener idea de la finalidad narrativa. De todos modos, es difícil atrapar al lector.	En general, se logra la concordancia de género y número sin grandes desajustes. La objetivación y el uso adverbial presentan mayores ambiciones y variedad. El empleo de los modos y tiempos verbales adquiere más seguridad así como el régimen pre posicional de verbos. De todos modos, existen errores de conjugación con los verbos irregulares o con el modo subjuntivo. Las oraciones tienden a una mayor complejidad y a definir mejor su extensión y propósitos. La intriga muestra más claramente sus fases de desarrollo, aunque se evidencian debilidades, sobre todo, en el nudo y el desenlace, lo que indica que es lo más difícil en el arte de contar. En el género se perfila mejor, y las expectativas de lector se empiezan a satisfacer. Comienza a perfilarse la figura de narrador y en contraste con los personajes.	La concordancia ya no presenta problemas. Se observa un mayor manejo de las clases de palabras adjetivos, adverbios y un uso diferenciado de modos y tiempos verbales. Las oraciones se estructuran conforme a las exigencias del texto. De la presentación al desenlace, la historia no tiene mayores obstáculos, y hay un esmero en que los remates o finales estén bien hechos. El tipo de texto suspenso, aventura, fantástico, experiencia personal, amorosa, viaje etc.. Enseguida muestra su carácter y sus destinatarios, así como las intenciones del narrador en su juego con el lector.	El grueso de los problemas sintácticos ya están dominados y las preocupaciones del escritor A solucionar los problemas de la historia y la expresión. Se evidencia una preocupación por el lector y CDs escolariza la figura del escritor. La intriga no sólo está completa, sino que toma volumen con el ahondamiento en los personajes, con nuevas situaciones con agregados y caminos laterales que enriquecen el texto. El nudo y el desenlace están bien organizados y resueltos. Se respetan las restricciones que impone el género. Género, narrador y lector se compenetran y se armonizan para permitir una mayor plenitud y significativa y literaria.

Instrumentos y criterios.

La intención de este capítulo ha sido mostrar, a través de diferentes instrumentos, como transparentar los criterios de valuación. Cuando se les comparte con los estudiantes, se está desvelando parte del aspecto oculto y opaco que los procesos de evaluación han tenido tradicionalmente en la escuela. Ocultar criterios es un modo de monopolizar el poder, develarlos entonces es un intento de democratizar su ejercicio.

Varias investigaciones dan cuenta del valor del uso de la matriz de valoración. Heidi Andrade (2001) observa, por ejemplo, que los estudiantes que tenían la matriz de valoración, la comprendían y usaban, mejoraron sus producciones de ensayos. Por otra parte, John Hafner y Patti Hafner (2003) concluyeron que las matrices de valoración son instrumentos válidos y confiables para el trabajo de presentaciones orales evaluadas por pares.

Las matrices de valoración resultan instrumentos significativos para comunicar:

·         Expectativas de logro.

·         Calidad de los producciones y desempeños.

 

Su relevancia no radica solo en el hecho de que establecen un vínculo diferente con la evaluación sino que además, como se mencionó, habilitan formas más ajustadas de aproximación al conocimiento tanto por parte de los alumnos como de los docentes. A través de ellas, es posible establecer un diálogo reflexivo entre los docentes y los alumnos, explorando los grados de comprensión, los obstáculos y creando oportunidades para pensar en el aprendizaje.

Bibliografía

Ahumada, Pedro (2005): “La evaluación ante auténtica”, Revista perspectiva educacional, número 45, 11-24. Instituto de educación. Pontificia Universidad Católica de Valparaíso.

Andrade, Heidi (2001): “The effects of instructional rubrics on Learning to write” Current Issues in Education, vol. 4, num. 4 en línea. Disponible en <http://cie.ed.asu.edu/volumen4/number4>

Goodrich, Heidi (1997): “Understanding rubrics”, Educacional Leadership (Virginia, Estados Unidos), volumen 54, número 4, 14-17.  ASCD

Hafner, John y Pati Hafner (2003): “Quantitative analysis of the rubric as an asssesssment tool: An empirical study of students peer-group rating”, international Journal of Science Education (Reino Unido), volumen 25, número 12, 1509-1528. Routledge.