Modelo de Evaluación de la Docencia


Introducción Proceso Metodológico para la Construcción del Modelo Descripción del Modelo de Evaluación de la Docencia


INTRODUCCIÓN

 

En el pasado año académico 2001-2002, la Universidad de León consideró necesario proceder a llevar a cabo la valoración de los distintos aspectos de la actividad docente, para desarrollar un procedimiento de análisis que sirva con eficacia a la evaluación efectiva y continuada de la docencia en nuestra Universidad para los sucesivos cursos académicos.

Con ello se pretende que el rectorado y el propio profesorado pueda disponer de información sobre la actividad docente del profesorado, haciendo con ello posible la implantación de un sistema de mejora continua de los procesos formativos.

En el presente documento se expone el proceso metodológico que se ha seguido para la construcción del modelo de evaluación de la docencia de la Universidad de León y se presentan, en la segunda parte, las características que definen el modelo.




Sube al principio de la página Subir

 

PROCESO METODOLÓGICO PARA LA CONSTRUCCIÓN DEL MODELO

 

Con el fin de garantizar la objetividad, independencia y transparencia en la implantación del modelo y facilitar la máxima credibilidad y legitimidad a los resultados que se esperaba obtener del proceso de evaluación de la actividad docente se consideró oportuna la dotación de una estructura de apoyo externa para la realización de este proceso de diseño e implantación de un modelo de evaluación de la docencia.

Cofor, empresa consultora adjudicataria de los trabajos, dispone de un Modelo de Evaluación de la Calidad Docente (ECAD) y, cuyas características se ajustan básicamente a los requerimientos de la Universidad de León. Este modelo está concebido además con criterios de flexibilidad que han permitido su ajuste a las especificaciones concretas de la universidad a través de un proceso sistemático y participativo que se llevó a cabo durante el año académico 2001-2002.

En este sentido, la realización del proyecto de diseño e implantación del Modelo de Evaluación docente se realizó a traves de 5 módulos o fases, precedidas de una etapa "0" de planteamiento general del trabajo, efectuada conjuntamente con responsables del proyecto por parte de la Universidad Pública de León.


-FASE 1. Análisis de la situación y requerimientos de la universidad y reajustado del modelo
-FASE 2. Definición y consensuado de parámetros y variables
-FASE 3. Construcción y verificación del modelo informatizado
-FASE 4. Aplicación experimental en el 2º cuatrimestre curso 2001-2002
-FASE 5. Análisis de resultados e incorporación de mejoras al modelo

En conjunto y esquemáticamente el proceso consta de 10 bloques autónomos según se sintetiza en el gráfico adjunto.


PROCESO METODOLÓGICO

 


 



Sube al principio de la página Subir




FASE 1. ANÁLISIS DE LA SITUACIÓN Y REQUERIMIENTOS DE LA UNIVERSIDAD Y REAJUSTADO DEL MODELO.

Como paso previo al replanteamiento del modelo se procedió a la recogida de información pertinente en la Universidad de León. Principalmente la relativa a aspectos funcionales de la Universidad y, en particular, conocimiento de todo el proceso docente, su problemática evolución y expectativas.

Con base en trabajos precedentes, la empresa consultora COFOR disponía de información de los sistemas de evaluación utilizados en diversas universidades españolas y de otros países europeos.
No obstante se consideró imprescindible recabar más información sobre esos temas, con objeto de incorporar en el sistema aquellos aspectos que resultaran procedentes.

 


FASE 2. DEFINICIÓN Y CONSENSUADO DE PARÁMETROS Y VARIABLES.

El modelo precisa para su aplicación de dos tipos de herramientas, por una parte, los cuestionarios a cumplimentar por profesores y alumnos, por otra, las tablas de coeficientes de relevancia que ponderan los diferentes niveles de evaluación.

Para el establecimiento consensuado de ítems y coeficientes se aplicó un METODO DELPHI abreviado, consistente en la simplificación del método Delphi convencional, consiguiéndose como ello una considerable reducción del tiempo del proceso de consensuado así como un importante ahorro de dedicación de los participantes en el panel de expertos.

En síntesis, este proceso abreviado consistió en efectuar tan solo dos fases sucesivas de encuesta para acercar opiniones sobre los temas a consensuar, después de las cuales se celebraron sendas mesas Delphi (que se constituyeron con dos grupos de participantes diferentes) donde se discutieron aquellos temas cuyo nivel de consenso no hubiera alcanzado unos mínimos establecidos, tanto en relación a los ítems de los cuestionarios( en la primera ola DELPHI), como en cuanto al consensuado final de los coeficientes de relevancia ( objeto de la segunda fase DELPHI)

 


FASE 3. CONSTRUCCIÓN Y VERIFICACIÓN DEL MODELO INFORMATIZADO.

Según las directrices acordadas en el bloque precedente se procedió a diseñar el programa informático para facilitar la aplicación del modelo de evaluación de la docencia de forma ágil, fiable y cuantitativa, así como la máxima objetividad en la elaboración de informes individuales.
Asimismo se diseñó un Plan de explotación y Formulación del proceso mediante el cual quedó definido el sistema de análisis a efectuar concretando la formulación a aplicar, construyendo incluso los formatos de recogida y procesado de datos, así como la presentación de resultados.

Con el fin de validar la idoneidad del modelo de evaluación se realizó en el mes de febrero una prueba piloto sobre una muestra de profesores y se procedió a contrastar los resultados de la prueba piloto con el fin de reajustar el modelo, introduciendo las correcciones y mejoras pertinentes para garantizar la máxima efectividad a la hora de su implantación en la evaluación de la docencia de todo el profesorado que se llevó a cabo en el segundo cuatrimestre del presente curso 2001-2002 como primera fase de aplicación general aunque de carácter experimental a todo el universo de profesores y centros de la universidad.

 


FASE 4. APLICACIÓN EXPERIMENTAL EN EL 2º CUATRIMESTRE CURSO 2001-2002.

De acuerdo con el planteamiento logístico diseñado y convenientemente planificado se desarrolló la fase de administración de las encuestas de evaluación de la docencia correspondiente al 2º cuatrimestre del curso 2001-2002, que tuvo lugar en la semana del 6 al 18 de Mayo.

Desde el punto de vista operativo como conclusiones más destacadas del proceso de campo realizado tenemos que:

• El proceso se desarrolló con una gran colaboración entre los profesores a la hora de demorar sus clases durante unos minutos que duraba la encuesta, así como de abandonar el aula para no interferir en la opinión de los alumnos.

• La colaboración encontrada en los alumnos fue ejemplar, tanto a la hora de cumplimentar toda la información requerida en los cuestionarios como teniendo en cuenta el índice de respuestas en función de los alumnos presentes en clase.

• En casos muy concretos y en diferentes facultades, se encontró que algunos profesores mostraban poca disposición para abandonar el aula, por lo que dicha actitud pudo influir en las respuestas.

• En general, el apoyo recibido en cada una de las facultades tanto personal (la persona de apoyo asignada en cada facultad), como en medios y recursos a nuestra disposición fue excelente.

Asimismo, después de realizar el estudio y de conocer las conclusiones, la ficha técnica final de la Evaluación de la actividad docente realizada fue la siguiente:
La evaluación comprendió el total de profesores que dieron alguna clase en dicho cuatrimestre obteniéndose en cada caso una evaluación global del total de la formación impartida, detallándose además según asignaturas.

La evaluación incluyó también la valoración de todas las clases, atendiendo para ello, tanto a los aspectos formales, disponibilidad de medios audiovisuales, dimensión adecuada del aula, etc. como a la circunstancia en que cada clase fue impartida, atención e interés de los alumnos, conocimientos adecuados al nivel de la asignatura, etc.

El total de profesores evaluados ha sido de 999, de los cuales hay 51 (distribuidos por todas las facultades) que impartieron formación teórica y/o práctica sobre 586 asignaturas. No obstante, el total de clases en donde se recogió información es sensiblemente más elevado ya que es habitual sobre todo en los primeros cursos, que los alumnos se distribuyan en dos o más grupos, siendo esto aún más frecuente en las clases prácticas, donde el grupo de alumnos suele ser más reducido; es por esta circunstancia que el total de clases evaluadas asciende a 2389 lo que supone una media de 2.39 clases por profesor.

El total de cuestionarios cumplimentados por los alumnos fue de 46.241 en ellos se recogió la opinión sobre su profesor y circunstancias del curso.

Otros 1.884 cuestionarios cumplimentados por profesores ofrecen su opinión tan solo sobre el curso.

En la tabla que sigue se ha cuantificado los aspectos ya comentados diferenciados según facultades.

 

FACULTAD PROFESOR EVALUADO CLASES EVALUADAS CUESTIONARIOS ALUMNOS CUESTIONARIOS PROFESORES
F. VETERINARIA 133 332 6178 291
F. BIOLOGÍA 126 277 6935 215
F. DERECHO 62 99 2880 78
F. FILOSOFÍA Y LETRAS 154 421 5436 334
F. ECONÓMICAS Y EMPRESARIALES 100 200 5659 176
F. CIENCIAS DEL TRABAJO 34 75 1731 67
E.I. INDUSTRIAL E INFORMÁTICA 79 156 5436 149
E.U.I.T. MINERÍA 39 124 1334 58
E.S.T.I. AGRARIA 121 312 4797 191
F. EDUCACIÓN 107 286 3690 236
E.U. ENFERMERÍA 44 107 2165 89
       
TOTAL UNIVERSIDAD 999 2389 46241 1884

 


Sube al principio de la página Subir



FASE 5. ANÁLISIS DE RESULTADOS E INCORPORACIÓN DE MEJORAS AL MODELO

Dado el carácter experimental de esta primera evaluación del profesorado, tan importante como la obtención de la evaluación en sí era la realización de una detenida reflexión sobre el proceso de evaluación y la sensibilidad del modelo diseñado para considerar en rigor los diversos factores que inciden en la docencia, de manera que se procediera en su caso a la introducción de los ajustes pertinentes para mejorar su fiabilidad y adecuación a los requerimientos de la docencia, con vistas a implantar el sistema con carácter permanente para los próximos cursos académicos

De este modo, como resultado del análisis de los resultados globales obtenidos y de las sugerencias que en el Vicerrectorado se han ido recibiendo, se han incorporado mejoras, tanto en lo relativo a la fase de recogida de información, procesado y presentación de resultados, como en cuanto a los propios instrumentos de evaluación (cuestionarios) y en el procesado (coeficientes de medición), con el fin de obtener información exhaustiva y completa acerca de la actividad docente del profesorado.

Entre las correcciones y mejoras más destacadas que se ha previsto incorporar destacamos las siguientes:

A/ La base de datos creada para posibilitar la correcta aplicación de los resultados parece en principio muy adecuada debiéndose incorporar no obstante alguna nueva información.

  1. En el supuesto de que una clase sea impartida por más de un profesor, porcentaje de créditos de cada uno de ellos
  2. Identificación del responsable de asignatura
  3. Identificación del Departamento de cada profesor
  4. Unificación de criterios para la presentación del horario de clases de cada asignatura
  5. Protocolo de actualización de la información de base en tiempo real.

B/ Se considera pertinente adelantar el trabajo de recogida de información sensiblemente a la realización de exámenes con lo que se conseguirá realizar la encuesta a un mayor número de alumnos.


C/ Modificar la formulación de algún ítem tanto en el cuestionario de profesores como del cuestionario de alumnos que se prestaba a equívocos, así como la sustitución de algún ítem por otro nuevo para cubrir mejor alguno de los atributos de la docencia o de la problemática de las clases.



 

Sube al principio de la página Subir

 

DESCRIPCIÓN DEL MODELO DE EVALUACIÓN DE LA DOCENCIA

 

CARACTERÍSTICAS DEL MODELO DE EVALUACIÓN DE LA DOCENCIA

Las características básicas que singularizan el modelo de evaluación de la docencia de la universidad de León se pueden resumir en las siguientes:

• El modelo sólo contempla la dedicación a la actividad docente del profesorado, quedando excluidas por consiguiente otras dedicaciones del profesorado (investigación, cargos en la Universidad, etc.) ya que, de hecho, el modelo ha de analizar exclusivamente la " actividad docente ".

• Para valorar la docencia de un profesor el modelo contempla, en principio, dos dimensiones:

A. EVALUCACIÓN DEL PROFESOR (EP): Valoración de la docencia en todas y cada una de las clases impartidas por el profesor.

B. EVALUACIÓN DEL CURSO (EC): factores que inciden en la docencia) en todas y cada una de las clases impartidas por un profesor.


La actividad docente de un profesor queda representada, clase por clase en un espacio bidimensional : (EP), (EC). El " centro de gravedad " de las clases impartidas por un profesor (atendiendo a su " peso " en cuanto a número de alumnos, créditos, etc) sitúa la evaluación global de la actividad docente del profesor según su EP y la EC.

Como resultado final de la evaluación se calcula el mérito docente (MD) en función de la EP y la EC.

Se considera que cuanto mayores son las dificultades de una clase (bajo nivel de conocimiento de los alumnos, congestión, etc) el esfuerzo (mérito docente) de un profesor para conseguir una cierta calidad de la formación, se incrementa.

• En la evaluación docente del profesor se contemplará muy especialmente la problemática de cada una de las clases bajo la triple óptica:

• El modelo evalúa al profesor por una clase en particular, por varias o por el total de clases que imparte en la Universidad.

• Los atributos que han de valorar al profesorado y a los grupos y que han de quedar recogidos en los cuestionarios, son los que actualmente contempla el modelo y son concretamente:

ATRIBUTOS DE CURSO

ATRIBUTOS PROFESOR

• Con objeto de relativizar las opiniones de aquellos alumnos de escasa asistencia a la clase, y que por consiguiente carecen de criterio suficiente para evaluar adecuadamente al profesor se planteó la posibilidad de modificar el programa con objeto de minimizar este efecto.

• Finalmente, el modelo habría de admitir una tercera dimensión orientada a valorar el cumplimiento objetivo de los compromisos docentes del profesor (asistencia, puntualidad etc.). El modelo por consiguiente evaluará:

Dimensión 1: Evaluación de la docencia [EP] del profesor según alumnos

Dimensión 2: Evaluación del curso [EC] en donde imparte la formación el profesor según óptica de los alumnos, profesor y resto de profesores que dan clase en este curso.

Dimensión 3: Evaluación del cumplimiento de los aspectos formales [AF] medido en términos objetivos.

Dado que el nivel de cumplimiento de un profesor con sus compromisos docentes puede variar en las diferentes clases que imparte esta valoración también se efectúa singularizándose por clases.

Atendiendo a que en la actualidad la Universidad carece de medios objetivos para el control de estos cumplimientos (control de puntualidad y asistencia del profesorado, etc.) el modelo recurre a la consulta directa al alumnado mediante la inclusión en la encuesta de ítems adecuados a los compromisos docentes que se consideran.

El modelo, partiendo de las valoraciones correspondientes a las dos primeras dimensiones, calcula el MÉRITO DOCENTE:

El producto de las evaluaciones correspondientes a la dimensión I (docencia) y 3 (aspectos formales) da como resultado la EXCELENCIA DOCENTE [ED] del profesor.



PRESENTACIÓN DE RESULTADOS DE LA EVALUACIÓN

CLASES EVALUADAS:

EVALUACIÓN DETALLADA DE ATRIBUTOS.

EVALUACIÓN DE LA ACTIVIDAD DOCENTE.

PRESENTACIÓN GRÁFICA DE EVALUACIÓN POR ASIGNATURAS.

PRESENTACIÓN GRÁFICA DE EVALUACIÓN POR ATRIBUTOS.

PRESENTACIÓN GRÁFICA DE EVALUACIÓN GLOBAL (profesor y curso).

POSICIONAMIENTO DE LA ACTIVIDAD DOCENTE.

Asimismo, con objeto de facilitar la correcta interpretación de los resultados de su valoración de la Actividad Docente el informe se acompaña de una serie de indicaciones que se resumen en las siguientes.

  1. Se informa de que el profesor ha sido evaluado por las clases que se indican en la primera tabla de la ficha en donde también se incluyen algunas características de las mismas.
  2. En cada una de estas clases se evalúa según 5 atributos a los que hacían referencia los ítems incluidos en los cuestionarios cumplimentados por los alumnos que asistieron a clase en el momento de la evaluación.
  3. La puntuación mínima de un atributo es 1 y la máxima 9.
  4. Además de la evaluación del profesor, la evaluación del curso se valora atendiendo a 5 atributos a los que hacen referencia algunos de ítems de los cuestionarios cumplimentados por los alumnos, así como los incluidos en el cuestionario que cumplimenta el profesor.


Este proceso de encuesta forma parte del material que en su día podrá utilizar la Comisión correspondiente de la Universidad para llevar a cabo las evaluaciones previstas en la normativa vigente.

Sube al principio de la página Subir