Factores que inciden en la competencia docente universitaria

UNIVERSIDAD COMPLUTENSE DE MADRID FACULTAD DE EDUCACIÓN Departamento de Métodos de Investigación y Diagnóstico en Educación

FACTORES QUE INCIDEN EN LA COMPETENCIA DOCENTE UNIVERSITARIA

MEMORIA PARA OPTAR AL GRADO DE DOCTOR PRESENTADA POR Raziel Acevedo Álvarez

Bajo la dirección de la doctora: María José Fernández Díez

Madrid, 2003

ISBN: 978-84-669-3022-2

UNIVERSIDAD COMPLUTENSE DE MADRID FACULTAD DE EDUCACIÓN DEPARTAMENTO DE MÉTODOS DE INVESTIGACIÓN Y DIAGNÓSTICO EN EDUCACIÓN

FACTORES QUE INCIDEN EN LA COMPETENCIA DOCENTE UNIVERSITARIA: UN MODELO JERÁRQUICO LINEAL

TESIS DOCTORAL Autor: RAZIEL ACEVEDO ÁLVAREZ

DIRECTORA: Dra. María José Fernández Díaz Profesora Titular de Métodos de Investigación y Diagnóstico en Educación

Madrid, 2003

UNIVERSIDAD COMPLUTENSE DE MADRID FACULTAD DE EDUCACIÓN Departamento de Métodos de Investigación y Diagnóstico en Educación


TESIS DOCTORAL AUTOR: Raziel Acevedo Álvarez

Madrid, 2003

RAZIEL ACEVEDO ALVAREZ

2003


ÍNDICE GENERAL Índice temático

Dedicatoria...........................................................................................................

i

Agradecimientos..................................................................................................

iii

0. Introducción.....................................................................................................

1

1. RELEVANCIA..................................................................................................................

3

2. PROBLEMA......................................................................................................................

6

3. OBJETIVOS....................................................... ..............................................................

10

4. ESTRUCTURA DE LA INVESTIGACIÓN...................................................................

12

PRIMERA PARTE: EL ESTUDIO DE LA COMPETENCIA DOCENTE EN LA BIBLIOGRAFÍA EXISTENTE Capítulo 1: LA COMPETENCIA DOCENTE EN EL CONTEXTO DE LA UNIVERSIDAD......................................................................

19

1.

UNA APROXIMACIÓN A LA UNIVERSIDAD DE NUESTROS DÍAS.............. 1.1. La universidad y la competencia docente ante el cambio....................................... 1.2. La preocupación por la calidad o por el control......................................................

21 21 23

2.

COMPETENCIA DOCENTE EN EL MARCO DE LA CALIDAD UNIVERSITARIA......................................................................................................... 2.1. Un componente de la calidad institucional: la competencia docente...................... 2.2. Diversas teorías y paradigmas sobre la competencia docente.................................

25 25 35

OBSEVACIONES AL CONTEXTO...........................................................................

44

3.

Capítulo

2: PERSPECTIVA EN LA EVALUCIÓN DE LA COMPETENCIA DOCENTE UNIVERSITARIA....................

47

1.

LA VALORACIÓN DE LA COMPETENCIA DOCENTE UNIVERSITARIA... 1.1. Una visión panorámica.............. .............. .............. .............. .............. ................. 1.2. El concepto.............................................................................................................. 1.3. Los propósitos......................................................................................................... 1.4. Acciones básicas para promover el proceso de evaluación.....................................

49 49 53 55 72

2.

ÁMBITO DE EVALUACIÓN DE LA COMPETENCIA DOCENTE....................

76

2.1. Valorar las cualidades personales............................................................................ 2.2. Las competencias docentes................................................ ..................................... 2.3. La actuación del docente en el aula......................................................................... 2.4. Las experiencias de aprendizaje del alumno............................................................ 2.5. Los resultados de aprendizaje o eficacia..................................................................

77 78 85 86 87

3.

ALGUNOS AGENTES DE EVALUACIÓN.............................................................. 3.1. Autoevaluación del profesor.................................................................................... 3.2. Evaluación hecha por colegas.................................................................................. 3.3. Los estudiantes, nuestro interés............................................................................... 3.4. Un elemento de cambio: el portafolio......................................................................

99 103 108 114 114

4.

OBSERVACIONES A LA PERSPECTIVA...............................................................

118

Capítulo 3: LOS ESTUDIANTES COMO EVALUADORES DE LA COMPETENCIA DOCENTE UNIVERSITARIA....................

121

1.

ALGUNAS CONSIDERACIONES PREVIAS.......................................................... 1.1. Los estudiantes, su visión del aprendizaje y la competencia docente...................... 1.2. Un análisis retrospectivo..........................................................................................

123 123 125

2.

PROCEDIMIENTOS PARA LA RECOLECCIÓN DE OPINIÓN......................... 2.1. La entrevista............................................................................................................. 2.2. Los comentarios escritros........................................................................................ 2.3. La recolección electrónica.......................................................................................

128 128 129 130

3.

EL CUESTIONARIO DE OPINIÓN................................................ ......................... 3.1. Su relevancia, controversia y debate........................................................................ 3.2. La incertidumbre central ¿son fiables y válidos los cuestionarios? ........................ 3.2.1. La fiabilidad de los cuestionarios.............................................................. 3.2.2. La validez en los cuestionarios una operación complicada.......................

134 134 141 141 148

4.

OBSERVACIONES A LA EVALUACIÓN DE ESTUDIANTES............................

164

Capítulo 4: DIMENSIONES Y PREDICTORES EN LOS ESTUDIOS DE COMPETENCIA DOCENTE.....................................................

173

1.

LAS DIMENSIONES ASOCIADAS A LA COMPETENCIA DOCENTE............ 1.1. Enfoques generales bajo de línea de personalidad, comportamiento y eficacia...... 1.2. Una visión similar.................................................................................................... 1.3. La discrepancia en las dimensiones empleadas.......................................................

175 176 180 183

2

VARIABLES PREDICTORAS................................................................................... 2.1. La inteligencia y la habilidad del profesor............................................................... 2.2. Conocimiento de la materia y organización............................................................. 2.3. La metodología y actividades de enseñanza............................................................ 2.4. Habilidad para enseñar................................................ ............................................ 2.5. El comportamiento, la comunicación y la interacción.............................................

198 200 201 205 208 211

3.

OBSERVACIONES......................................................................................................

216

b

Capítulo 5: VARIABLES RELEVANTES ASOCIADAS CON LOS IMPLICADOS...............................................................................

221

1.

ENFOQUE GENERAL......................... ......................................................................

223

2.

CARACTERÍSTICAS DE LOS ESTUDIANTES..................................................... 2.1. La nota esperada y el grado de indugencia del profesor.......................................... 2.2. El sexo................................................ ..................................................................... 2.3. El área de estudio o disciplina académica................................................................ 2.4. La edad y los años en la universidad....................................................................... 2.5. El interés previo.......................................................................................................

228 228 234 237 239 242

3.

CARACTERÍSTICAS DEL PROFESOR UNIVERSITARIO................................. 3.1. El sexo...................................................................................................................... 3.2. Rango académico..................................................................................................... 3.3. Edad y experiencia................................................................................................... 3.4. Número de publicaciones e investigaciones............................................................ 3.5. La reputación del profesor....................................................................................... 3.6. El efecto del Dr. Fox o de la seducción................................................................... 3.7. La personalidad........................................................................................................

245 245 247 249 251 254 255 258

4.

DE LA CLASE............................................................................................................... 4.1. Número de estudiantes ............................................................................................ 4.2. Optativa u obligatoria.............................................................................................. 4.3. Dificultad de la clase................................................................................................ 4.4. Cantidad de trabajo..................................................................................................

262 262 269 272 273

5.

OBSERVACIONES .....................................................................................................

278

SEGUNDA PARTE: CONTRASTE EMPÍRICO, ANÁLISIS Y RESULTADOS

Capítulo 6: INDAGACIONES GENERALES Y METODOLÓGICAS AL ESTUDIO EMPÍRICO.................................................................

283

1.

INTRODUCCIÓN.........................................................................................................

285

2.

CONTEXTUALIZACIÓN Y OBJETIVOS DEL ESTUDIO EMPÍRICO............. 2.1. Objetivo general....................................................................................................... 2.2. Objetivos específicos...............................................................................................

286 287 287

3.

METODOLOGÍA......................................................................................................... 3.1. Consideraciones metodológicas .............................................................................. 3.2. De los modelos causales y AMOS........................................................................... 3.3. De los modelos jerárquicos lineales.........................................................................

288 288 292 311

c

Capítulo 7: LA FIABILIDAD Y LA VALIDEZ: SU ANALISIS Y RESULTADOS ............................................................................ 1.

327

CONSIDERACIONES TEÓRICAS SOBRE EL INSTRUMENTO DE MEDIDA........................................................................................................................ 1.1. Concreción del instrumento de medida................................................................... 1.2. Características iniciales........................................................................................... 1.3. Particularidades de los estudiantes, profesores y clase...........................................

329 333 334 340

2.

RECOGIDA DE INFORMACIÓN............................................................................. 2.1. Fundamentos genéricos del diseño de la investigación........................................... 2.2. Criterios de muestreo.............................................................................................. 2.3. Características de la muestra...................................................................................

341 341 343 344

3.

ESTUDIO DE LAS CARACTERÍSTICAS TÉCNICAS DEL INSTRUMENTO.. 3.1. Análisis de fiabilidad general de la escala............................................................... 3.2. Análisis de fiabilidad por departamentos.................................................................

354 354 357

4

ANÁLISIS FACTORIAL EXPLORATORIO........................................................... 4.1. Análisis factorial exploratorio................................................................................. 4.2. Definición operacional de los factores extraídos..................................................... 4.3. Estudio de la consistencia interna de los factores ................................................... 4.4. Validez criterial........................................................................................................

358 358 374 382 383

5

ANÁLISIS FACTORIAL CONFIRMATORIO PARA DETERMINAR LA VALIDEZ DE CONSTRUCTO................................................................................... 5.1. Validación empírica del modelo de medida............................................................ 5.2. Validación empírica del modelo estructural............................................................

385 385 399

SÍNTESIS Y CONCLUSIONES DEL ANÁLISIS DE LA ESCALA.......................

418

Capítulo 8: LOS MODELOS JERÁRQUICOS LINEALES EN EL ANÁLISIS DE LA COMPETENCIA DOCENTE....................

427

6.

1.

FUNDAMENTACIÓN TEÓRICA DEL MODELO.................................................. 1.1. Determinantes de nivel del instrumento.................................................................. 1.2. Particularidades de nivel de los estudiantes............................................................. 1.3. Atributos de nivel del profesor y la clase................................................................. 1.4. Características de cada nivel implicadas en el estudio............................................ 1.5. Codificación de las variables...................................................................................

431 432 433 436 442 444

2.

EL MODELO INICIAL EN TRES NIVELES........................................................... 2.1. La prueba de hipótesis o modelo nulo..................................................................... 2.2. Proporción de varianza implicada............................................................................ 2.3. La fiabilidad del modelo en tres niveles..................................................................

448 450 452 453

3.

ANÁLISIS DE LAS CARACTERÍSTICAS REPRESENTATIVAS DE CADA NIVEL............................................................................................................................ 3.1. Nivel: uno el instrumento........................................................................................ 3.2. Nivel: dos los estudiantes..................... .................................................................. 3.3. Nivel tres: los profesores y la clase.........................................................................

455 455 455 462

ANÁLISIS DEL MODELO EN TRES NIVELES..................................................... 4.1. El logaritmo de máxima verosimilitud.................................................................... 4.2. Estudio de los residuos ...........................................................................................

477 481 482

4.

d

5.

PROPUESTA ALTERNATIVA EN DOS NIVELES................................................ 5.1. El modelo inicial...................................................................................................... 5.2. El modelo nulo......................................................................................................... 5.3. Análisis de los factores que componen el instrumento de medida..........................

484 484 486 489

6.

ANÁLISIS CONJUNTO DE LAS CARACTERÍSTICAS DE LOS IMPLICADOS Y LOS FACTORES DE MEDIDA................................................... 6.1. El logaritmo de máxima verosimilitud.................................................................... 6.2. Estudio de los residuos ...........................................................................................

497 500 501

CONCLUSIONES AL ANÁLISIS JERÁRQUICO LINEAL..................................

504

Capítulo 9: CONCLUSIONES Y REFLEXIONES FINALES......................

511

7.

1.

CONCLUSIONES Y REFLEXIONES......................................................................

513

2.

PROSPECTIVA...........................................................................................................

529

BIBLIOGRAFÍA CITADA Y CONSULTADA...............................................

507

ANEXOS..............................................................................................................

629

ANEXO N° 1 Diferentes medidas de ajuste utilizadas por amos.....................................

631

ANEXO N° 2 Instrumento de evaluación de la Universidad de Costa Rica, facilitado por el Centro de Evaluación Académica....................................................................

636

ANEXO N° 3 Carta a los profesores...................................................................................

641

ANEXO N° 4 Instrumento aplicado a los estudiantes.......................................................

608

ANEXO N° 5 Características de los profesores..................................................................

611

ANEXO N° 6 Primera estimación de fiabilidad.................................................................

612

ANEXO N° 7 Índices de homogeneidad de los ítemes........................................................

613

ANEXO N° 8 Análisis de fiabilidad en el Departamento de Ciencias Sociales................

614

ANEXO N° 9 Análisis de fiabilidad en el Departamento de Ciencias Básicas.................

615

ANEXO N° 10 Análisis de fiabilidad por factor.................................................................

616

ANEXO N° 11 Resultados EQS del modelo de medida variable exógena........................

619

ANEXO N° 12 Resultados EQS del modelo de medida variables endógenas..................

627

ANEXO N° 13 Resultados del modelo estructural ofrecidos por AMOS.........................

646

ANEXO N° 14 Resultados del modelo estructural en EQS...............................................

690

e

Índice de tablas

Tabla N° 1 Tabla N° 2 Tabla N° 3 Tabla N° 4 Tabla N° 5 Tabla N° 6 Tabla N° 7 Tabla N° 8 Tabla N° 9 Tabla N° 10 Tabla N° 11 Tabla N° 12 Tabla N° 13 Tabla N° 14 Tabla N° 15 Tabla N° 16 Tabla N° 17 Tabla N° 18 Tabla N° 19 Tabla N° 20 Tabla N° 21 Tabla N° 22 Tabla N° 23 Tabla N° 24 Tabla N° 25 Tabla N° 26 Tabla N° 27 Tabla N° 28 Tabla N° 29 Tabla N° 30 Tabla N° 31 Tabla N° 32 Tabla N° 33 Tabla N° 34 Tabla N° 35 Tabla N° 36 Tabla N° 37 Tabla N° 38 Tabla N° 39 Tabla N° 40 Tabla N° 41 Tabla N° 42 Tabla N° 43 Tabla N° 44 Tabla N° 45 Tabla N° 46

Aspectos que inciden en la calidad educativa............................................................... Propósitos básicos en la evaluación de la competencia docente................................. Comparación de fuentes recolectoras de información.................................................. Instrumentos para recoger información.......................................................................... Información del portafolio................................................ ............................................... Autores y posiciones teóricas relacionadas con la validez........................................... Dimensiones implicadas en diferentes instrumentos de evaluación docente........... Autores y dimensiones en la evaluación de la competencia docente......................... Algunas dimensiones de finales de los noventa y principios del 2000...................... Resumen de los predictores utilizados en la evaluación de la competencia docente................................................ ................................................................................ Resumen de las características de los estudiantes ........................................................ Resumen de las características de los profesores.......... ................................................ Diversas posiciones respecto a la cantidad de estudiantes en clase........................... Resumen de las características de la clase ....... ............................................................. Dimensiones, núcleo Teórico e Indicadores................................................................... Indicadores e ítems del instrumento................................................ .............................. Características de los estudiantes, profesores y curso.................................................. Estudiantes por departamentos................................................ ...................................... Nivel de asistencia al curso................................................ ............................................. Edad del profesor................................................ ............................................................. Carácter de la materia................................................ ...................................................... Elementos de Estadística Descriptiva................................................ ............................ Matriz de correlaciones................................................ .................................................... Significación unilateral................................................ ..................................................... Comunalidades................................................ .................................................................. Factores retenidos................................................ .............................................................. Análisis de componentes principales sin rotar.............................................................. Matriz de componentes rotados por varimax................................................................ Matriz de componentes rotados por oblimin................................................................. Fiabilidad por factores....................................................................................................... Correlaciones entre los factores...... ................................................ ................................ Factores, ítems y código................................................ ................................................... Resultados del modelo de medida (Exógena) ............................................................... Solución estandarizada................................................ ..................................................... Índices de bondad de ajuste................................................ ............................................. Soluciones estandarizadas................................................ ............................................... Matrices lambda X y theta delta...................................................................................... Matrices lambda Y y theta eps................................................ ........................................ Resumen de los resultados del modelo.......................................................................... Medidas de ajuste absoluto, incremental y de parsimonia.......................................... Índices de ajuste con EQS................................................................................................. Características de los niveles........................................................................................... Descripción de Variables para el estudio........................................................................ Resumen de las características de nivel dos................................................................... Sinopsis de las características de nivel tres..................................................................... Resumen de la influencia de los factores........................................................................

f

28 58 101 107 116 156 189 190 194 214 244 261 266 277 335 337 341 346 347 345 352 355 360 361 366 367 369 371 372 382 384 386 391 392 396 398 406 407 415 416 417 443 446 462 476 496

Índice de gráficos

Gráfico N° 1 Gráfico N° 2 Gráfico N° 3 Gráfico N° 4 Gráfico N° 5 Gráfico N° 6 Gráfico N° 7 Gráfico N° 8 Gráfico N° 9 Gráfico N° 10 Gráfico N° 11 Gráfico N° 12 Gráfico N° 13 Gráfico N° 14 Gráfico N° 15 Gráfico N° 16 Gráfico N° 17 Gráfico N° 18 Gráfico N° 19 Gráfico N° 20 Gráfico N° 21 Gráfico N° 22 Gráfico N° 23 Gráfico N° 24 Gráfico N° 25 Gráfico N° 26 Gráfico N° 27 Gráfico N° 28 Gráfico N° 29 Gráfico N° 30 Gráfico N° 31 Gráfico N° 32 Gráfico N° 33 Gráfico N° 34 Gráfico N° 35 Gráfico N° 36 Gráfico N° 37 Gráfico N° 38 Gráfico N° 39 Gráfico N° 40 Gráfico N° 41 Gráfico N° 42 Gráfico N° 43 Gráfico N° 44 Gráfico N° 45 Gráfico N° 46 Gráfico N° 47

Complejidad de los modelos.......................................................................... Sexo de los estudiantes.................................................................................... Años en la universidad y estudiantes........................................................... Expectativa de nota de los estudiantes......................................................... Edad del profesor............................................................................................. Agrupación por departamentos.................................................................... Cantidad de publicaciones............................................................................. Cantidad de estudiantes en el aula............................................................... Dificultad de la materia.................................................................................. Gráfico de sedimentación............................................................................... Modelo de medida de la variable exógena.................................................. Modelo de medida variables endógenas...................................................... Modelo de competencia docente.................................................................... Modelo estructural estimado......................................................................... Modelo nulo en tres niveles........................................................................... El sexo del estudiante...................................................................................... Años matriculados en la universidad............................................................ Departamento de pertenencia........................................................................ Esperanza de nota............................................................................................ Edad del estudiante......................................................................................... Edad del estudiante II...................................................................................... Sexo del profesor.............................................................................................. La edad del profesor........................................................................................ La edad del profesor recodificada................................................................. Departamento del profesor............................................................................. Rango académico del profesor....................................................................... Cantidad de investigaciones publicadas...................................................... Cantidad de investigaciones publicadas II.................................................. Salario recibido................................................................................................. Obligatoriedad de la clase............................................................................... Cantidad de estudiantes en clase................................................................... Dificultad de la clase........................................................................................ Cantidad de trabajo en clase........................................................................... Modelo general en tres niveles....................................................................... Nueva estimación............................................................................................. Residuales de nivel tres................................................................................... Residuales de nivel dos................................................................................... Modelo nulo en dos niveles............................................................................ Factor organización.......................................................................................... Factor Evaluación............................................................................................. Factor presentación.......................................................................................... Factor interacción............................................................................................. Factor entusiasmo............................................................................................ Estimación de las características y los factores............................................ Nueva estimación del modelo en dos niveles............................................. Residuales de nivel dos los profesores......................................................... Residuales de nivel uno los estudiantes.......................................................

g

325 345 346 348 349 350 351 352 353 368 388 394 400 405 451 456 457 458 459 460 461 463 464 465 466 467 469 470 471 472 473 474 475 478 478 482 483 486 490 491 492 493 495 497 499 502 503

h

DEDICADO

A Ily, María y German, por su apoyo, sus sonrisas, sus besos y sus abrazos. Con su afecto me han dado lo mejor de la vida en las horas más difíciles e interminables.

A mis padres, por su amor y sacrificio para que yo pudiera alcanzar mis sueños.

ii

AGRADECIMIENTOS

A Dios por su fortaleza, paciencia y amor.

Infinitamente agradecido con la Dra. María José Fernández Díaz, por su apoyo permanente y su visión de futuro cuando este proyecto era solo un bosquejo sin forma ni contenido.

Al Dr. José Luis Gaviria Soto por su amistad, su guía e instrucción en los modelos jerárquicos lineales.

Al Dr. Rafael Carballo por sus ideas, recomendaciones y aporte metodológico.

iii

Especialmente a quién me ayudó a aplicar los instrumentos, realizar las gestiones de evaluación, revisar la estructura filológica y sobre todo, darme ánimos, motivación y sugerencias oportunas y pertinentes, el Catedrático de la Universidad de Costa Rica Juan Santiago Quirós Rodríguez.

A la Dra. Alicia E. Vargas Porras del Departamento de Investigación y Evaluación Académica de la Universidad de Costa Rica, por su respaldo y gran aporte crítico a mi pensamiento.

A la Dra. Eiliana Montero de la Facultad de Psicología de la Universidad de Costa Rica, por las facilidades brindadas a nuestro proyecto.

A los profesores y administrativos de la Universidad Complutense de Madrid, que participaron en mi formación y que continuamente otorgaron su tiempo a mis constantes consultas.

A mis compañeros en la Universidad de Costa Rica, Sede Guanacaste, por el apoyo permanente y su confianza.

A todos mis amigos españoles que me han motivado y brindado su cariño, comprensión y apoyo.

iv

Al coro de la Iglesia San José Obrero de Coslada, por las intangibles pero vitales acciones en pro de la inserción de mi familia en la sociedad española, con lo que se ha mitigado en parte la nostalgia por nuestros seres queridos.

Al Centro de Evaluación Académica de la Universidad de Costa Rica por sus instrumentos y ágil colaboración.

A la Oficina de Asuntos Internacionales de la Universidad de Costa Rica y a la Agencia Española de Cooperación Internacional por el apoyo económico y social.

Finalmente a quienes no he nombrado pero están siempre presentes en mi corazón.

v

vi

Resumen de la tesis

La competencia docente universitaria evaluada por los estudiantes es uno de los componentes de calidad institucional sobre los que se ha desarrollado un extenso debate desde hace más de setenta años. La idea de que el profesor ejerce influencia en el aprendizaje de los estudiantes parece haber dirigido y motivado esta reflexión acerca de la necesidad de eficacia en su acción. No obstante, el eje central de esta discusión se ha focalizado principalmente en las propiedades psicométricas de los instrumentos utilizados en su medida y en las variables ajenas a la competencia docente que influyen en la valoración que hacen los estudiantes. Este estudio revisa la amplia literatura sobre el tema y propone una medida de la competencia docente fundamentada en seis factores. Posteriormente se analizan las propiedades psicométricas y se aplican los modelos de ecuaciones estructurales para validar el constructo. Definido el constructo se examinan, utilizando los modelos jerárquicos lineales, las características de los estudiantes, los profesores y el curso para conocer la influencia que tienen estos determinantes en la opinión de los estudiantes. Los resultados sugieren que el constructo competencia docente se ve poco afectado por ciertas características de los implicados cuando se estudian independientemente. Sin embargo, al introducir en el modelo los predictores de competencia docente, estos efectos no son significativos. The university educational competition evaluated by students is one of the components of institutional quality on which an extensive debate has been developed for more than seventy years. The idea that the professor influences the learning of the students has directed and motivated this reflection about the necessity of effectiveness in his action. Nevertheless, the central point of this discussion has been focussed mainly on the psychometric properties of the instruments used in their measures and in the unaware variables to the educational competition that influence in the valuation that the students do. The Student Ratings of The Teacher Competence of University is to component of institutional quality. This study revises a wide literature on this topic and proposes a measure of the educational competition based on six factors. Later, it analyses the psychometric properties and applies the models of structural equations to validate the construct. Once the construct is defined, the models are examined, using the lineal hierarchical models, the characteristics of the students, the professors and the course to know the influence that these determinants have in the opinion of the students. The results suggest that the teacher competence construct is slightly affected by certain characteristics of those involved when they are studied independently. However,

when introducing the predictors of teacher competence in the models, these effects are not significant. Palabras claves: evaluación universitaria, eficacia docente, competencia docente, modelos jerárquicos, modelos causales, sexo, edad, tamaño de la clase, años de universidad.

INTRODUCCIÓN Y JUSTIFICACIÓN

Introducción y justificación

Índice de la introducción

INTRODUCCIÓN Y JUSTIFICACIÓN ................................................1 1.

INTRODUCCIÓN......................................................................................................... 3 1.1. Relevancia................................................................................................................. 3 1.2. Problema ................................................................................................................... 6 1.3. Objetivos................................................................................................................. 10 1.4. Estructura de la investigación ................................................................................. 12

-2-


1.

INTRODUCCIÓN

1.1. Relevancia

La evaluación de la competencia docente universitaria por parte de los estudiantes es un tema de permanente actualidad, ampliamente debatido, prolijo y complejo, que ha venido desarrollándose con cierta intensidad desde hace más de treinta años. Han sido muchos los autores como Feldman (1977, 1978), Cohen (1980), Marsh y otros (1992, 1995, 2000, 2001), Abrami y otros (1990, 1997), Aleamori (1999), Ramos (1995), Villa y Morales (1993) y González Such (1998), que en el ámbito internacional y español, le han dedicado tiempo a su análisis y estudio en profundidad.

El interés por abordar esta temática de estudio, desde nuestro punto de vista, tiene diferentes motivos para su desarrollo. En primer lugar, el pensamiento de que el profesor universitario ejerce influencia en el rendimiento de sus estudiantes, parece ser el aliciente más importante en la incesante búsqueda de conocimiento acerca de la necesidad de eficacia en su acción. Los profesores son responsables, entre otras cosas, de introducir cambios y matices que modulan el clima del aula, la calidad del trabajo y la orientación de los aprendizajes de los estudiantes. En sus manos, actitudes y aptitudes, descansa gran parte del éxito de las políticas educativas, estrategias, planes, programas y otros elementos más. Darling-Hammond (2000) afirma que las instituciones ejercen una pequeña influencia en el rendimiento de los estudiantes, pero gran parte de esa diferencia sustancial es atribuida a sus profesores. Ellos son los encargados de absorber y generar una visión del mundo que les rodea. -3-


En segundo lugar, las nuevas tecnologías y los constantes cambios ejercen presión al docente para mejorar y trasformar su docencia. Al respecto, existen muchos caminos y a nuestro juicio, uno de los más eficaces es el que se deriva del conocimiento producido por la reflexión sistemática y rigurosa sobre su ejercicio profesional. Una evaluación sistemática sobre el docente, elabora un aprendizaje destinado no tanto a producir información para el almacenamiento en anaqueles, cuanto a la comprensión que perfeccione a los profesionales. El profesorado tiene que vincularse con una fuerte reflexión que debe focalizar su atención en los procesos de enseñanza y aprendizaje. El objetivo básico, apunta Tejedor (1990), es conseguir una utilidad efectiva del conjunto del proceso como recurso de perfeccionamiento docente haciendo buenos los propósitos de la evaluación formativa. La información que se recoge debe servir, en primer lugar, para poner en marcha un mecanismo formativo de retroalimentación que ayude al profesor a reflexionar, contribuyendo así, a mejorar la calidad de la enseñanza universitaria. Sólo posteriormente, y una vez ampliadas las fuentes de información en el desarrollo de un programa de evaluación de la competencia docente, se podría pensar en otros criterios de evaluación.

Fundamentalmente, la evaluación de la competencia docente se ha estructurado alrededor de los tres componentes básicos de su acción: investigación, docencia y relaciones con la comunidad. Alrededor de estos tres elementos se han desarrollado diferentes formas de evaluación que van desde la selección de indicadores (número de publicaciones, cantidad de investigaciones inscritas y participación en seminarios científicos) hasta la autoevaluación, la evaluación por pares, el portafolio y los estudiantes. Cada uno de estos agentes cuenta con diferentes criterios y formas para recopilar la información pertinente, sin embargo, la más utilizada es el cuestionario de opinión del estudiante. -4-


Es evidente que la más reciente literatura sobre la evaluación de la eficacia docente, se ha enfatizado en la necesidad de utilizar un amplio sistema que envuelva todos los componentes de la institución, para conectar el tema de la calidad de las instituciones de educación superior y la evaluación de éstas. No obstante, en un cuidadoso escrutinio de los actuales sistemas de evaluación instruccional nos revela que las valoraciones de estudiantes del profesor son quizá el único segmento que es regularmente empleado. En otras palabras, esto supone, que instructor y evaluación de la instrucción, han sido sinónimos de las valoraciones de estudiantes. Ahora bien, nótese que a estas fechas, el impulso más potente que se le ha dado ha sido para determinar la competencia docente, los aspectos que necesitan ser mejorados y el camino en los procesos de cambio, para esa mejora.

En este sentido, no nos vamos a extender ahora a desarrollar plenamente estos temas, sobre los cuales se ha escrito y se escribirá mucho, solamente baste como justificación y punto de partida la aceptación común de la necesidad de realizar estudios e investigaciones que faciliten la consolidación de un cuerpo teórico que nos permita guiar, de manera exacta, coherente y rigurosa la intervención educativa en la Universidad. Así mismo, habrá que añadir a esto, la necesidad de evaluación de los sistemas universitarios, que ayuden a definir una mejora permanente del personal, la selección del mismo o la toma de decisiones, pero sólo desde posiciones con bases teóricas y no improvisadas.

Podría afirmarse que casi todos los sistemas educativos se hallan profundamente preocupado por mejorar la educación y la formación de sus ciudadanos, y para ello continuamente suelen preguntarse: ¿qué podemos hacer para mejorar la calidad de la educación?. Por supuesto todas las miradas se dirigen inequívocamente hacia el profesorado: a ellos es a quienes se somete a -5-


consideración y evaluación y se responsabiliza - Mateo (2000) dice que se hiperresponsabiliza - de los fracasos o deficiencias del funcionamiento de un sistema del que - al menos- sólo son una pequeña parte que puede ser evaluada por los estudiantes.

1.2. Problema

La investigación educativa ha utilizado en gran medida las valoraciones emitidas por los alumnos a través de cuestionarios como medio de evaluación de competencia docente universitaria. Pero esta utilización masiva no ha evitado la controversia alrededor de este procedimiento, que sigue teniendo muchos detractores y defensores. Aleamori (1998), Ballantyne (2000) y Fember (2000) consideran que la mayoría de las veces es atacada más por su utilización descontextualizada o indebida, que por sus debilidades o condicionantes técnico metodológicos.

En la literatura sobre evaluación del profesorado universitario a partir de las opiniones de los estudiantes, se recogen múltiples estudios que, en determinados contextos, intentar relacionar los resultados de estas evaluaciones con diferentes variables, bien como factores de eficacia docente, bien como factores de sego. (ver por ejemplo: Watchel, 1999; Brodile, 1999; Centra, 1998; Kolitch, 1999; De Neve y Jansen, 1982; West y Denton, 1991; Cranton y Smith, 1986; March, 1987; Dickinson, 1990; Aleamori, 1999; Marsh, 2000; Marsh y Roche, 1997; Abrami, 1997; Potter y Emmanuel, 1990; Golberg y Callahan, 1991). Todavía hoy en día, se comenta en el claustro académico que este tipo de evaluación se ve fuertemente afectada por ciertas características como el sexo (de los profesores y estudiantes), los años de estudio, la rama académica y el rango académico, entre otros. Los profesores no dejan de -6-


sentirse preocupados por estas variables, que pueden distorsionar la valoración que hacen los estudiantes de su competencia docente universitaria.

Normalmente este tipo de valoración se orienta a la estimación del nivel de calidad de la enseñanza universitaria, a fin de contribuir progresivamente a su mejora. Sin embargo, como señalan Scriven (1995) y Marsh (2001), el estudiante es una parte de la evaluación, pero sus juicios no deben ser los únicos para valorar al profesor, debido principalmente a que son necesarios diversos criterios para acercarnos de manera adecuada a la estimación de un proceso tan complicado como lo es la docencia universitaria. Su opinión no puede ser la única vía de información recogida para tomar decisiones laborales o que puedan afectar a la estabilidad del docente.

Villa y Morales (1993) consideran que este tipo de evaluación tiene muchos adversarios, contradicciones y no pocas objeciones en cuanto a su validez y fiabilidad. Pero Abrami, d’Apollonia y Cohen (1990) apuntan que las evaluaciones de los alumnos son válidas en cuanto reflejan su satisfacción con la enseñanza que reciben y, en este sentido no puede criticarse su validez. Lo que se trata de demostrar es que no sólo reflejan la satisfacción de los alumnos, sino que están relacionadas con la eficacia de la instrucción. Alvarez (1999) manifiesta que el problema de la validez de las opiniones de los estudiantes en la evaluación de la docencia podría estar relacionado con la mejora del aprendizaje. La clave, en este caso, es poder determinar en que medida los estudiantes son capaces de percibir mejoras en su aprendizaje como resultado de una práctica docente adecuada. En consecuencia entendemos, que la evaluación de los estudiantes tendrá sentido, en la medida en que la propia institución universitaria en su conjunto, o los departamentos en su especifidad, sean capaces de utilizar provechosamente la información que se desprende de estas evaluaciones. -7-


El problema, como sugiere De la Orden (1987) es que no existen procedimientos totalmente satisfactorios para evaluar a los profesores. En este sentido una amplia mayoría de expertos en evaluación institucional defienden la diversificación y complementación de procedimientos y fuentes en

la

evaluación, algo que está incidiendo de manera decisiva en los modelos de evaluación que emplean las universidades. Sin embargo y hasta el momento, las encuestas de valoración de los estudiantes son el procedimiento más empleado y en demasiadas ocasiones, como afirma Romainville (1999), es el único que se emplea de manera sistemática.

De Miguel (1991) y Casanova (1992, 1997) sostienen que el gran reto de la evaluación no está tanto en seguir profundizando en el debate sobre bondades y maldades del procedimiento, sino en centrar adecuadamente su utilización y de manera especial en los temas relacionados con el estatus sociolaboral de los profesores.

Hoy día nadie puede negar la importancia que tiene todo este proceso de recogida de la opinión valorativa de los alumnos, aunque pensamos que debe ser integrada como un elemento de lo que denominaríamos evaluación institucional, y no aislarlo como si se tratara de algo al margen, aunque paralelo, del resto de acciones evaluadoras. No obstante guste o no guste, las universidades tendrán que atender la voz de sus estudiantes, por lo que resulta crítico analizarlas debidamente, evitando fenómenos de evaluación espontánea descontrolada, que son bastante inútiles y, además, irritantes para sus afectados.

Las encuestas de estudiantes no son el mejor procedimiento de control del cumplimiento del profesorado, ni tampoco lo son para la toma de decisiones de tipo fiscalizador. Sin duda, pueden aportar información en tal sentido, pero no podemos olvidar como bien afirman Bedgood (1999) y Kwan (1999), la -8-


perspectiva del alumno es fundamentalmente la visión del cliente, que reclama calidad del servicio señalando lo que le satisface o no y en ninguna circunstancia es la perspectiva del administrador.

Ante este panorama que encierra la evaluación de la competencia docente y el

apoyo empírico que posee, nos planteamos algunas interrogantes

fundamentales para iniciar búsqueda de conocimiento. ¿Cómo se concibe la docencia universitaria?. ¿Por qué evaluarla? ¿Quién debe evaluar al docente universitario?. ¿Cómo evaluar?. ¿Qué criterios pueden modular o determinar el rendimiento académico del profesor desde la perspectiva del estudiante?. ¿Cuáles las variables afectan la valoración de los estudiantes?. ¿Ejercen una influencia determinante?. García Ramos (1997) especifica que las preguntas se multiplican y las respuestas a estas interrogantes han sido un factor básico en la búsqueda por conseguir y mejorar la calidad educativa universitaria. Resulta irracional pretender algo y no saber nunca si eso que se pretende, realmente se ha alcanzado. Para poder resolver estas y muchas interrogantes más que nos surgen durante el desarrollo de la investigación, tratamos de darles respuesta a través de una serie de argumentaciones fundamentadas en la amplia literatura de investigación existente. Posteriormente, hacemos un planteamiento práctico que involucra los modelos causales para validar el constructo de competencia docente, y los modelos jerárquicos lineales para analizar las variables que inciden en la valoración de los estudiantes de la competencia docente universitaria.

Para responder con éxito a las interrogantes que plantea una investigación de esta índole, hemos de atender al menos a ciertos objetivos fundamentales que dirijan y guíen el camino a seguir.

-9-


1.3. Objetivos

1.3.1. Objetivo general

El objetivo general de este trabajo de investigación doctoral consiste en analizar y conocer los factores determinantes del estudiante, el profesor y la clase que inciden en la competencia docente universitaria, utilizando para ello los modelos causales y jerárquicos lineales. Ello como contribución pequeña, pero quizás relevante, al establecimiento de modelos analíticos que se fundamenten en posiciones científicas rigurosas, de modo tal que permitan un acercamiento más exacto y preciso al desarrollo del conocimiento de la competencia docente universitaria. Obviamente, no desconocemos a) el debate que puede generar desde el inicio nuestra posición y b) los pocos resultados aportados por la investigación de este tema. Es claro, que al respecto se pueden mencionar numerosas aportaciones teóricas justificadas ampliamente a favor y en contra de nuestro pensamiento. Sin embargo, es necesaria una mayor precisión en la medida de los sistemas educativos, de la calidad universitaria y para ello habrá necesariamente que hacerlo probando y utilizando modelos teóricos, observando resultados, proponiendo diferentes alternativas, en fin, trabajando de forma dinámica y estricta.

En función de este objetivo general se especifican los siguientes objetivos específicos. 1.3.2. Objetivos específicos

1. Brindar un visión general y profunda del desarrollo de los enfoques teóricos más relevantes relacionados con la competencia docente universitaria. -10-


2. Conocer el marco conceptual que envuelve la evaluación de la docencia universitaria, como un elemento importante en la búsqueda de la calidad educativa. 3. Identificar y distinguir los agentes empleados en la aplicación de este tipo de evaluación, enfatizando aquéllos directamente relacionados con esta investigación. 4. Especificar el procedimiento de recogida de información utilizado, destacando rigurosamente los aspectos interconectados con su controversia y debate. 5. Construir un instrumento de medida de la competencia docente universitaria que nos permita acercarnos a la valoración del fenómeno educativo estudiado. 6. Identificar las dimensiones y variables que han sido utilizadas como criterios de evaluación y que se han asociado frecuentemente a la competencia docente. 7. Distinguir y especificar teóricamente, los diferentes niveles involucrados en la valoración que hacen los estudiantes de los profesores, poniendo énfasis en la distinción de las características determinantes en cada uno de ellos. 8. Describir sintéticamente el origen y la técnica metodológica a emplear en el estudio, reuniendo específicamente aquellos elementos básicos que nos aporten una imagen general de ella. 9. Definir teórica y específicamente el constructo de competencia docente universitaria, como un componente importante en la eficacia de las instituciones universitarias. 10. Analizar la incidencia que tienen los factores relacionados y no relacionados con la competencia docente en la valoración que hacen los estudiantes de sus profesores universitarios.

Para llegar ordenadamente a cumplir cada uno de los objetivos propuestos consideramos indispensable sistematizar la información, de manera que inicie desde los aspectos más generales hasta los particulares, recorriendo un amplio bagaje teórico que nos permite observar plenamente un panorama equilibrado del acontecer evaluativo del docente universitario. Esto se puede -11-


lograr únicamente, con una estructura que se describe brevemente en los siguientes apartados.

1.4. Estructura de la investigación

La organización de esta investigación la hemos estructurado en dos partes claramente delineadas. La primera, el estudio de la competencia docente en la bibliografía existente, corresponde directamente al marco teórico tan necesario e importante para situar el estado de la cuestión y para orientarnos con los elementos fundamentales en la concreción de un estudio empírico, que corresponde a la segunda parte del estudio y a la propuesta práctica de la investigación.

Creímos conveniente iniciar nuestra exposición, partiendo de una aproximación a la universidad de nuestros días y del papel que juega la competencia docente en todo este marco universitario. Con estos componentes básicos se construye el primer capítulo que tiene como propósito brindar un marco conceptual muy amplio en donde está involucrada la competencia docente, dentro de un ambiente que discurre entre la búsqueda de la calidad o el control. Además, insertadas en todo este contexto, se incluyen algunas de las propuestas teóricas más representativas y actuales, que han guiado el pensamiento sobre lo qué es y debe ser el docente universitario.

Posteriormente, en el capítulo dos se muestra una visión panorámica sobre la evaluación de la competencia docente universitaria, su concepto, los propósitos, sus ámbitos de evaluación y sus agentes. Toda esta disertación pretende introducir al lector en el debate del tema en cuestión, planteando una -12-


serie de posturas diferentes y estrechamente ligadas con los principios básicos de la evaluación con los problemas que encierra el desarrollo y la selección de los sus agentes.

La elección de los estudiantes como agentes evaluadores de la competencia docente universitaria encierra un debate candente y acalorado, que se introduce en el capítulo tres. Éste incluye temas que tienen que ver con el pensamiento de los estudiantes y su visión del aprendizaje, los procedimientos que se han utilizado para la recolección de su opinión y sobre todo, como eje central, un análisis detallado del cuestionario de evaluación. Acerca de este tema, la mayor discusión se ha centrado alrededor de las propiedades psicométricas relacionadas con su fiabilidad y validez.

El capítulo cuatro, reúne problemas habituales que hemos observado y que a menudo dificultan la comprensión de la competencia docente. El desarrollo de este tema tiene que ver con los enfoques relacionados con el comportamiento del docente en el aula y con las dimensiones asociadas a la competencia docente. Es claro que en la literatura se encuentran diversas posturas. No obstante, durante toda la descripción del capítulo se trata de situar y caracterizar los elementos fundamentales de la medida de la competencia docente y los predictores comunes en los estudios. Además, se reúnen una gran diversidad de investigaciones que analizan esas variables desde diferentes ángulos, con el fin de concretar ciertos elementos repetidos entre los estudios.

Para finalizar esta primera parte de nuestra investigación, capítulo quinto, se indaga minuciosamente acerca de los determinantes de los estudiantes, el profesor y la clase, que han sido frecuentemente señalados por su influencia en la valoración que hacen los estudiantes de la competencia docente. Así, en primer lugar, comenzamos analizando diferentes estudios que discuten las características de los estudiantes, el peso y la influencia que tienen tales -13-


elementos. Después, se abordan los determinantes del profesor como sexo, edad y rama académica, entre otros. Por último, los de la clase, relacionados con la cantidad de estudiantes, la obligatoriedad y la cantidad de trabajo.

La segunda parte de nuestro trabajo, que inicia en el capítulo seis, corresponde al estudio empírico que hemos ido apoyando teóricamente desde el inicio de la primera parte. Dedicaremos todo este apartado a la configuración de diferentes elementos, como la fundamentación del diseño de investigación, sus objetivos y una breve aproximación sobre la metodología a emplear, en nuestro caso, los modelos causales y los modelos jerárquicos lineales. Estas son las dos opciones metodológicas tomadas en cuenta para enfrentar un estudio de esta naturaleza.

El capítulo siete arranca con una síntesis que justifica teóricamente nuestro instrumento de medida de la competencia docente y la formulación del modelo causal que se pretende validar empíricamente. Además le acompañan otros

aspectos

complementarios

relacionado

con

las

características

psicométricas del instrumento, analizando tanto la fiabilidad del instrumento como también los índices de homogeneidad de los ítems. Posteriormente centramos nuestra atención en el análisis descriptivo exploratorio para averiguar la estructura factorial que conforma el instrumento de medida. Luego se desarrollan toda una serie de análisis descriptivos correlacionales relativos a los diferentes factores presentes en el instrumento. Además presentamos un apartado relativo a la validación del modelo de medida, tanto para la variable exógena como para las endógenas, para llegar al desarrollo de la validación empírica del modelo estructural y de medida utilizando para ello dos tipo de programas informáticos AMOS y EQS.

Una vez definido el constructo competencia docente se aplicarán los modelos jerárquicos lineales, capítulo ocho, para analizar y estudiar la -14-


influencia que tienen los determinantes de los estudiantes, los profesores y la clase en este tipo de valoración. Se inicia justificando teóricamente las características de cada uno de los niveles implicados, para introducirlas individualmente en un modelo en tres niveles que observe ítems, estudiantes, profesores y la proporción de varianza explicada por nivel. Una vez conocidas las variables significativas se estima y se reelabora el modelo jerárquico. Luego, se construye un modelo en dos niveles para analizar los predictores de competencia docente e integrar algunas de las características significativas del modelo anterior, para observar la influencia o no de tales elementos.

Finalmente, creemos que nuestra investigación reúne información relevante y novedosa en el estudio de la competencia docente universitaria, relacionada con la estructura de estas evaluaciones, sus agentes, los procedimientos para la recolección de opinión, los factores o dimensiones más empleados y las variables determinantes de cada uno de los implicados. Un conjunto de información de este tipo es realmente útil para entender la complejidad que implica la docencia universitaria y su evaluación.

Ahora, desde el punto de vista metodológico nos aproximamos al fenómeno de estudio a través de dos técnicas muy compleja, los modelos de ecuaciones estructurales y los modelos jerárquicos lineales, ambas nos ofrecen un enfoque más científico y exacto sobre el constructo medido y sobre los determinantes que caracterizan a los implicados en una evaluación de esta naturaleza. Confiamos firmemente que el trabajo desarrollado en los capítulos posteriores pueda ser una pequeña aportación al conocimiento sobre un tema tan controvertido y la motivación externa para que otros investigadores realicen más estudios relacionados con nuestro fenómeno de estudio.

-15-


-16-

Capítulo 1:

LA COMPETENCIA DOCENTE EN EL CONTEXTO DE LA UNIVERSIDAD

La competencia docente en el contexto de la Universidad

Índice del capítulo 1

LA COMPETENCIA DOCENTE EN EL CONTEXTO DE LA UNIVERSIDAD 19 1.

UNA APROXIMACIÓN A LA UNIVERSIDAD DE NUESTROS DÍAS ....................... 21 1.1. La universidad y la competencia docente ante el cambio................................................. 21 1.2. Preocupación por la calidad o por el control .................................................................... 23

2.

LA COMPETENCIA DOCENTE EN EL MARCO DE LA CALIDAD UNIVERSITARIA................................................................................................................. 25 2.1. Un componente de la calidad institucional: la competencia docente ............................... 25 2.1.1. La calidad en manos de los docentes universitarios................................................ 29 2.1.2. El profesor: función y misión ................................................................................. 30 2.2. Diversas teorías y paradigmas sobre la competencia docente .......................................... 35 2.2.1. La enseñanza como un engranaje crítico .............................................................. 35 2.2.2. La experiencia o experto ......................................................................................... 38 2.2.3. El aprendizaje transformado ................................................................................... 39 2.2.4. La creencia o concepción de enseñanza.................................................................. 40 2.2.5. La trasmisión de la enseñanza................................................................................. 43

3.

OBSERVACIONES AL CONTEXTO ................................................................................ 44

20


1.

UNA APROXIMACIÓN A LA UNIVERSIDAD DE NUESTROS DÍAS

1.1. La universidad y la competencia docente ante el cambio

La Universidad y sus docentes tienen un gran reto ante sí: deben adaptarse a los cambios ocurridos en las últimas décadas en la sociedad para continuar con su misión más importante: la formación de los profesionales que la sociedad requiere y la construcción del conocimiento en todo su amplia envergadura.

La sociedad y el hombre nunca se han enfrentado a cambios tan vertiginosos y radicales, como los ocurridos en este último cuarto de siglo, lo que le ha llevado a replantearse todas sus estructuras mentales y físicas. El auge de la tecnología (sobre todo los grandes medios de comunicación e información); el concepto de formación continua de los individuos; el neoliberalismo galopante; la necesidad de aunar la especialización con el cultivo de las ciencias multidisciplinarias; la creciente demanda, tanto de mayor calidad como de reciclaje continuado, influyen sobremanera en la universidad. Todo este vigoroso proceso debería servir de estímulo para dar un giro y lograr el cambio. La Universidad, sus docentes y funcionarios no pueden obviar la necesaria auto renovación y a este cometido deben dedicarse predominantemente los que en ella trabajan. Al respecto Imbernón (2000) manifiesta que se debe asumir una nueva cultura, tanto en la forma como en el contenido, para enfrentarse a los nuevos retos que le plantea la sociedad a la Universidad de nuestros días.

21


Para que la Universidad eduque realmente en la vida y para la vida, debe superar

definitivamente

los

enfoques

tecnológicos,

funcionalistas

y

burocratizantes y tender (dentro y fuera, o sea, en sus relaciones y en sus prácticas) a un carácter más relacional, más cultural-contextual y comunitario, en cuyo ámbito adquiere importancia la interacción entre todas las personas vinculadas, ya sea por su trabajo en ella como en su condición de usuario, de gente social, o de simple miembro de la comunidad. Al respecto, coincidimos con Buendía y García (2000) en el sentido de que una universidad de espaldas a los cambios sociales y tecnológicos supone un despilfarro económico que ningún país se puede permitir.

Por tanto, esta interacción debe reflejar el dinamismo social y cultural de una institución que es la comunidad y a cuyo servicio se encuentra. Estas relaciones exigen a la universidad “enseñar para aprender”, en una época en que los conocimientos de hoy quedan obsoletos mañana.

La universidad debe dejar de ser un lugar exclusivo en el que se aprende una profesión, una carrera, un oficio, no importa ahora cómo lo designemos, para asumir que es también una manifestación de vida en toda su complejidad, en toda su red de relaciones y dispositivos con una comunidad que la contiene, para demostrar un modo institucional de conocer y, por tanto, de investigar y de enseñar el mundo en todas sus manifestaciones. Por tanto, hemos de conocer de qué manera la Universidad cumple con la sociedad y cumple para sí misma, tratando de analizar su comportamiento de manera racional, científica, dejando de lado los distintos intereses y los procesos anárquicos o antojadizos, que dificultan el paso a una estructura reflexiva y de análisis interno en la búsqueda de la calidad institucional.

22


1.2. Preocupación por la calidad o por el control

En la mayoría de los países desarrollados, existe en la actualidad un notable interés por las instituciones de educación superior y por todos sus componentes, incluidos como bien es conocido: sus profesores. Debido principalmente, en primer lugar, a la importancia decisiva que la investigación y la educación superior están adquiriendo para mantener el nivel de desarrollo de estos países. En segundo lugar, el gran volumen de gasto que esta educación exige. Por esa razón, los representantes gubernamentales y administradores universitarios consideran que es necesario un mayor control sobre las instituciones de educación superior. Considerando este hecho, Bauer (1988) expone que todos los involucrados en el proceso educativo están de acuerdo en que la calidad y la eficiencia deben de ser garantizadas y controladas. No obstante, esta posición refleja presiones socioeconómicas e ideológicas considerando que han de hacerse rentables las inversiones en educación y, por tanto, el trabajo de sus profesionales, ante todo, de sus docentes. Cuestiones entre calidad de la educación y mejora de la economía y la competitividad productivo-mercantil; la adecuación de la enseñanza a las nuevas tecnologías y a las futuras exigencias sociales; la justificación del aumento o restricción presupuestaria y del control del gasto público; el surgimiento de corrientes defensoras de estándares instructivos nacionales e internaciones, etc., están detrás de esta presión que trata de maximizar el control de las instituciones educativas, para optimizar de alguna manera, toda la inversión y esfuerzo que hace la sociedad. Como afirma Vroeijenstijn y Acherman (1991), son el legítimo derecho de control social sobre el sistema educativo.

Ante este panorama, parece claro que la universidad de hoy ha de tener muy presente, entre otros aspectos cruciales, dos elementos muy delineados. Por un lado, justificar el gasto de la inversión, mediante el rendimiento de 23


cuentas del presupuesto asignado. Por el otro, mantener niveles o estándares aceptables, que permitan a sus profesionales insertarse en la sociedad con todas las destrezas y habilidades necesarias para el ejercicio de su profesión. Desde esta perspectiva, la institución no solo se preocupa de los participantes del proceso educativo, sino también de los empleadores.

Es por eso esencialmente que los involucrados en la educación universitaria, llámense administrativos, profesores o funcionarios, tienen la gran responsabilidad social e interna de definir y cuantificar su calidad.

Que la universidad necesita cuantificar la calidad, es claro e importante. Por esa razón, esta necesidad de conocer, de evaluar las instituciones universitarias parece obvia. Es más, para De la Orden (1992) este elemento se constituye en un rasgo esencial de la educación superior. La educación es una actividad propositiva, intencional y, en consecuencia, la determinación de si se logran, y en qué grado, las metas, es un elemento constitutivo de la propia acción. No sería razonable desentenderse de los efectos que justifican la actividad. Pero, aunque las presiones socioeconómicas y sociales tienden a evaluar con un proceso acrítico y puedan distorsionar el propio proceso educativo y la producción científica, es necesario acabar con ese pensamiento, propio del control económico. Como afirma Mora (1991), al referirse a la situación británica, es necesario acabar con la mentalidad obsesiva de autoanálisis y auto justificación permanentes.

Debido a que más allá del

simple control económico y de toda su justificación, se encuentra la necesidad de conocer científicamente el proceso educativo y de investigación. Evidentemente, que esto no es otra cosa más que la búsqueda de la calidad por medio de procedimientos elaborados y racionales.

Podemos añadir que la búsqueda constante de la calidad en la universidad, debe estar fundamentada en la mejora de la institución, no en el 24


control; y la evaluación es un instrumento que, empleado racionalmente, puede aportar elementos relevantes sobre el acontecer de los diferentes procesos que se desarrollan en la institución y sobre el grado en que estos se alcanzan. Fenández Díaz (1997); Gobantes (2000) y Rodríguez (1998), entre otros, argumentan que la evaluación se constituye en una fase del proceso de intervención. Sin evaluación, no es posible progresar ni, mucho menos, tratar de buscar la calidad, de manera lógica y coherente.

2.

LA COMPETENCIA DOCENTE EN EL MARCO DE LA CALIDAD UNIVERSITARIA

2.1. Un componente de la calidad institucional: la competencia docente

Como comentamos en el apartado anterior, conocer las metas y objetivos que pretende una institución y evaluar sus logros, es el reto que tienen por delante para alcanzar prestigio y competitividad.

Municio (2000) insiste en que las nuevas demandas y necesidades sociales, la creciente competitividad de los nuevos centros y la obligación de rendir cuentas a la sociedad, son causas directas de la evaluación institucional.

Tal como consideramos nosotros, la evaluación de la calidad en la universidad es un instrumento de feedback, (retroalimentación) que crea una cultura evaluativa como elemento de promoción de la calidad educativa de la educación. En este sentido, la evaluación se aplica en todo momento del proceso educativo y a sus implicados, es decir, no sólo se centra en los alumnos ( el aprendizaje), sino que abarca a los profesores (la enseñanza) y al 25


centro en su totalidad. En este contexto, como sugiere De Miguel (1994), la evaluación no se relega al final del proceso sino que es algo inherente a él, lo cual hace que se convierta en parte integrante del aprendizaje. Por tanto, desde este enfoque, los resultados de la evaluación serán procesados nuevamente con el fin de realizar las mejoras necesarias y los ajustes requeridos para volver a iniciar el proceso de evaluación.

Stufflebeam y Shinkfield (1985) consideran que los objetivos primarios de la evaluación deben de ir encauzados a:

- Disponer de información que posea las características de veraz y suficiente, tanto del proceso en particular como de los resultados finales.

- La información de la que se disponga ha de ser correctamente utilizada, teniendo en cuenta que las decisiones que de su análisis se deriven han de ir orientadas hacia la mejora del proceso como del producto final

Debemos de hacer una aclaración en el primer apartado, para considerar que la mayor cantidad de información no significa que la evaluación sea de calidad. Al respecto Fernández y Galán (1997) afirman que se deben seleccionar

aquellas

variables

que,

desde

planteamiento

teóricos

y

fundamentados en un modelo, se puedan justificar como especialmente relevantes.

En este sentido la evaluación debe respetar al menos ciertas condiciones: ♦ Estar perfectamente integrada ♦ Ha de poseer el componente formativo, en cuanto vela por la optimización del proceso y de los resultados

26


♦ Debe ser continua, de modo que permita conocer sus efectos, no al final del proceso sino en todo momento, con el fin de ir tomando las opciones y correcciones que sean pertinentes en el transcurrir del proceso para alcanzar, en el mayor grado posible, los objetivos establecidos inicialmente ♦ En íntima relación con el componente continuo que la evaluación debe poseer, se le añade la recurrencia, mediante la retroalimentación que proporciona, con el fin de perfeccionar el proceso de acuerdo con los resultados obtenidos. ♦ Debe ser formativa en relación con unos objetivos establecidos al inicio y que conduzcan el proceso en dirección a ellos, para minimizar o, lo que sería óptimo, erradicar la ambigüedad y la indefinición. ♦ La evaluación ha de ser decisoria, con miras a mejorar el proceso y los resultados de aprendizaje. ♦ Finalmente ha de ser cooperativa, porque atañe a un conjunto de usuarios que deben participar en el proceso.

Conociendo los objetivos primarios de la evaluación, podemos considerar el objeto mismo que, desde una perspectiva globalizadora, serán todos los componentes de la institución: todos y cada uno de los departamentos y servicios que la institución ofrece en un contexto de integración y relación.

Según un estudio bibliométrico realizado por García C. (1998), los aspectos que tienen mayor incidencia en la calidad educativa son: la organización escolar, la evaluación, el currículo y el profesorado. Estos factores cruzados con variables de contexto, proceso o producto dan como resultado la tabla que se muestra a continuación.

27

La competencia docente en el contexto de la Universidad TABLA NO 1: ASPECTOS QUE INCIDEN EN LA CALIDAD EDUCATIVA

(García Cano, 1998: 87)

Aspecto

Entrada

Proceso

Aspecto curricular

X

Aspectos de organización del centro

X

Aspectos relativos al alumnado

X

Aspectos relativos a los recursos

X

X

Aspectos relativos a la evaluación Aspectos relativos al profesorado

Producto

X X

X

Parece claro, que los centros representan una pieza clave en la nueva arquitectura organizativa, se convierten en ámbitos de reflexión y de innovación pedagógicas, su estatus en la gestión de la calidad se revaloriza, gracias a que se constituyen en comunidades educativas autónomas y responsables, encargadas de realizar a nivel local el proyecto educativo global fijado para el conjunto del sistema, pero con una capacidad de autonomía y una responsabilidad amplias por lo que hace a las modalidades de actuación que le permiten profundizar y generar un producto educativo propio que resalte su propia identidad. Claro está que evaluar la universidad y a todos los que la integran no es una señal infalible de que se están mejorando los procesos de enseñanza-aprendizaje en ella. Y mucho menos de que se esté desarrollando un avance cualitativo en la transformación ética de la institución y de la sociedad. Por eso más importante que hacer evaluaciones e, incluso más importante que hacerlas bien, es saber a qué personas sirven y que valores promueven. La evaluación, más que un hecho técnico es un fenómeno moral. Si le conferimos un mero carácter instrumental, podemos ponerlas al servicio del poder, del dinero, de la injusticia, de la desigualdad. Sería preocupante que la evaluación fuese un instrumento de dominación, de control o de sometimiento. 28


Podemos añadir, dentro de todo este contexto, que la evaluación de todos los componentes de la institución es de vital relevancia para conocer el grado de calidad de la institución universitaria, no obstante, y por ser el objetivo de esta investigación, nos dedicaremos específicamente a la evaluación de la competencia docente universitaria coincidiendo dentro de un proceso de evaluación institucional y es a partir de ella que ha analizarse y explicarse. No es posible dotar de significación la evaluación del profesorado, si no es insertada en los procesos de mejora de la calidad de la docencia en el contexto del centro educativo. Al respecto Lapotin y Haessig (1998) destacan que la participación de los profesores, es esencial en el proceso de evaluación institucional. Es necesario demostrar a éstos la importancia de la evaluación y como ellos pueden ser parte de la instrucción y de la significación de su rol, como gestores de las acciones educativas. Desde esta perspectiva, una parte importante de la calidad en las instituciones de educación superior descansa en el acierto de las actividades docentes.

2.1.1. La calidad en manos de los docentes universitarios

Resulta obvio decir que la instrucción universitaria es un proceso complejo, pues es un núcleo donde convergen elementos con diferencias muy significativas relacionadas, entre otras, con los estudiantes, los profesores y las especialidades. Consecuentemente, el instructor de matemáticas enseña su materia de forma abstracta; el de química usa los experimentos para ilustrar la suya, y el de historia emplea los textos históricos para su trabajo. Estas diferencias no sólo se ven acentuadas entre disciplinas, sino, como señalan Rindermann y Schofield, (2001) se “encuentran también entre los intereses y los perfiles de los estudiantes”.

29


No obstante, en este entramado tan complejo, la suerte de un sistema educativo se juega todo en la carta de sus profesores. Planes, programas, organización escolar, métodos y material cobran todas sus virtualidades en manos de un buen equipo docente, que sepa convertir y transformar sus acciones en elementos de cambio en los estudiantes. Greenwald, Hedges y Laine (1996) apuntan que “los profesores, después de los estudiantes, constituyen el elemento más importante en el sistema educativo”. Por consiguiente, consideramos que alrededor de estas dos figuras, gira todo lo demás como: instituciones, objetivos, contenidos, normas, actividades, etc. Son estas dos siluetas, las que dan vida al sistema educativo, por ellas y a su alrededor, se ha construido toda una estructura que los alberga.

De ahí la importancia de conocer el funcionamiento de los docentes universitarios, el éxito que tienen en el desarrollo y cambio de sus estudiantes.

2.1.2. El profesor: función y misión

La figura del profesor es relevante, pero ¿cuál es su función en la universidad?. Resulta, prácticamente, indiscutible que la función del profesor, el papel que desempeña en un sistema educativo, influye en gran medida en los estudiantes La idea de que su influencia es capital en el aprendizaje del alumno, parece haber dirigido la reflexión acerca de la necesidad de eficacia en su acción. Somos de la opinión de que los profesores son responsables de introducir, consciente y racionalmente, cambios y matices que modulan el clima escolar o académico, de marcar el ritmo y calidad del trabajo y de orientar la dirección de los aprendizajes de los estudiantes, tanto en sus acciones en el aula, como en la organización social de las instituciones educativas. Al respecto, Darling-Hammond (2000) considera que las 30


instituciones hacen una pequeña diferencia en el aprendizaje de los estudiantes, pero que la diferencia sustancial de ese aprendizaje es atribuida en gran parte a los profesores. Son estos últimos los encargados de llevar a cabo el proceso educativo, de manera tal que genere cambios en los estudiantes y les permita absorber y generar una nueva visión del mundo que les rodea. Bien sabemos que existen diferentes tipos de clases de profesores, de alumnos y de programas en situaciones diversas, que provienen de las diferentes condiciones ambientales donde se encuentra inmersa la escuela.

La misión del profesor ha ido evolucionando a lo largo de la historia, pero en los últimos tiempos ha experimentado cambios radicales, debido, en gran parte, según lo comentábamos anteriormente, al desarrollo tecnológico y a la velocidad con que el conocimiento es reemplazado. No obstante, como todos sabemos, el profesor universitario ha de cumplir una doble misión de enseñar unos objetivos y de investigar para progresar en la enseñanza; García Ramos (1996) tratando sobre la misión de investigar del docente, explica que consiste en

“poder

facilitar

aprendizajes

actualizados,

científica,

técnica

y

profesionalmente” (pág. 127). Por esa razón el docente universitario ha pasado de ser un mero transmisor a un especialista que prepara a los alumnos para la vida, que comparte inquietudes y estimula la búsqueda de crecimiento intelectual. En este sentido, la misión del profesor es ayudar a sus alumnos a descubrir nuevas ideas y nuevas formas de organización, de esa manera provocar un aprendizaje significativo y poner todos los medios necesarios a su alcance para que el aprendizaje sea posible.

Por lo tanto, creemos que en la actualidad el conocimiento es un factor más de las diversas manifestaciones de la tarea profesional del docente. Es más importante que conozca y opere en el contexto socio–cultural en el que enseña, pues el proceso de educación se identifica cada día más con el de socialización. De la misma forma, el docente ha de considerarse a sí mismo como un 31


aprendiz, y como tal, tiene primera y principal fuente de aprendizaje a sus propios discípulos, quienes aportan muchas enseñanzas, sugerencias, inquietudes y los cuales deben ser motivo de preocupación pedagógica.

Todo lo anterior nos induce a preguntamos por el tipo de docente que necesita

la

universidad.

Generalmente

y

simplificando

al

máximo,

encontramos dos posiciones:

1) Por una parte, la que afirma que la docencia es la mera trasmisión de un saber, con lo que lo importante, entonces, es el saber por sí mismo. Cualquiera que sea experto en algo puede ser profesor si tiene las dotes personales (innatas ) adecuadas.

Desde nuestra perspectiva, esta posición concibe el aprendizaje como un proceso pasivo: el alumno es mero receptor que almacena en su intelecto los conocimientos que le trasmite el profesor. Por lo que, según Ferrer y González (1999), las dotes fundamentales de un “buen profesor” serían el dominio de la materia y la claridad de las explicaciones que dé.

Cómo es lógico, el profesorado universitario se forma, básicamente, en el contenido científico de la materia que enseña y sobre la que investiga. Pero, por otra parte, resulta muy escaso, cuando no nulo, el interés del profesorado respecto a la formación necesaria para transmitir y compartir ese conocimiento con su alumnado.

Como puede comprobarse por la experiencia, es harto difícil superar el arraigo y viejo supuesto que afirma que un buen profesor universitario es aquél que domina la materia científica, ya que ese conocimiento lo capacita por sí mismo para enseñarla, y que dice, además, que es mejor docente el que muestra la necesarias aptitudes y buena voluntad. Todo ello, en pocas palabras, 32


implica una exacerbada sobrevaloración de la experiencia subjetiva mediante la falacia del "enseño a mi manera" extraída de un empirismo elemental. Ahora bien, ¿cómo superar ese síndrome de la familiaridad en la docencia universitaria?. Se impone como modelo de transmisión predominante, o sea, como currículo nulo, ya que se aprende a enseñar mediante las estructuras y las relaciones que se tuvieron y se tienen, más que por la formación específica, la reflexión, la implicación y el contraste de ideas.

2) La otra posición concibe la docencia como una profesión de elevada complejidad. Los docentes no sólo deben conocer a fondo la materia que imparten, sino que, además, deben ser expertos en una actividad muy compleja: la denominada "transposición didáctica del saber". Es decir, adecuar la metodología y las técnicas didácticas a la situación concreta de cada grupo clase.

Esta perspectiva requiere que la nueva universidad supere los viejos esquemas y las antiguas ideologías académicas sobre la docencia, predominantes desde hace ya siglos, y que hoy en día están mayoritariamente obsoletas.

Desde nuestra concepción, se concibe al profesor universitario como una profesión de elevada complejidad, que involucra: a) un profesional que desempeña una tarea compartida, que requiere de una formación, orientada a que otras personas aprendan, b) prioritariamente técnica (lo que no quiere decir exclusivamente técnica ni contrapuesta a actitudes reflexivas), es un especialista al más alto nivel en una ciencia, lo cual comporta la capacidad y hábitos investigadores que le permitan acercarse a, y ampliar, las fronteras de su rama del saber y c) un miembro de una comunidad, la comunidad académica, lo que supone la aceptación, y conformación de la conducta, a un conjunto específico de pautas, valores y actitudes que, de alguna manera, 33


reflejan una determinada percepción de la realidad y caracterizan y dan sentido a una forma de vida. Su éxito dependerá, según Yinger (1986) de su habilidad para enfrentarse con la clase y para resolver los problemas inherentes a esos enfrentamiento, la habilidad requerida

será la integración inteligente

y

creadora del conocimiento de la técnica.

Todo esto no quita que el educador contemporáneo deba seguir desempeñando ciertos cometidos tradicionales, que adquieren carácter permanente en la educación, como la de integrar al educando en el mundo de conocimientos, destrezas, usos, conductas y valores en que ha nacido.

En definitiva, el papel del profesor es activo. Su cometido, que comenzó en el momento de la programación, se extiende y hace más complejo convirtiéndole de un explicador o aclarador, en guía y estímulo del proceso de aprendizaje y de formación en general. De acuerdo con lo anterior, García Hoz y Pérez Juste (1984) afirman que el mejor profesor no es el que mejor explica, sino el que hace trabajar más a sus alumnos, el que mejor los estimula y orienta en su actividad.

No podemos pasar por alto que el valor del profesor está en que a través de él llegan al estudiante los estímulos adecuados para su mejor educación. El profesor debe potenciar con los alumnos la programación del trabajo diario, el establecimiento de relaciones con los alumnos, a fin de conocer sus necesidades, intereses, dificultades y aptitudes. El papel del profesor como guía, en todos los movimientos, hacen del alumno el protagonista de su propia formación, lo que considera cómo llevar a un individuo o grupo de individuos, de un estado inicial a otro superior, por medio del conocimiento transmitido de manera formal e informal, fundamentado en sus propias teorías sobre la enseñanza y el aprendizaje.

34


2.2. Diversas teorías y paradigmas sobre la competencia docente

En la siguiente sección, planteamos varias perspectivas teóricas y paradigmas que tienen relación con el pensamiento tradicional y los más actuales, relacionados con la complejidad de la actividad docente. En el debate, se exploran varias rutas, que a, nuestro modo de ver, pueden brindar las bases para una enseñanza más representativa y comprensiva. En este contexto, los postulados tienen el potencial de ampliar el campo de trabajo para lograr entender los procesos de cambio hacia la mejora y amplían la visión de la enseñanza y su proceso. Exposiciones detalladas sobre cada uno de los postulados tratados pueden consultarse en los autores referenciados siendo especialmente recomendables las de Hooks (1994), Freire (1970), Borko y Livingston (1989), Jonaseen (1993), Shön (1983), Clark y Peterson (1986) y Kagan (1992), por su claridad, manejo y profundización de los conceptos. Aquí, basándonos en los trabajos de los autores citados, nos limitaremos a dar una idea introductoria sobre las diferentes visiones que tiene la enseñanza, de manera tal que permita al lector captar la lógica del proceso y acudir seguidamente a las fuentes citadas para mayor detalle. Estas visiones son: la enseñanza como un engranaje crítico, experiencia docente, la creencia y la concepción de la enseñanza, la teoría del aprendizaje de transformado y la trasmisión de la enseñanza.

2.2.1. La enseñanza como un engranaje crítico

Esta teoría descansa en el supuesto de que el educador necesita asumir una posición crítica acerca de la sociedad en que vive y que, con todas sus ventajas y desventajas, la sociedad puede ser cambiada o transformada, de forma tal, que sea más justa y menos opresora de los individuos. En el mismo sentido, se manifiesta Weiler (1988) al afirmar, " que la sociedad es explotada 35


y oprimida, pero también es capaz de cambiar la existencia" (p.5). Por tanto, este es un movimiento de gran conciencia del cambio social y de la pelea contra la injusticia.

En este contexto, se ve la institución educativa como un lugar para la transformación y la emancipación, un lugar donde los estudiantes son educados no solo para ser pensadores críticos, sino también, como señala McLaren (1992) “para ver el mundo como un lugar donde sus acciones pueden hacer la diferencia" (p. 6). Nosotros consideramos que este enfoque pone de manifiesto que contra la enseñanza de hilo, la acción de la enseñanza está orientada hacia el trabajo por una justicia social como el centro de la adquisición de conocimiento, y que los profesores deben desarrollar un pensamiento más crítico, debido en gran parte a que la enseñanza tradicional generalmente no suple las expectativas de los estudiantes. En el mismo sentido se manifiesta Hooks, 1994, al afirmar que “la enseñanza no ofrece al estudiante ninguna conexión entre lo que ellos aprenden y sus experiencias globales de vida” (p. 19) y que es deber del profesor integrar este dilema.

Después de indagar en este paradigma, consideramos que la vida y la perspectiva de los estudiantes se valoran como un punto de inicio hacia la construcción del conocimiento; el conocimiento es un logro de las relaciones recíprocas entre el profesor (conocedor) y el objeto de conocimiento. En su implementación, este pensamiento crítico involucra a los profesores en el cambio de la cultura tradicional de clase para reinvertir sus relaciones y sus modelos de comunicación con los estudiantes. La esencia de la visión crítica del educador sobre el aprendizaje es relacional y mutua práctica de diálogo. Según algunos autores, entre ellos Freire (1970), Lewis (1992), Luke y Gore (1992) en la clase tradicional, los estudiantes pocas veces son invitados a compartir sus conocimientos con el profesor. Palmer (1993), en un artículo muy crítico, sostiene que en tales clases: 36


"...hay muchas lecturas impuestas autoritariamente, mucho de lo que se escucha no es captado. El ethos destruye la comunidad. No hay sustancia en las palabras que son dichas en clase, los resultados de este método se perciben en la forma que los estudiantes focalizan estas imágenes de conocedor y el de conocimiento, de sí mismos y del mundo..." (pp. 3-4)

Evidentemente, en el pensamiento crítico, la expresión de los estudiantes y de su desarrollo está relacionado con todos los participantes, y ha de ser promovido en la clase. Ahora bien, la visión entre el político y los objetivos sociales, es una única visión de los acontecimientos emergentes de la clase, los cuales manifiestan que la clase, con todas sus limitaciones, continúa siendo una cantidad de posibilidades inimaginables, que facilita la oportunidad para trabajar por la libertad. No obstante, como bien señala Hooks (1994) este tipo de educación es “como una práctica de la libertad” (p.70)

En suma,

podemos manifestar que desde el pensamiento crítico del

profesor se debe tratar de abrir la mente y el corazón, de manera tal, que permita ver la realidad y transgredir los límites para trasformar la sociedad, haciéndola más justa y más equitativa a todos. Para este cometido, tiene en sus manos la posibilidad única que representa el aula.

La transformación de la sociedad, es posible por medio del desarrollo de un pensamiento crítico, que permita e involucre a los estudiantes en la creación y construcción de sus ideas y concepciones. Pero todo esto requerirá de un elevado modelo de pensamiento que se puede enfrentar con la experiencia docente. 37

La competencia docente en el contexto de la Universidad 2.2.2. La experiencia o experto

Esta teoría involucra el proceso y la estructura del conocimiento como fuentes principales para un modelo de pensamiento que se construye desde la experiencia docente. Los recientes estudios que se han llevado a cabo, entre los que destaca mencionar a Glaser (1988), Chi, Glasser y Farr (1988), Dreyfus y Dreyfus (1986), Erickson y Smith (1991), Means (1993) y Jonaseen (1993), se han basado, fundamentalmente, en el dominio de la experiencia del profesor, caracterizada según Saroyan y Amundsen (2001) como “un conjunto de habilidades cognitivas que le permiten al docente desarrollarse plenamente”.

Dentro de estas habilidades cognitivas, se incluyen

la estructura y

organización del conocimiento, profundidad en la presentación de problemas, calidad de modelos mentales, eficacia de los procedimientos, automaticidad y procesabilidad de los conocimientos, y destrezas meta-cognitivas para el aprendizaje. Todo esto nos lleva a considerar que los profesores expertos cuentan con esquemas más complejos de conocimiento desde el cual abordan el contexto de sus clases, observan las relaciones entre las lecciones y el currículo global, que han enriquecido la base de sus conocimientos y están, por lo tanto, como bien afirma Copeland (1994), “están en disposición de enlazar sus acciones a un gran número de metas instruccionales y a interpretar las situaciones de clase en una manera más compleja que los profesores sin experiencia o principiantes”. No obstante, como bien señalan Borko y Livingston (1989), Carter (1987), Gendron y Saroyan (1994), Peterson y Comeaux (1987), Andrews (1996), Rahilly y Saroyan (1995) y Copeland (1994), al conceptualizar la enseñanza, como un complejo de habilidades cognitivas que no es innata, pero que se puede aprender y mejorar.

Después de analizar esta perspectiva teórica, se deduce que el profesor con experiencia puede enfrentar las clases con un pensamiento más 38


estructurado y elaborado; de esa manera originar un curso que desafíe a los estudiantes, planteándoles en profundidad los problemas de cursos y estructurando

cognitivamente

su

aprendizaje.

Este

pensamiento

ha

proporcionado una rica y creciente literatura que puede ser usada como una base para progresar en nuestro conocimiento acerca del desarrollo de medidas y evaluaciones para la competencia docente y para continuar buscando un cambio, en la transformación permanente que sufre el docente universitario.

2.2.3. El aprendizaje transformado

Esta corriente es particularmente relevante por su interés en el proceso de cambio como un resultado de sí mismo, ya que facilita la comprensión de los factores que empujan o inhiben los cambios, internamente, en sí mismos. Por ejemplo, resulta muy simple para los profesores brindar su visión acerca de cuál debe ser la enseñanza "ideal", en su clase, en la clase de otros, en un lugar. El individuo puede ser capaz de describir la enseñanza centrada en el estudiante, orientada al aprendizaje, facilitación de procesos, comunicación, relaciones, organización, entre otros, pero después de conceptualizar su planteamiento teórico, el docente no traslada esas descripciones y suposiciones dentro de la acción correspondiente, en su clase. Esta falta de congruencia, de hecho, detiene su conocimiento, al no llevar sus ideas a la práctica o de creer que esos ideales, deben ser considerados y puestos en práctica por otros (profesores, directivos, estudiantes) no por el mismo.

En general, la teoría propone que la mayoría de los adultos aprenden y cambian, cuando se asume, internamente, que ellos pueden aprender. Tal cambio puede ser mediado por el examen sincero de sus suposiciones y por la identificación "distorsionada" de su visión sobre la enseñanza y el aprendizaje. Craton (1995), propone algunas preguntas que pueden brindarnos una ayuda 39


para acercarnos al problema: ¿cuáles son mis supuestos de trabajo?; ¿Cómo hemos tomado o adquirido esta suposición?; ¿Por qué esta suposición de la materia que imparto?( p.731).

La lógica de este proceso, según el autor, se manifiesta en la reflexión interna, como la clave del proceso para cambiar la práctica docente, pero considerando el pensamiento de que los adultos pueden cambiar o transformarse si realmente están convencidos internamente, de que las cosas que hacen no están bien del todo o, las cosas que han hecho se pueden mejorar. Es una asunción interna, que debe darse en el docente, a partir de la reflexión sobre su actividad educativa, a partir de ahí éste debe iniciar su proceso de transformación.

Después de analizar brevemente este pensamiento, terminaremos citando a Shön (1983) quien tratando sobre el aprendizaje transformado, concluye que la estructura teórica del aprendizaje transformado hace posible distinguir lo que él denomina como tiempo psicológico, que significa el momento preciso cuando el individuo está listo para entrar en un proceso de cambio, y provee la vías de apoyo y ánimo para el proceso. Desde esta corriente, los individuos pueden cambiar solamente cuando ellos consideren que están listos para hacerlo, que ese es el momento preciso para cambiar de mentalidad o que es necesario hacerlo.

2.2.4. La creencia o concepción de enseñanza

En el desarrollo de la actividad docente universitaria, como en otros niveles, existen los que tienen una creencia, una suposición o visión personal acerca de lo que debe ser la enseñanza, y la identifican como un importante constructo subyacente que motiva la acción. En este sentido, como bien 40


definen este pensamiento los autores Clark y Peterson (1986), Kagan (1992), Pajares (1992), Pratt (1997)

es "la suposición implícita acerca de los

estudiantes, el aprendizaje, la clase y el objetivo de la materia." Una propuesta similar sobre la definición está muy relacionada con el significado de la concepción de la enseñanza en el contexto de la educación universitaria planteado en los trabajos de Andrews (1996), Kugel (1993), Magnusson (1993), June y Pratt (1992), Ramsden (1992) y Sherman (1987).

Para estudiar esta concepción interna de la enseñanza, algunos investigadores (véase Trigwell, 1994; Andrews, 1996; Kugel, 1993; Magnusson, 1993; June y Pratt, 1992, Ramsden, 1992, Sherman, 1987), han revisado las vías en las cuales los profesores universitarios conciben la enseñanza y el aprendizaje y la forma en que esta concepción tiene relación con su propuesta de enseñanza en clase. Evidentemente, esta concepción está muy relacionada con el significado que tiene la enseñanza para los profesores universitarios y cómo desde su concepción de docencia, conciben la enseñanza y el aprendizaje de sus estudiantes. Por tanto, desde este enfoque, consideramos que el planteamiento manifiesta que los profesores tienen una idea preestablecida de lo que es la enseñanza y el aprendizaje, y se fundamentan en ésta para impartir y desarrollar sus clases en la universidad. Kember1 (1997), en una buena síntesis de 13 estudios, en los cuales se estudiaba la concepción que ha tomado la enseñanza dentro de muchas labores de trabajo, y que han sido trasladados fuera de la educación universitaria. Los resultados de esta síntesis tienen dos orientaciones generales caracterizadas por estar: centrado en el profesor / contenidos - orientación y centrado en los estudiantes / aprendizajes - orientación. Este contínuum consiste de cinco concepciones: trasmisión de la información, transmisión de una estructura de

1

Ver también Grow yKember, 1993; Kember y Row, 1994

41


conocimiento, interacción profesor / estudiantes, facilitación del conocimiento y del cambio conceptual. En el eje vertical, Kember utilizó cinco dimensiones en las cuales se delimita la concepción de la enseñanza: profesor, enseñanza, estudiante, contenido y conocimiento.

Lo anterior considera que el grado en el cual los procesos de enseñanza y el aprendizaje están integrados, puede ser sólo distinguida entre varios niveles o factores de competencia pedagógica. En otras palabras, como afirman Packer y Winne (1995) la baja competencia pedagógica, es la más fragmentada visión de la enseñanza y el aprendizaje. Esto supone que para los que están en el menor nivel de competencia, el rol del profesor y el estudiante, la enseñanza y el aprendizaje, el contenido y el contexto son importantes, pero no son necesariamente observados como variables relacionadas. En tales casos, el foco está en su propio esfuerzo y no en los resultados de la enseñanza: el aprendizaje de los estudiantes. Al repecto Biggs (1996) y Saroyan

Snell

(1997) consideran que estos profesores ponen al estudiante en un prominente rol en el proceso de enseñanza y aprendizaje. Esta es una asunción muy razonada que significa que los profesores poco competentes escogen los métodos de enseñanza que atraen a los estudiantes en varias actividades, pero no por su estructura o contenido, o por una necesidad de aprendizaje, sino porque son fácilmente implementadas, como una parte de su repertorio de enseñanza, o porque los estudiantes estaban contentos con las ellas. Por otra parte, los profesores quienes tienen una visión integrada de los procesos de enseñanza y el aprendizaje, seleccionan los objetivos de la materia, el contexto instruccional, y los métodos de enseñanza intencionalmente porque ellos conocen el potencial de la enseñanza y, posiblemente, tienen una estructura mental compleja sobre ésta, que les permite plantear el proceso de clase con una mejor eficacia.

42


En definitiva, la concepción o creencia que el docente universitario tiene sobre la enseñanza y su proceso, tiene un alto efecto sobre el desarrollo de la clase y sobre el ejercicio docente debido principalmente a que la idea que tiene el profesor de la enseñanza va ser el motor que genere la construcción de todas sus actividades educativas para inicialmente transmitir su conocimiento.

2.2.5. La trasmisión de la enseñanza

El modelo de la trasmisión ha sido el que ha dominado en Norte América, y ha estado fuertemente influenciado por el positivismo2. El positivismo es la visión de la existencia humana y las relaciones sociales como proponen las leyes, similar a los que gobiernan el mundo natural, (suponiendo) que el conocimiento del mundo social es construido, como señala Weisler (1988) sobre "objetivos de hecho que se abren a la medida y el control" (p.125).

El modelo de trasmisión de la enseñanza en el tradicional espejo positivista, es la dicotomía estricta sujeto - objeto, en la cual el conocedor no se ve envuelto con el saber, sino que está fuera de él. Einer (1997) y Pearse (1983), consideran que "la relación que una persona tiene con su mundo es una en la cual los dos están separados y aislados. El mundo es un objeto y la persona actúa sobre él". El profesor o el que tiene el conocimiento, considera que subsiste fuera e independiente del acto de aprendizaje, por tanto, puede indicar qué se ha aprendido y demostrar que el aprendizaje ha ocurrido.

2 El positivismo es una filosofía de las ciencias que separan el valor de hecho, el cuál comprende el monismo metodológico, que descansa sobre una visión fundamentalista del conocimiento, que posee un concepción particular del significado, que tiene en cuenta las demandas éticas como manifestaciones carentes de sentido, que confían en la ciencia como el único recurso de conocimiento, y que miran la explicación de "la realidad" por medio de la búsqueda de las leyes universales, a este respecto la medida se convierte en el significado por excelencia por la cuál se mira la realidad, sin ello nada en absoluto puede ser representado.

43


Analizando lo anterior, consideramos que el acto de enseñanza es visto como la trasmisión de información y el aprendizaje, como la absorción de esa información. En otras palabras, radica en la idea de la trasferencia directa del conocimiento del instructor al estudiante. Así, la absorción cuantitativa y pasiva del conocimiento es más importante que su construcción, si se considera dentro de la vida y las experiencias del estudiante. Los estudiantes que están familiarizados solo con la trasmisión del aprendizaje tienden a creer que un "profesor es la autoridad del entendimiento, de quién obtienen la sabiduría" (Shor, 1996, p.67). No consideran que ellos son partícipes de su crecimiento intelectual y que son ellos mismos los que creadores de su conocimiento. Así mismo, los profesores involucrados en este pensamiento, es posible, que consideren que no necesitan aprender ni interactuar con los estudiantes para llevar a cabo el proceso de enseñanza aprendizaje y que sus estudiantes deben sobre todo, memorizar todos los componentes de su clase para demostrar que han aprendido y que adquirieron las destrezas necesarias del saber, para su desarrollo intelectual.

3.

OBSERVACIONES AL CONTEXTO

En las líneas anteriores observamos, los diversos planteamientos que se refieren al gran reto que tienen las universidades, funcionarios y docentes; el cual consiste en adaptar la institución a la trasformación del mundo. La vida actual es un constante cambio, donde los conocimientos de ayer, quedan vetustos mañana, por lo cual el continuo aprendizaje es necesario, para poder enfrentar la vida diaria.

Ante esta transformación, los gobiernos de los países desarrollados han volcado su mirada en las instituciones de educación superior, debido 44


primordialmente, a la importancia decisiva que la investigación y la educación superior tiene para mantener el nivel de desarrollo de estos países, y al tamaño del gasto público que ello representa. Por tanto, se considera que es necesario un mayor control sobre las instituciones de educación, para conocer el grado en que éstas se ajustan a los cambios, mejoran sus servicios, aumentan el rendimiento de sus estudiantes y sobre todo, controlan el gasto en sus acciones.

Parece claro, que la universidad necesita cuantificar la magnitud de su actividad,

por esa razón, la evaluación de las instituciones universitarias

parece obvia. Pero, aunque las presiones constantes de la sociedad estimulen la distorsión del proceso evaluativo, es necesario acabar con ese pensamiento, propio del control económico. Porque más allá de estas presiones, está la obligación de conocer científicamente el desarrollo, funcionamiento e impacto de las universidades y sus docentes. Por tanto está búsqueda por la calidad, ha de estar afincada en la mejora de la institución y no en su control económico.

Es importante evaluar, pero de manera lógica, coherente, no anárquica, orientada a la toma de decisiones para la mejora de la práctica en la universidad, por tanto, ha de ser proceso permanente que envuelva todos los componentes de la institución, incluido especialmente los profesores universitarios.

Es ampliamente conocido que una parte importante de la calidad de toda institución universitaria, se encuentra en las manos de sus docentes. Podemos decir que todo sistema educativo, depende en gran parte de buen funcionamiento del cuerpo docente y en ellos cobra vida los programas de estudio, la organización escolar, los planes, las actividades. Por tanto, resulta indiscutible, que la función del profesor, influye en gran medida en el aprendizaje y rendimiento de los estudiantes, lo que lo convierte en la figura más importante del sistema educativo, después de los estudiantes. Todo ello no 45


implica, que sea el único responsable de la calidad de la institución universitaria, pues como todos sabemos, ésta (la calidad) se ve constantemente afectada por el funcionamiento o no de todos los componentes que forman el complejo mundo universitario.

Una valoración final sobre este breve panorama nos permite manifestar que la acción docente es un proceso complejo, en donde intervienen diferentes estados del pensamiento, diferentes actitudes y actividades, a veces, todo ello de forma simultánea. Los diferentes pensamientos sobre el acto docente involucran, tanto la trasformación de la sociedad y el pensamiento crítico, como la concepción de la enseñanza o la experiencia que se tiene de ella. No obstante,

en

este

entramado

tan

complejo,

podríamos

continuar

permanentemente desarrollando y estudiando paradigmas y teorías que traten de ilustrar o proponer una respuesta, una explicación lógica de la docencia, pero es un problema clásico de difícil elucidación, que cuenta con innumerables propuestas y sería casi imposible enunciar, en este breve apartado, siquiera una parte de ellas. Por tanto, este pequeño acercamiento nos deja en la puerta de entrada al eterno campo de la definición de la docencia universitaria. Quedará en la inquietud del lector, profundizar en su búsqueda.

Nosotros trataremos seguidamente, la evaluación de la competencia docente universitaria; abarcando todos los

elementos que la envuelven e

integran y que la han convertido en uno de los procedimientos de evaluación más complejos y debatidos durante años.

46

Capítulo 2

PERSPECTIVA EN LA EVALUACIÓN DE LA COMPETENCIA DOCENTE UNIVERSITARIA

Perspectiva en la evaluación de la competencia docente universitaria


PERSPECTIVA EN LA EVALUACIÓN DE LA COMPETENCIA DOCENTE UNIVERSITARIA..............................................................47 1.

LA VALORACIÓN DE LA COMPETENCIA DOCENTE UNIVERSITARIA .. 49 1.2. Una visión panorámica ........................................................................................... 49 1.2. El concepto ............................................................................................................. 53 1.3. Los propósitos......................................................................................................... 55 1.3.1. Las finalidades: formativa o sumativa ........................................................... 60 1.3.2. Los usuarios .................................................................................................... 70 1.4. Acciones básicas para promover el proceso de evaluación .................................... 72

2.

ÁMBITO DE LA EVALUACIÓN DE LA COMPETENCIA DOCENTE........... 76 2.1. Valorar las cualidades personales ........................................................................... 77 2.2. Las competencias docentes ..................................................................................... 78 2.2.1. Comunicación con los estudiantes .................................................................. 79 2.2.2. Organización y conocimiento de la materia.................................................... 80 2.2.3. La reflexión en el ámbito docente ................................................................... 81 2.2.4. Las relaciones interpersonales........................................................................ 82 2.2.5. La evaluación de la enseñanza ........................................................................ 82 2.3. La actuación docente en el aula .............................................................................. 85 2.4. Las experiencias de aprendizaje del alumno........................................................... 86 2.5. Los resultados de aprendizaje o eficacia................................................................. 87 2.5.1. Un acercamiento al concepto de eficacia ........................................................ 88 2.5.2. El objetivo de los estudios sobre eficacia docente .......................................... 89 2.5.3. El “buen” profesor universitario ..................................................................... 91

3.

ALGUNOS AGENTES DE EVALUACIÓN ............................................................ 99 3.1. Autoevaluación del profesor ................................................................................. 103 3.2. Evaluación hecha por colegas............................................................................... 108 3.3. Los estudiantes, nuestro interés ............................................................................ 114 3.4. Un elemento de cambio: el portafolio................................................................... 115

4.

OBSERVACIONES AL ENTORNO DE EVALUACIÓN DOCENTE ............... 118

48


1.

LA VALORACIÓN UNIVERSITARIA

DE

LA

COMPETENCIA

DOCENTE

1.2. Una visión panorámica

Durante los 80 y 90, ocurrieron rápidos cambios en la mayoría de aspectos de nuestra sociedad. Murphy afirma (1995) que tales cambios en el medio ambiente, sobre todo, afectaron la escuela, y los profesores tuvieron que encarar diferentes tipos de problemas, inciertos y desafiantes. Como es de esperar, las metas en educación parecen complejas: las tareas tienen más demanda; las expectativas del público son más diversas; la rendición de cuentas toma auge. Al respecto, Boles y Troven (1996) destacan que en el siglo XXI el ambiente de la educación podría ser

más cambiante y

demandante, porque el desarrollo de la tecnología, la economía y el ambiente político es rápido y drástico. Esto supone que los profesores, en la era de cambios, están requiriendo la obligación

de ampliar sus roles y

responsabilidades como desarrolladores del currículo, del nuevo profesor mentor, facilitador del desarrollo del grupo, la acción de la investigación, el equipo líder. Para Fessler y Ungaretti (1994) y Walling (1994), las nuevas responsabilidades envuelven tanto a los profesores, los padres, los estudiantes, así como a los organismos públicos, los encargados de la toma de decisiones y a los miembros de la administración universitaria.

En este contexto, la evaluación del profesorado universitario ha sido uno de los tópicos sobre la enseñanza superior que ha generado el mayor número de debates durante los últimos años. Varios tipos de razones justifican este hecho. En primer lugar, se señala que la enseñanza universitaria tiene un 49


papel fundamental a la hora de evaluar la calidad de la universidad, ya que el prestigio de una institución depende, en cierta parte, de la calidad de su profesorado. Claro está, que existe la convicción de que detrás de cualquier mejora significativa en la escuela, subyace la actividad del profesorado, pero esto es una enorme responsabilidad de todos los componentes de la institución y no es única del profesor. Aunque, ciertamente la Universidad no se ha planteado las cuestiones pedagógicas, propias del denominado "sabe enseñar", que atañen a la práctica docente y a su mejora, debido a la existencia de un dominio del saber académico sobre el pedagógico-didáctico, reconocido el primero como único requisito para desarrollar una docencia de calidad. En un estudio muy claro, Buendía y Olmedo (2000), insisten en que actualmente se está demostrando que no es suficiente con un conocimiento amplio e idóneo sobre la materia a impartir, sino que “además se requiere una dotación en destrezas pedagógicas que garanticen el aprendizaje "óptimo" del alumnado”. (pág. 152).

Sobre este aspecto, la National Commission on Teaching and American's Future (1996), destaca que muchos profesores no tienen el conocimiento ni las destrezas necesarias, para mejorar significativamente la calidad en sus estudiantes. No obstante, retomando el pensamiento de Clare y Aschbacher (2001), consideramos que, pese a la cantidad de reformas educativas implementadas en los diferentes

países occidentales, el logro de los

estudiantes depende en gran parte de la calidad de sus profesores.

En segundo lugar, esta evaluación es algo muy complejo, porque puede centrarse en aspectos muy diversos: su formación, su competencia, su comportamiento en el aula, los resultados que obtiene, etc. Por ejemplo, si nos fijamos en la actuación del docente en el aula, en la preparación de clases, vemos que este único aspecto es también una actividad compleja, porque es difícil aislar sus diversos componentes y facetas. 50


En tercer lugar, muchos profesores se niegan a ser evaluados; tienen miedo a la evaluación por desconocimiento de sus formas y objetivos, por la falta de credibilidad de las instancias evaluadoras, por planteamiento apresurado acompañado de un estado de desinformación o una información sesgada y, según Lucas (1999), por las posibles repercusiones de la misma evaluación; en cuanto al impacto sobre el salario, la promoción o como señala Haskell (1997) en las decisiones relevantes sobre el desempeño docente. Algunos añaden el hecho de que con la evaluación de la docencia pueda ponerse en peligro (real o virtualmente) la seguridad profesional, psicológica y / o laboral de algunas personas.

Por otra parte, Ting (2001) afirma que los estudios e informes coinciden igualmente en resaltar que, mientras la calidad de la actividad investigadora del profesorado universitario se ha potenciado notablemente durante los últimos años, la función docente se halla sometida a una progresiva devaluación, tanto profesional como social. Hacemos caer la responsabilidad de la calidad de la enseñanza universitaria sobre el profesorado, pero primordialmente se potencia la función investigadora en detrimento de la docencia. Esta limitación de los procesos evaluativos en las universidades tiene, desde nuestro punto de vista, dos problemas que consideramos graves dadas sus repercusiones. De una parte, plantea la evaluación de la docencia como "una cuestión individual de cada profesor" sin tener en cuenta que la calidad de esta función en el ámbito institucional, depende de la coordinación y actuación conjunta de todo el equipo de profesores que coinciden en una determinada titulación. De otra, establece procedimientos diferentes -duro y blando- para evaluar investigación y docencia, lo que implícitamente conlleva una lectura de que - oficialmente - se reconocen como más importantes para evaluar al profesorado los elementos basados en sus contribuciones científicas que en su actuaciones pedagógicas. Podemos decir, como bien apunta García 51


– Varcárcel (1993) que en el ámbito de la enseñanza superior se han descuidado los aspectos relacionados con la función docente, prestando una mayor atención a la investigación.

Ahora bien, como ya expusimos en los apartados anteriores, hemos de tener en cuenta que toda enseñanza supone un modelo y, por consiguiente, cualquier método de evaluación lleva consigo un modelo explícito o implícito de enseñanza. Esto significa que para evaluar al profesor, es necesario un conocimiento del tipo de enseñanza que se pretende desarrollar, de modo que la evaluación se ajuste a este modelo y no pierda su sentido. Al respecto, McPherson (1996) considera que teniendo en cuenta las audiencias implicadas, cabe hablar de tres enfoques diferentes de la evaluación del profesorado economista, técnico y profesional- que postulan modelos y criterios evaluativos claramente distintos. En este contexto, según los autores Villa y Morales (1993), un sistema de evaluación puede llegar a ser un contrasentido si se aplica a un modelo estándar ajeno a cada realidad y a cada contexto. Si ya existe poco consenso en lo que se entiende por enseñanza efectiva, aún es peor lo que se entiende por una enseñanza efectiva bajo diferentes condiciones de enseñanza, llámese rural, urbana, universitaria, secundaria, etc.

Los autores sugieren que, tanto el conocimiento como la práctica, pueden ayudar a desarrollar el tema en debate, explicitando las diferentes concepciones del trabajo y evaluación del profesor. En múltiples ocasiones, las demandas externas de responsabilidades no son coherentes con la necesidad interna que tiene la organización de estabilidad y confianza. Una evaluación válida del profesor requiere visiones consistentes y compartidas del proceso de enseñanza – aprendizaje y del contexto institucional en el que tiene lugar la evaluación del profesor. Pero nos surge una duda, ¿es claro el concepto de evaluación docente? ¿Qué entendemos por evaluación del profesorado universitario?

52


1.2. El concepto

Nosotros entendemos que la evaluación de la competencia docente universitaria es un proceso en constante desplazamiento entre la acción, reflexión, construcción y reconstrucción: no como una actividad puntual, que ha de realizarse en un momento determinado y que concluye, una vez recogida y analizada la información. Como señala Tejedor (1990) es una actividad orientada fundamentalmente a la estimación del nivel de calidad de la enseñanza universitaria, a fin de contribuir progresivamente a su mejora. En esta definición, encontramos dos elementos destacados constantemente por los investigadores: el primero, discutido por Feldman (1997), consiste en incrementar el énfasis en la calidad de la enseñanza para conseguir mejores resultados y el segundo, destacan Saroyan y Amundsen (2001), es un recurso que puede contribuir con la mejora de los docentes universitarios, por ende su enseñanza.

De la Orden (1992), la define como un proceso sistemático de recolección, análisis e interpretación de información relevante de la labor docente y la formulación de un juicio de valor sobre su adecuación a un criterio o patrón, como base para la toma de decisiones acerca de tal faceta.

En este sentido, la evaluación de la competencia docente universitaria ha de proporcionar un conocimiento de la situación de partida y del grado de coherencia de sus elementos integrantes. Tras su valoración, ha de elaborarse un programa de mejora de sus aspectos susceptibles. Una tarea como ésta, exige una serie de etapas que van desde la planificación previa, definición de

53


objetivos educativos, determinación de los sistemas de referencia, hasta las técnicas de registro, análisis y la misma redacción del informe.

La evaluación del profesorado es un proceso sistemático y permanente, integrado en la actividad educativa, que ayuda a comprender la realidad, invitando al docente a reflexionar valorativamente sobre su labor y a tomar las decisiones

oportunas

para

su

perfeccionamiento

profesional

y

consecuentemente con la mejora institucional. Clare y Aschbacher (2001), refiriéndose a lo mismo, concluyen que es un proceso que puede ayudar a los profesores a reflexionar sobre su acción, ya sea interiormente o compartiendo opiniones con sus colegas o compañeros, para que individual o colectivamente busquen diferentes formas de mejorar las prácticas de clase.

Por tanto, desde una visión comprensiva, esta evaluación ha abarcado históricamente las tres funciones que configuran esta profesión: las tareas docentes, los trabajos de investigación y la extensión universitaria. En consecuencia, la evaluación del profesorado universitario debería formar parte de un programa de evaluación más amplio en el que se incluyeran necesariamente referencia a los otros elementos de la institución universitaria: programas docentes, recursos, capacitación cultural y profesional de los estudiantes, potencial investigador, etc. De esa forma, poder contar con diferentes mecanismos que posibiliten una visión integrada del contexto universitario, de manera tal, que nos permitan un acercamiento preciso para ponderar y calificar la docencia universitaria. De Miguel (1998) considera que ésta es una asunción muy razonada, que permite reunir diversas fuentes de información para observar el fenómeno. No obstante, antes de iniciar cualquier proceso de evaluación docente, ha de definirse desde el principio cuál o cuales serán los propósitos de nuestra evaluación.

54


1.3. Los propósitos

Autores diversos sobre el tema señalan una gran variedad de funciones en la evaluación de la docencia universitaria. Pedhazur, Spencer, y Gellman (1997) y Ryan (1995) afirman que la mayoría de estos teóricos se inclinan en diverso grado, a considerar fundamentalmente tres propósitos: (a) como retroalimentación diagnóstica de los profesores para su mejora instruccional formativa; b) decisiones evaluativas sobre el personal, tales como práctica docente y promoción - sumativa; c) o como una ayuda a los estudiantes para la selección de sus cursos y profesores. Marsh (1991b) y Abrami, DÁpolonia y Cohen (1990) tratando sobre los propósitos y refiriéndose concretamente a los anteriores, añaden uno más la utilidad de los resultados de estas evaluaciones y la descripción del proceso para la investigación sobre la enseñanza.

Glaser, Lesgold y Lajoice (1988) sugieren también que la utilidad de los mecanismos de evaluación pueden ser una vía para capturar las estructuras subyacentes del cambio en el aprendizaje. Una actividad que ha sido sucesivamente empleada para describir la estructura del conocimiento y las formas en las cuales esos cambios se relacionan con los nuevos aprendizajes. La utilidad ha sido empleada por Saroyan y Snell (1997), para analizar los cambios en el conocimiento pedagógico de los nuevos miembros del cuerpo de profesores; por Morine- Dershimer (1989) para la selección de profesores; por Admunsen y otros (1993) y Dondald (1987) para conocer a los profesores y objetivos de la materia que imparten y por Roehler (1989), para estudiar las diferencias entre los profesores expertos y novatos en la conceptualización de las tareas de enseñanza.

Villa y Morales (1993), en un buen análisis y clasificación de los propósitos de evaluación, afirman que éstos pueden referirse a distintos 55


ámbitos educativos en los que se encuentra envuelta la acción del docente. En opinión de los autores, se distinguen seis propósitos, relacionados con el profesor, el estudiante, la dirección del centro, la sociedad, la institución y la investigación. A continuación, se describen aquellos que tienen relación con cada uno de los implicados:

El profesor -

Ayudar a mejorar su acción didáctica

-

Proporcionarle feedback (puntos débiles y fuertes)

-

Favorecer el perfeccionamiento docente en destrezas y habilidades instructivas

-

Ayudar a ver puntos oscuros, desconocidos para él

-

Orientar al alumno en la selección de áreas y disciplinas

-

Proporcionar información a los alumnos para seleccionar

Alumnos

cursos e instructores

Dirección de centros -

Proporcionar datos sobre los que poder tomar decisiones

con propósitos personales -

Tomas de decisión sobre contratación, promoción y

retribución del profesorado. Sociedad -

Informar a la sociedad sobre el rendimiento del profesorado

y de las instituciones educativas -

Rendir cuentas ante la sociedad

56


Institución -

Elaborar y mantener un inventario de recursos personales

para reajustes, perfeccionamiento, etc. -

Evaluar y mejorar el currículo, la programación y la

acción departamental Investigación -

Proporcionar datos para la investigación sobre la

enseñanza, programas, acción docente y aprendizaje.

Exposiciones detalladas sobre cada uno de estos aspectos se pueden ver en Natriello (1990), quién, además de describir las funciones pretendidas por los diferentes implicados, detalla también las consecuencias intencionadas y no intencionadas que se producen con la evaluación.

Una consideración muy importante acerca de todos los propósitos descritos anteriormente y que de una u otra forma están envueltos en la evaluación de la competencia docente universitaria, es conceptualizada por Darling-Hammond, Wise y Pearse (1983). En su trabajo, los autores proponen que se han de clasificar los propósitos en cuatro objetivos básicos, que tienen que ver directamente con: la mejora docente o con la rendición de cuentas, a un nivel individual u organizativo (véase el cuadro siguiente). En otras palabras, la evaluación puede dirigirse a pequeños o grandes grupos de profesores o a un solo profesor. Puede tener carácter formativo (mejorar la enseñanza) o un propósito sumativo (aumentar el sueldo, ascender al docente o no). Incluso, puede tener propósito híbrido (formativo y sumativo).

57

Perspectiva en la evaluación de la competencia docente universitaria TABLA N° 2 PROPÓSITOS BÁSICOS DE LA EVALUACIÓN DE LA COMPETENCIA DOCENTE PROPÓSITO/ NIVEL

INDIVIDUAL

ORGANIZATIVO

MEJORA DOCENTE (evaluación formativa)

DESARROLLO INDIVIDUAL MEJORA INSTITUCIONAL (Perfeccionamiento

RENDIMIENTO DE CUENTAS (Evaluación sumativa)

DECISIONES SOBRE INDIVIDUO (Status laboral)

EL DECISIONES SOBRE EL STATUS ESCOLAR O INSTITUCIONAL (Certificación)

Una gran cantidad de investigadores y evaluadores experimentados, entre ellos Scriven, (1999a, 1999b); Shadish, (1998); Chelimsky y otros, (1997), constantemente advierten que el o los propósitos de una evaluación determinada, deberían estar cuidadosamente seleccionados, claramente articulados y con el mayor consenso posible entre los de participantes, a fin de disminuir el fracaso o el rechazo total a la evaluación docente. En primer lugar, para que la calidad del profesor esté relacionada con la docencia, será preciso establecer previamente el marco conceptual en el que se fundamentan, dinámicamente, los intereses y necesidades individuales e institucionales. No es posible determinar si una acción del profesor es realmente de calidad, sin acudir al marco de referencia que ofrece la visión global de lo que se entiende en un determinado centro por calidad de la docencia.

Hemos de desarrollar una concepción de la evaluación del profesorado en la que se desarrolle simultáneamente la mejora del profesor y la de la institución. Al respecto, Stronge, Helm y Tucker (1995) consideran que este modelo comprensivo de evaluación del profesorado estaría enraizado en dos amplios propósitos.

a)

Orientado a los resultados, contribuyendo a la consecución de los objetivos personales del profesor y a los de la misión del 58


programa, del centro y de la organización educativa en su totalidad.

b)

Orientado a la mejora, contribuyendo al desarrollo personal y profesional del profesor así como a la mejora del centro.

En segundo lugar, nosotros creemos que una buena parte del rechazo a este tipo de evaluación se debe a que, comparativamente, existe poca atención sobre los resultados de la evaluación docente universitaria, de parte de los diferentes grupos involucrados (estudiantes, profesores, administradores, etc.). Realmente, éste es uno de los tópicos que genera ciertas desconfianzas, pues cada uno de los interesados pretende diferentes cosas, tiene necesidades desiguales y, generalmente, no se concede importancia a este tema tan elemental. Los resultados de la investigación o de la evaluación, rara vez tienen un papel determinante en el desarrollo de las actividades de la institución universitaria.

Después de analizar las concepciones de los diferentes autores, consideramos que la correcta definición de los propósitos y su cuidadosa selección, permiten atender el pensamiento y las necesidades de las partes implicadas en el proceso de evaluación. De igual forma, la descripción de sus finalidades, sea sumativa, formativa o ambas, permiten atender desde un inicio, los principios básicos de la evaluación. Ahora bien, la atención primaria y consensuada, a estos elementos determina uno de los aspectos claves del éxito de toda acción evaluadora, porque facilita la reducción de aquellos factores posibles de rechazo desde su raíz; distorsionando así los resultados de evaluación. Por tanto, será necesario desarrollar acciones que permitan promover el proceso de evaluación de la docencia universitaria.

59

Perspectiva en la evaluación de la competencia docente universitaria 1.3.1. Las finalidades: formativa o sumativa

Scriven (1967) sugiere por primera vez que existen diferencias en la evaluación, en cuanto a las finalidades que cumple, e inspiró la distinción entre evaluación formativa y evaluación sumativa, diferenciando las dos principales funciones que debe cumplir una evaluación, si tenemos en cuenta sus propósitos.

Cuando la evaluación procura analizar los procesos en desarrollo, a fin de poder detectar deficiencias en el momento oportuno y tomar las decisiones justas, que permitan corregir las acciones durante el proceso, para luego, reconducir el programa, aludimos a la evaluación formativa. George y Cowan (1999) destaca que la finalidad principal es informarle al profesor, sobre su propia actuación; aportándole datos que puedan estimular su reflexión, suministrándole un diagnóstico valorable, y centrado en aspectos en los que puede plantearse un cambio u otros elementos similares.

En esta evaluación se recogen datos, de forma rigurosa, para suministrar información a los profesores y administradores acerca de la labor realizada por el profesor universitario, con el deseo de motivar el cambio hacia la mejora, mejorar la calidad del aprendizaje y la instrucción y sobre todo, así lo subrayan Aschbacher (1999) y Newman, Lopez y Bryck (1998), apoyar la reflexión de los docentes y la autoevaluación de su práctica

Ahora bien, para mantener un compromiso de cambio, se requiere cierto apoyo a las características del medio ambiente respecto a confidencialidad de los datos, ánimo o la motivación a los docentes para tomar riesgos y una alta valoración de la enseñanza, por parte de la institución.

La evaluación formativa se caracteriza por 60


a) La información es recibida únicamente por el propio profesor. b) La información puede recogerse frecuentemente e informalmente c) La evaluación orientada al propio desarrollo personal es muy útil a largo plazo d) La información compartida con otro a menudo aumenta la utilidad de la información.

Por tanto, Tejedor (1990) considera que dentro de este proceso, sería conveniente estimular los comportamientos, en las diferentes estrategias de la evaluación formativa que pueden diseñarse, ya que entendemos éstos como objetivos inseparables de la evaluación del profesorado:

- La mejora de la calidad de la enseñanza y del aprendizaje - La revisión de la actuación del profesor para detectar habilidades y deficiencia que nos ayuden a planificar actividades formativas. - El desarrollo profesional del docente, posibilitándoles capacidad de respuestas a las demandas cambiantes.

Un aspecto que consideramos importante sobre la evaluación formativa, radica en que se deben tratar los datos de manera confidencial, no como una intervención de riesgo, donde se juegue con la reputación del docente. La regla del no riesgo, en la evaluación formativa, es indispensable y trae inmensas consecuencias cuando es violada. Cashin (1988, 1995) expresa que si la evaluación formativa es utilizada con otra finalidad, los deseos de los profesores para tratar de buscar nuevas vías para la mejora, vienen a ser posiblemente mermadas. En este mismo sentido, Jackson y otros (1999) concluyen que, cuando los resultados formativos son mal empleados, la confianza en la institución y el apoyo de los miembros para la evaluación, se ve severamente dañada. 61


Así mismo, la aparente discrepancia entre la utilidad de la interacción del feedback y, por el otro, la interacción del comportamiento, puede ser un factor que en mucho campos, incluido éste, no provea mucha ayuda a los profesores, si no hay ninguna orientación de cómo interpretar el feedback. Las investigaciones de Brinko (1990, 1993), Cohen (1990), Mash y Roche (1993), L´Hommedieu, Menge y Brinko (1990) han demostrado que el uso efectivo del feedback intruccional lleva hacia la mejora en la eficacia docente, cuando los profesores son asesorados por un profesional de la enseñanza, especialista en interpretar el feedback que suministran las evaluaciones formativas. A la misma conclusión llega Murray (1997), en una revisión de la literatura, principalmente encuestas de los profesores (auto reportes de los profesores sobre la percepción del impacto de la evaluación del curso en la enseñanza de ellos), experimentos de campo (estudios en los cuales grupos de profesores se les daba un feedback y eran comparados con los que no) y estudios longitudinales (el significado de las puntuaciones de los estudiantes de la unidad fueron examinados en un período de tiempo para buscar evidencia de mejora sustancial). Después de la revisión de toda esta literatura, concluye "...bajo ciertas condiciones, la evaluación del profesor que hacen los estudiantes no lleva a la mejora de la enseñanza..." (p.18). Claro está que el más representativo hallazgo es que cuando el feedback es combinado con la asesoría de un profesional de la facultad (consultor), el efecto de estas evaluaciones mejora significativamente.

Con respecto al efecto de feedback en mitad del curso o al finalizar el semestre, los estudios de Centra (1972) y Miller (1987) no son concluyentes. Sin embargo, L'Hommedieu, Menges y Brinko (1990), Marsh (1980), Marsh y Roche (1993) y Sherman (1975), reportan valoraciones más favorables en la mejora del aprendizaje de los estudiantes cuando se hacen al final del período. Ahora bien, algunos investigadores han estudiado si tiene efecto determinante 62


combinar en el reporte impreso, todas las consultas realizadas a los docentes durante el proceso de evaluación y si esto era una señal de mejora. Aleamori (1978b), Arubayi (1987), Cohen (1990), McKeachie (1979), Schmelkin y Spencer (1997), Schum y Vindra (1996) y Steven y Aleamori (1985) encontraron, que la instrucción mejoraba significativamente sus valoraciones cuando las consultas realizadas al personal eran incluidas en los reportes escritos. De hecho en los años más recientes el uso del reporte escrito de las valoraciones de estudiantes, en combinación con las consultas personales continúa siendo de gran apoyo, al enfoque que manifiesta que esa información puede ser empleada por el instructor para mejorar y enriquecer sus cursos o como un documento de eficacia docente con propósitos administrativos.

A nuestro juicio, consideramos que la evaluación formativa no es señal de mejora, si no existe la debida orientación y apoyo institucional al respecto. De nada sirve la confidencialidad, un buen instrumento, un proceso sistemático de recogida de información y un buen análisis, si el proceso de retroalimentación no es regularmente desarrollado por especialistas y apoyado por políticas institucionales que permitan a los profesores universitarios un efectivo cambio y mejora. Sobre ello, Nuhfer (1996) advierte que los datos han de ser fiables, utilizables y que tengan valor para los profesores, pero que la institución apoye el cambio y la trasformación de los docentes. En el mismo sentido, se expresan George y Cowan (1999), en un libro muy interesante sobre estrategias de evaluación formativa para profesores e instituciones. Estos autores añaden que esta evaluación es un proceso interactivo, que necesita de la participación de todos los involucrados, pero ha de desarrollarse con apoyo real de las políticas institucionales. Parte del apoyo al docente puede suministrarlo el departamento con un documento separado de la evaluación del rendimiento docente, que contenga una explicación de los procedimientos de evaluación y las medidas usadas. Como estrategia Svinicki y Lewis (1997) recomiendan a los administradores, discutir abiertamente con los involucrados 63


todos los elementos contenidos en la evaluación docente, para llegar a un acuerdo con ellos sobre las necesidades e intereses de todos.

En los puntos anteriores, resumimos los objetivos de la evaluación formativa, incluyendo el pensamiento de algunos autores al respecto. Ahora, nos dedicaremos a tratar sobre la otra finalidad: la evaluación sumativa.

La característica principal de la evaluación sumativa es que no contempla la posibilidad para mejorar el proceso, sino que consiste en valorar toda la información al final, con las respectivas recomendaciones para el futuro. Ésta ha sido incorporada a las políticas institucionales y departamentales, para considerar aspectos en la toma de decisiones que pueden afectar la promoción de los profesores universitarios, el pago por su ejercicio profesional o mérito, renovación de contratos, asignación de responsabilidades, etc. Coburn (1984) explica que estas

medidas, afectan de manera importante la vida y el

desarrollo profesional del docente, por eso existe mucha reticencia hacia ella. McLaughlin y Pfeifer (1988) repiten lo mismo y afirman que es vivida por los docentes como un “rendimiento de cuentas”. Generalmente, esta evaluación con finalidad sumativa, proviene de los jerarcas o administradores universitarios, quienes necesitan tomar decisiones sobre los diferentes aspectos de la vida universitaria, por ello requieren de información sustantiva que les permita acercarse al objeto evaluado. Topping y otros (2000) explica que muchas de las evaluaciones en la Universidad son de carácter puramente sumativo, a lo que nosotros nos sumamos, porque, es necesario hacerlo.

La mayoría de los autores que escriben sobre evaluación sumativa consideran algunos aspectos relevantes a tener en cuenta a la hora de aplicarla:

-

Existe una paradoja sobre la necesidad de rendir cuentas a la

sociedad y la libertad del profesorado para expresarse. 64


-

Debe existir utilidad y relación entre la actuación docente y su

evaluación y de alguna forma gratificación por la calidad docente. -

Tener en cuenta el mérito del profesor como su valor para la

institución. -

Esta evaluación es una manera expresiva de comunicar las

expectativas de la institución -

Tiene que tener credibilidad tanto para el docente como para los

administradores -

La información utilizada debe tener suficiente calidad

-

Debe basarse en principios y prácticas legales

-

La institución puede examinar procedimientos alternativos de

evaluación que puedan ser provechosos para ella.

Desde nuestra perspectiva, esta evaluación es un elemento que colabora con el proceso de administración universitario, debido a que permite la toma oportuna de decisiones, que necesariamente deben hacerse. En cualquier caso, como expresa Popham (1980), lo cierto es que la dimensión social de la evaluación, con la asignación de sanciones y de control de los resultados, no puede obviarse.

La evaluación para tomar decisiones no debemos contraponerla drásticamente a la evaluación

para

mejorar la calidad de la enseñanza.

Podemos pensar en una evaluación, sobre todo la hecha por los alumnos, orientada primordialmente a aportar información al profesor, y a la vez con un cierto peso discrecional cuando se trata de tomar alguna decisión.

Relacionada con la evaluación que hacen los alumnos de la docencia universitaria, Cashin (1987, 1995), en un buen resumen de la literatura sobre el tema, confirma el valor que tiene la evaluación sumativa en la toma de decisiones universitarias pero Seldin (1993a), en un estudio similar, concluye 65


que la relación entre los resultados de ésta y el aprendizaje de los estudiantes no está bien definido; como se podría esperar. El establecimiento de una relación positiva entre el aprendizaje de los estudiantes (medido por un test) y los ítem sumativos globales son positivos y estadísticamente significativos, pero no son altos (r = 0.40 a 0.5, en Cohen, 1981; Feldman, 1989). Las herramientas sumativas también miden el aprendizaje de los estudiantes (exámenes estandarizados y encuestas de conocimiento) y, a su vez, la satisfacción de los estudiantes (valoración sumativa de los estudiantes). Pero estas herramientas no definen, según Centra (1993), a qué se debe la satisfacción de los estudiantes o qué cambios podrían resultar en una mayor significación de la mejora del aprendizaje. En todo caso, los investigadores ahora reconocen que se requieren necesariamente materiales suplementarios de evaluación en las encuestas sumativas, para hacer adecuada revisión del personal. Seldin (1993b) recomienda la introducción del portafolio como un elemento más que ayude en la toma de decisiones sumativa sobre los profesores universitarios.

Los principios para el buen uso de la evaluación sumativa aparecen en la literatura (Braskamp, Brandenburg y Ory, 1984; Braskamp y Ory, 1994; Cashin, 1996a; Franklin y Theall, 1989). Sin embargo, existen muchas anécdotas por parte de los profesores y de los administradores, relacionados con abusos y malos usos. Las historias sobre este exceso abundan en la recolección de datos. Por ejemplo algunos autores señalan: formularios con borrones, comentarios sarcásticos sobre ciertos ítems el día de la evaluación, permanecer con los estudiantes para observar cómo rellenan el formulario, leer comentarios en voz baja cerca de la clase para influir en los estudiantes.

Otros abusos, específicamente, se refieren a los administradores, sobre el uso de los datos; malas interpretaciones de los datos numéricos, sobredependencia en algunos datos donde el profesor es más débil, etc. Es 66


importante conocer y analizar este elemento para determinar el grado en que esas situaciones se producen. Fanklin y Theall (1989), estudiando los abusos y malos usos de la evaluación sumativa, afirman que a muchos usuarios les falta conocimiento sobre el uso eficaz de la evaluación. Consecuentemente, nosotros valoramos que si todo el trabajo es fiable y válido, la inapropiada aplicación, sus abusos o malos usos puede dar cuentas inútiles a sus promotores, por tanto, de nada servirá el detalle, la planificación, sistematización de recogida o el análisis e interpretación de la información relevante, si al final o en el proceso de la acción, se cometen abusos contra los profesores.

Hemos expuesto brevemente los enfoques particulares sobre el tema en debate acerca de la finalidad de la evaluación de la competencia docente universitaria: formativa o sumativa. A nuestro juicio, las finalidades que ambas persiguen no tienen porqué ser contrapuestas ni verse de esa manera. Todo lo que el proceso evaluador persigue es la mejora de la calidad de enseñanza, por tanto, debido a su naturaleza multidimensional y compleja, se hace necesario que las perspectivas sean complementarias y no contradictorias. Es cierto que los profesores necesitan retroalimentarse en el proceso de enseñanza (formativa), para ir redefiniendo y ajustando sus acciones de enseñanza, pero también, las autoridades necesitan valorar, premiar y ascender a aquellos docentes que en el proceso se distingan con sus acciones. Se hace necesario, por lo tanto, tomar decisiones de carácter sumativo que ayuden a los administradores universitarios en esta difícil tarea. Cashin y Downey, (1992) y Scriven (1981) advierten que toda evaluación sumativa es mucha responsabilidad y que han de observarse con detalle los procedimientos, las realidades y las modificaciones, para no caer en el abuso o malos usos.

67


Del análisis de los diferentes procedimientos, sugeriríamos respetar al menos las siguientes recomendaciones técnicas, ya expuestas por Mateo, Escudero, De Miguel, Ginés y Rodríguez (1996):

a)

Partir siempre de la existencia de un marco legal que regule y norme el hecho evaluativo. Su existencia supone, entre otras cosas, constatar el derecho que asiste a la sociedad de tener un profesorado competente al servicio del sistema educativo, y al profesor a tener un marco de garantías que protejan sus derechos.

b)

Profundizar

en

la

dirección

de

modelos

evaluativos

participativos, donde el profesor, tal como ya prevé la ley, sea sujeto activo de su propia evaluación.

c)

Conectar la evaluación del profesorado a los procesos de formación, de mejora y desarrollo profesional y orientada a los procesos de innovación y cambio institucional.

d)

La política evaluadora debe ser clara, conocida y debe tratar de gozar de una amplia aceptación, por lo que requiere mínimamente que el modelo: Fije en cada caso los contenidos por evaluar Determine el propósito de la evaluación Señale los agentes evaluadores Selecciones las estrategias más adecuadas Utilice técnicas rigurosas de análisis e interpretación de la información Establezca el tipo de ayudas y consecuencias que se derivarán de la evaluación. 68


Pacte los modelos de formación y retroalimentación

Worthington (2002) se refiere a que administración, por su lado, debe ofrecerle al profesor universitario los recursos necesarios para hacer posible el proceso de mejora. En este esquema, lógicamente, la sanción debe contemplarse como una posibilidad que, si bien existe, se sitúa bajo el signo de la excepcionalidad. Este cambio hace justicia a la auténtica responsabilidad de la docencia, que no depende sólo del profesor, como afirman González y Grande (1999), sino de todo un conjunto de agentes, activos y pasivos, que condicionan sus procesos de enseñanza.

En conclusión, la evaluación del docente universitario con finalidad formativa o sumativa no es solamente un procedimiento mecánico o técnico, es un proceso muy importante donde entran en juego la comunicación, el respeto al docente, a la base legal existente, pero sobre todo, hemos de reconocer que es una actividad humana muy compleja y puede afectar a la sensibilidad de las personas, aún más, a la sensibilidad de aquéllas que no tienen una situación laboral estable. El profesor ha de sentirse partícipe del proceso evaluativo: debe conocer los propósitos de evaluación, sus finalidades y contar con información sobre el método y los procedimientos que se van a emplear. Así mismo, ha de poder expresarse libremente y realizar aportaciones. En fin, debe existir un diálogo abierto y permanente durante el desarrollo de la evaluación docente que, como bien señalamos, ha de ser rigurosa, sistemática y estructurada por expertos y técnicos que le faciliten el apoyo necesario y lo lleven al perfeccionamiento de su labor. De este modo, el docente se comprometerá con la institución educativa, sentirá el apoyo del equipo directivo y participará sin miedo y con una acción comprometida. Por esa razón, han de considerarse los múltiples elementos que convergen en el proceso, para no crear rechazo o resistencia a la acción evaluadora.

69

Perspectiva en la evaluación de la competencia docente universitaria 1.3.2. Los usuarios

Los reportes de los resultados de las evaluaciones son considerados dentro de la universidad, de acuerdo al tipo de evaluación, los usuarios y los diferentes propósitos para los que se ejecutó. Dentro del contexto universitario, existen varios tipos de usuarios que son claramente identificados:

El primer usuario para Neumann (2000) es el académico, que requiere la evaluación de su curso y de su enseñanza. Generalmente tiene dos propósitos: el primero consiste en la necesidad de saber o tener un feedback de sus estudiantes, contar con un elemento que le permita saber cómo ven ellos la enseñanza que reciben; ésta es una visión que le sirve para incrementar y mejorar su enseñanza en aquellos elementos que considere necesarios en el futuro. El autor destaca que es importante anotar, que, dentro de las políticas de evaluación de la Universidad, solamente este usuario, el profesor, puede comenzar una evaluación de su enseñanza.

El segundo según Rindermann y Schofield (2001) es el uso que el académico brinde a los resultados, ya sea en su carrera, para comparar los resultados de evaluación con su propio rendimiento pasado o con el propio rendimiento de sus compañeros. En fin, para otras actividades que no sean necesariamente la retroalimentación.

Otro tipo de usuario son los académicos miembros del comité de selección, trabajo y promoción. Éstos necesitan de formas e instrumentos para juzgar la aplicación de la enseñanza de calidad. De hecho, ellos necesitan contar con criterios e indicadores que le permitan la comparación entre evaluados y su enseñanza de calidad, para tomar decisiones sobre la carrera del docente relacionada con aumento de salario, cambio de rango, continuidad laboral. Para Yorke (1995) esas formas de comparación sobre decisiones 70


básicas afectan enormemente la carrera de los docentes, porque se relacionan directamente con su remuneración y algunas veces, con la financiación del departamento al que pertenecen, por eso, los juicios de los académicos miembros del comité de selección son muy importantes y necesitan criterios muy claros, que les permitan emitir veredictos certeros, para valorar con precisión la acción docente.

El tercer grupo de usuarios de evaluación docente son los promotores de personal, los cuales están llamados a asesorar a los miembros de la comunidad universitaria en todos los aspectos de la evaluación, incluyendo la importante área de interpretación de la encuesta, su implicación en las decisiones acerca de la enseñanza de calidad y mejora.

Finalmente, Franklin y Theall (1989) definen que el cuarto grupo de usuarios son los estudiantes. Generalmente a ellos les gusta conocer que el tiempo que invierten en completar las encuestas se relaciona con los cambios en el contexto de enseñanza y que su genuina visión está teniendo impacto en la calidad de la enseñanza que reciben. Aparte de esto, también emplean los resultados de la evaluación como referente a la selección de sus futuros cursos y profesores. Sin embargo, dada la confidencialidad de los resultados de evaluación en la universidad, los estudiantes generalmente no tienen ese acceso a la información sobre las encuestas de personal y distan mucho de saber los cursos ofrecidos por profesores con bajas calificaciones en el departamento.

Es importante que anotar se han identificado necesidades comunes entre los usuarios de la evaluación docente universitaria. La primera es la habilidad para usar la información suministrada en el reporte para comparar un académico con otro. Esta necesidad existe si es el académico quién desea comparar su encuesta con el de las otras personas. La necesidades individuales determinadas por ellos mismos, como comparar su enseñanza con la de sus 71


pares. Esta es una forma de hacer un puntaje propio, que le ayuda a conocer si su enseñanza está

promediada igual que los demás académicos o si la

percepción de sus estudiantes de su rendimiento es mejor o peor. Thompson (1996) explica que los usuarios deben reconocer la naturaleza imprecisa de la evaluación de estudiantes y por lo tanto tener precaución de la interpretación de las puntuaciones y no considerarlos como indicadores perfectos.

1.4. Acciones básicas para promover el proceso de evaluación

Para alcanzar una evaluación con éxito de la competencia docente universitaria, el sistema evaluativo deberá construirse a partir de un equilibrio dinámico entre la mejora de la escuela y la mejora del profesorado; para ello será necesario tener en cuenta, según Stronge (1997) (citando a Glatthorn, 1984; Conley, 1987; Harris, 1987 y Mcgreat, 1988) las siguientes acciones prioritarias: establecer objetivos conjuntos, comunicación total, creación de un clima evaluador, garantía técnica de evaluación y uso de varias fuentes de datos:

a)

Establecimiento de objetivos mutuamente beneficiosos: éstos van a constituir las metas por conseguir, deben ser valorados y percibidos como importantes tanto por los profesores como por la institución. Además, el establecimiento de metas y objetivos deben ser aceptados por todos los involucrados, esto es un asunto de consenso y no de imposición, por tanto ha de considerarse la opinión de todos los involucrados y sus necesidades.

b)

Una comunicación sistemática: la trasparencia de los procesos y la posibilidad de interacción, se fundamenta en políticas 72


eficientes de información, por tanto, cada aspecto clave del proceso de evaluación deberá ir acompañado del correspondiente acto informativo, que permita fluir la información, llegando rápidamente a todos los miembros del claustro. Los canales de comunicación han de ser abiertos, permanentes y claros, esto permite fluidez a la información.

c)

Creación de un clima favorecedor de la evaluación: La evaluación sólo puede resultar absolutamente eficiente si se lleva a cabo desde un clima adecuado donde la confianza entre las partes implicadas, la honestidad y la transparencia de actuaciones, sean la norma y no la excepción. La consecución de estos climas posibilita, en la medida en que se siguen los pasos establecidos, participación en el establecimiento de los objetivos, comunicación continua y fluida en las diferentes fases del proceso, procesión en la aplicación

de las técnicas,

honestidad en los juicios y enfoques pro-activos en los procesos de mejora.

d)

Garantía de aplicación técnica del sistema evaluativo: Cada uno de los aspectos que conforman la aplicación técnica de los procesos evaluativos, se realiza de acuerdo a las condiciones técnicas de calidad y precisión exigidas por las más elementales normas de la evaluación educativa. Que no sea un elemento antojadizo y anárquico, sino más bien, un proceso permanente para el cambio.

e)

Uso de múltiples fuentes de datos: Los sistemas modernos de evaluación del profesorado se caracterizan por documentar la actividad docente a partir de múltiples fuentes de información. 73


Se ha de contar con diferentes fuentes de información, que permitan una visión global de la acción del docente desde diferentes perspectivas.

Consideramos que la integración de múltiples fuentes de datos en los procesos de evaluación del profesorado aporta una imagen mucho más real de la actividad desarrollada por el profesor y provee una plataforma mucho más poderosa sobre la que construir planes de mejora realistas, que la ofrecida por una sola fuente.

Una exposición similar a la anterior es planteada por Mateo, Escudero, De Miguel, Ginés y Rodríguez (1996), quienes después de analizar las diferentes propuestas y estrategias de evaluación docente, sugieren que se deben respetar al menos, las siguientes recomendaciones técnicas:

a) Partir siempre de la existencia de un marco legal que regule y norme el hecho evaluativo. Su existencia supone, entre otras cosas, constatar el derecho que asiste a la sociedad a tener un profesorado competente al servicio del sistema educativo y al profesor a tener un marco de garantías que protejan sus derechos. b) Profundizar en la dirección de modelos evaluativos participativos, donde el profesor, tal como ya prevé la ley, sea sujeto activo de su propia evaluación. c) Conectar la evaluación del profesorado a los procesos de formación, de mejora y desarrollo profesional y orientada a los procesos de innovación y cambio institucional. d) La política evaluadora debe ser clara, conocida y debe tratar de gozar de una amplia aceptación, por lo que requiere mínimamente que el modelo: -

Fije en cada caso los contenidos a evaluar.

-

Determine el propósito de la evaluación

-

Señale los agentes evaluadores. 74


-

Selecciones las estrategias más adecuadas

- Utilice técnicas rigurosas de análisis e interpretación de la información. - Establezca el tipo de ayudas y consecuencias que se derivarán de la evaluación. -

Pacte los modelos de formación y retroalimentación.

Hacemos una valoración final, considerando que la administración debe desarrollar políticas claras, definidas y legales, sobre los componentes relevantes de la docencia universitaria, que entran en juego en el proceso evaluativo. Estos aspectos se han de precisar, por medio del consenso entre las partes, pautando desde el inicio las reglas que se han de seguir en la evaluación de la docencia universitaria.

Además, debe ofertarle al docente universitario, los recursos necesarios para hacer posible el proceso de mejora, de manera que la retroalimentación de la evaluación se vea apoyada por estrategias de cambio, que permitan realmente, la transformación y mejora de los individuos participantes. Como lo habíamos comentado en apartados anteriores, una evaluación bien planificada y sistemática, no lleva a nada, si no existe ninguna orientación de cómo interpretar y apoyar el feedback. Brinko (1990, 1993), Cohen (1990), Marsh y Roche (1993) y L´Hommedieu, Menge y Brinko (1990) afirman que los profesores deben ser asesorados por especialista en interpretar el feedback para que exista un cambio real. Pero ha de ser un profesional de la enseñanza, un experto en interpretar el feedback que suministran las evaluaciones formativas, para que la evaluación pueda producir el efecto deseado en la institución.

En este esquema, lógicamente, la sanción debe contemplarse como una posibilidad que si bien existe, se sitúa bajo el signo de la excepcionalidad; si es visto de otra manera, la evaluación de la docencia universitaria fomentaría el 75


rechazo, la apatía, el miedo, la falta de interés y sobre todo, sería una pérdida inútil para cada una de las partes de tiempo y de dinero.

Dada la gran diversidad de propósitos, finalidades y acciones para promover la evaluación de la competencia docente universitaria, hemos de tener presente que es necesario definir previamente qué aspectos son primordiales para evaluar la docencia universitaria.

2.

ÁMBITO DE LA EVALUACIÓN DE LA COMPETENCIA DOCENTE

Prácticamente, uno de los primeros pasos en la evaluación de la competencia docente universitaria, radica en detenerse a considerar qué se desea evaluar. Exposiciones detalladas sobre este tema pueden consultarse en la generosa gama de investigaciones realizadas hasta el momento, siendo especialmente recomendable la de Medley, Coker y Soar (1984), quienes consideran la conveniencia de delimitar una serie de conceptos que a menudo se intercambian y se utilizan como sinónimos. Estos autores distinguen cuatro términos:

a) Aptitudes docentes (Teacher Competency): conocimientos, habilidades o valores específicos, que el profesor puede o no puede poseer y que se consideran importantes para ser un buen profesor. b) Competencia docente (Teacher Competence): se considera el repertorio de competencias que posee el profesor. Cuanto mayor sea este repertorio, más competente se dice que es el profesor. c) Actuación docente (Teacher Performance): Lo que hace el profesor en su trabajo, definido en términos de la conducta competente del profesor bajo condiciones específicas, dependerá, en parte, de lo competente que sea, y en parte, de la 76


situación y contexto en el que se realiza la acción, así como también de la capacidad para aplicar sus competencias en u momento dado. d) Efectividad docente (Teacher Effectiveness): los resultados que un profesor logra, definidos en términos de lo que hace el alumno o su rendimiento.

Tal como indican Medley, Coker y Soar (1984), existen cinco momentos o situaciones importantes en la carrera profesional de un profesor en la que éste pueda ser evaluado con distintos propósitos y en términos de diferentes dimensiones de enseñanza. Desde esta propuesta, la evaluación del profesor debería englobar distintas dimensiones en las diversas situaciones por las que trascurre su vida profesional.

2.1. Valorar las cualidades personales

Esta consideración se refiere a la valoración de las cualidades personales que el docente posee y manifiesta, por ejemplo a: facilidad de comunicación y empatía, interés y perseverancia en su trabajo, etc, para que desarrolle su tarea de forma eficaz. El problema surge al plantearnos cuáles son las aptitudes docentes necesarias y cómo se miden estas aptitudes. Gilbert (1983) recoge en su obra trabajos de investigación que van en esta línea, tratando de determinar los rasgos que componen las cualidades personales del docente, y afirma que la aptitud docente se relaciona con: el interés por la tarea, el ideal educativo, autoridad sana, inteligencia, inventiva, capacidad de trabajo y perseverancia, flexibilidad, salud mental y eficacia. García Ramos y Congosto (2000) observan además que estos son los denominados indicadores de presagio (a priori). Según estos autores no se trata de conductas específicas que se producen en el aula, sino de características de comportamiento general del profesor. La investigación parece mostrar que estos indicadores de presagio, 77


tienen en su fondo suficiente potencial como criterios explicativos o indicadores de la eficacia docente, además, poseen cierta influencia directa sobre la conducta del profesor en el aula, y sobre el aula, aunque su influencia es sobre todo indirecta. Las críticas más fuertes que ha recibido este tipo de variables como criterio de evaluación, hacen referencia a su ambigüedad y mala definición, debido a que las variables de personalidad tienen escasa influencia por ser muy generales y estar demasiado alejadas de otras dimensiones generales influyentes.

Después de analizar las cualidades docentes, terminaremos citando el trabajo de Gilbert (1983), quien, tratando el tema en consideración, afirma que, “ ...un profesor no es, en principio, un individuo instruido que desea enseñar, es ante todo un hombre o una mujer capaz de enseñar y educar. Culto, sí; formado, sin duda; pero, ante todo, psicológicamente apto...” (pág. 10).

Pero no podemos centrar la evaluación del docente universitario solamente en sus características o cualidades personales. Debemos abordar otros factores que muestren si está preparado profesionalmente y si sabe desarrollar sus competencias docentes en el aula y en las restantes tareas que le corresponden en el centro educativo.

2.2. Las competencias docentes

El concepto de competencia docente ha recibido un detallado análisis en los últimos años, que hacen parecer cuestionable que exista algo nuevo que decir, pero sobre todo, las investigaciones se refieren a las competencias que un docente debe contar para una práctica segura de la profesión. Este pensamiento es una composición

interrelacionada a la cultura, el 78


comportamiento, la acción y otros aspectos relacionados. Aquellos profesores que tienen éxito en reunir e integrar estos componentes, han adquirido ciertas competencias que le sirven para enfrentar la enseñanza con una mejor visión. En otras palabras, lo anterior se refiere según Schalock (1993) y Burchell (1995), a la preparación específica del docente universitario para cumplir de manera adecuada con las responsabilidades y las funciones profesionales tales como: diseño y planificación docente, motivación de los estudiantes, orientación y control del progreso de los estudiantes, trabajo con los colegas, administradores y padres. Esto supone que los profesores competentes, como afirma Ramsay (1993), cuentan con ciertas habilidades que les permiten un mejor desarrollo de sus funciones.

Holling (1993) afirma que las competencias adecuadas del docente se refieren a: comunicación con los estudiantes, el conocimiento de la materia y del estudiante, el profesor reflexivo, las relaciones interpersonales que establece con sus estudiantes y la promoción del rendimiento del estudiante. Basándonos en el trabajo del autor citado, resumiremos las cinco competencias básicas, para brindar una idea acerca de su significado.

2.2.1. Comunicación con los estudiantes

Los profesores deben ser capaces de comunicar sus ideas efectivamente en diferentes formas y también, a diferentes personas. En esta línea, Baugh (1983) y Taylor (1988), expresan que el aprendizaje se facilita cuando el profesor y los estudiantes comparten por medio de la comunicación, significados de ideas o sentimientos con el uso de sonidos convencionales, signos o gestos, apoyados en el empleo de símbolos escritos que son mutuamente entendidos. 79


La comunicación puede ser aún más efectiva cuando tiene significados culturales que son compartidos por todas las personas en la clase. Esto significa, teóricamente, que dos culturas pueden tener el mismo lenguaje, pero variedad de grados de comprensión de los disímiles significados de las palabras; éstas se pueden escribir igual, pero generalmente tienen diferentes significados que dependen del lugar, el acento, la intensidad y muchos otros elementos más. Collins (1988) y Heath (1983), tratando sobre la comunicación en el aula, asumen que los profesores necesitan reconocer esta realidad, para hacer ajustes que le permitan facilitar el aprendizaje a sus estudiantes.

2.2.2. Organización y conocimiento de la materia

El docente universitario necesita conocer la materia que va a enseñar y también a los estudiantes, para que ellos puedan compartir la información, de tal manera, que tenga un significado que relacione el conocimiento, la experiencia y la percepción del aprendizaje con los nuevos contenidos. Exposiciones detalladas sobre este aspecto se encuentran en los trabajos de Cummins (1986), Goodlad (1988), Casanova (1986) y Vogt y otros (1987).

Es claro que un profesor ha de conocer profundamente lo que enseña, ha de ser un especialista en constante búsqueda de conocimiento, pero se hace necesario combinar los contenidos que involucra su materia, para generar resultados positivos de aprendizaje. Evidentemente, han de hacerse ajustes en el currículo de instrucción, que faciliten un mejor entendimiento a los estudiantes de su propia historia, percepción, experiencias y metas de vida.

80


La materia de clase puede ser presentada en formas diferentes, pero ha de responder a las diversas modalidades perceptuales, emocionales y, sobre todo, a las necesidades de los estudiantes. Bien es conocido que el conocimiento de la materia no es garantía de éxito; no es suficiente ser un especialista al más alto nivel, es más importante contar con las habilidades que permitan una forma de intercambio con los estudiantes.

2.2.3. La reflexión en el ámbito docente

Los profesores deben comprometerse con la reflexión sobre su ejercicio profesional. La reflexión en la docencia universitaria amplía el marco de entendimiento y por medio de ésta se puede llegar a descubrir la existencia de nuevos enfoques, nuevas propuestas, que promueven mejorías en la enseñanza. Entre otras cosas, los profesores han de mantener su propio crecimiento intelectual, pero, además, han de comprometerse en actividades universitarias de investigación para formular y probar hipótesis, que les permitan optimizar sus clases. Para Schön, (1987, 1992), esto supone que de esas investigaciones puede emerger en el futuro una guía que ayude al docente a responder a situaciones específicas de enseñanza y aprendizaje.

En este sentido el profesor ha de estar en permanente reflexión sobre su quehacer docente universitario, sobre el alcance de sus actividades, actitudes y acciones, para determinar el grado en que éstas pueden ser cambiadas o mejoradas.

81

Perspectiva en la evaluación de la competencia docente universitaria 2.2.4. Las relaciones interpersonales

Un docente universitario ha de ser capaz de desarrollar relaciones interpersonales con los estudiantes, de manera que ayude en el crecimiento académico y personal de éstos. Los estudiantes, realizan un mejor aprendizaje en situaciones donde se sienten cómodos y, de alguna forma, apoyados por los docentes. Cuando los alumnos perciben que existe cierta afinidad y familiaridad, están más atentos y comprometidos con los procesos de clase. Aunque, no podemos creer que los estudiantes quietos, ordenados o atentos se sienten bien dentro de la clase. Los profesores necesitan ser sensibles a las necesidades emocionales de sus estudiantes y responder a sus relaciones interpersonales, buscando diferentes formas de interrelacionarse con ellos, de manera que les permita conocer una parte de sus intereses, necesidades, metas y preocupaciones. Las relaciones interpersonales acercan al profesor a la realidad del estudiante y abren las puertas a la comprensión, la sensibilidad y sobre todo a la humanización del proceso de enseñanza.

2.2.5. La evaluación de la enseñanza

Los profesores han de promocionar el rendimiento y el conocimiento del estudiante a un nivel más complejo. Foster (1991) asevera que el planeamiento y la evaluación de la enseñanza permiten al docente observar si el estudiante comprende la materia de clase y la relaciona con destrezas que le permiten ascender a niveles más complejos: ésta es la esencia de la docencia y el aprendizaje. El nivel de habilidad, conocimiento y de destrezas, ha de ser evaluado a intervalos regulares para determinar el progreso de los estudiantes y también, para estudiar otras acciones que le ayuden al estudiante a superar las áreas o los capítulos más problemáticos de la clase.

82


Por su parte Scriven (citado por Mateo y otros, 1996) propone de manera muy esquemática, aquellos conocimientos y competencias básicas que definen al profesor competente:

1.- Conocimiento de la materia: ♦ En las áreas de su competencia. ♦ En materias transversales del currículum

2.- Competencias instruccionales: ♦ Destrezas comunicativas ♦ Destrezas de programación y desarrollo: a) en la planeación del curso; b) en la selección y creación de materiales; c) en la utilización de los recursos disponibles, d) en la evaluación del curso, de la enseñanza, de los materiales y del currículum.

3.- Competencias de evaluación: ♦ Conocimientos sobre evaluación de estudiantes ♦ Destrezas en la construcción y administración de pruebas. ♦ Clasificación, puntuación, calificación del proceso y del producto. ♦ Registro e informe del rendimiento de los estudiantes: a) conocimiento sobre informes de rendimiento, b) proceso de información a estudiantes, administradores, padres, etc.

4.- Profesionalidad: ♦ Ética ♦ Actitud ♦ Mejora

83


♦ Servicio: a) conocimiento acerca de la profesión, b) ayuda a los profesores noveles y colegas, c) trabajo para las organizaciones profesionales, d) investigación sobre la enseñanza. ♦ Conocimiento de los deberes. ♦ Conocimiento de la institución y su contexto.

5.- Otros deberes con la institución y la comunidad.

Finalmente, el problema de la competencia docente ha residido en tratar de identificar aquellas competencias específicas con las que debe contar un profesor universitario para desarrollar una función docente con éxito. Evidentemente, la misma naturaleza de la enseñanza hace difícil determinar todas las competencias necesarias para evaluar. La enseñanza es un proceso complejo que envuelve el conocimiento y cómo se desarrolla sobre el estudiante y cómo se integra el conocimiento acerca de los contenidos, la pedagogía y los estudiantes, de forma que resulte un crecimiento positivo académico y personal. Por consiguiente, un certificado de competencia para la práctica docente no garantiza que su poseedor realice con éxito cualquier trabajo que se le asigne. Lo que debe asegurarse es que este posible fracaso no se deba a la carencia de competencias mínimas. Fundamentado en esta discusión, Norris (1991) destaca que los elementos de la competencia aptas para el roll docente universitario, “vienen a ser más útiles que la búsqueda del Santo Grial, debido a que estos elementos no son objetivos absolutos sobre los roles docentes”. (p.32)

Por otra parte, quizás es necesario evaluar otros aspectos del docente universitario, particularmente, el referido a la actuación del profesor en el aula es decir, cómo desarrolla sus competencias docentes en el ejercicio, en la práctica de su profesión o en el contacto con los estudiantes.

84


2.3. La actuación docente en el aula En la literatura de habla inglesa, la descripción de la actuación del docente se refiere generalmente al término "teacher performance”, concerniente a la situación concreta en la que el docente se desarrolla, llámese aula, universidad o comunidad, entre otros. Éste es uno de los métodos más comunes y también más controvertidos, que se emplean en la evaluación del docente puesto que permite verificar el grado en que las cualidades, actitudes y competencias que manifiesta el docente universitario, afecta a los resultados de los estudiantes. Evidentemente, esta conducta real del profesor es algo distinto de sus aptitudes, de su competencia y del efecto que produce en sus alumnos, de forma que no es adecuado basar toda la evaluación del profesorado en la actuación. En la evaluación, antes que la actuación del profesor en el aula, hay que tener presente el dominio de los contenidos de la materia que enseña, junto con la programación y la preparación de las clases. En este sentido, García y Congosto (2000), piensan que puede decirse que el dominio de contenidos de su asignatura o disciplina es la condición necesaria. Pero la condición suficiente para que se produzca una acción educativa – formadora eficaz, ligada al resto de procesos que facilitan la comunicación de los contenidos y la motivación de aprendizaje que generan en el estudiante. Ambas condiciones son básicas y la segunda supone la primera.

La calidad del curso o de la enseñanza depende en parte del comportamiento del docente, pero, al mismo tiempo, es un proceso social que está envuelto en la participación de los estudiantes, en seminarios o reportes, también en discusiones e interacción entre los estudiantes. Sucesivamente, la enseñanza refleja la actuación de un buen instructor,

bien preparado y

relacionado con los estudiantes, apoyado por condiciones externas con un apropiado nivel de dificultad y cantidad de trabajo, que satisfaga las facilidades de enseñanza y con contenido interesante. Dunkin y Barnes (1986); Marsh y 85


Roche, (1997) y Rindermann (2001) han concluido que donde la interacción es positiva, los estudiantes, con seguridad, evaluarán el curso positivamente y se logrará un buen nivel en el rendimiento.

La actuación del docente es útil para tomar decisiones sobre cargos de responsabilidad, promociones, retribuciones, pero dependerá de un sólido conocimiento sobre la naturaleza de una óptima actuación, y este conocimiento ha de aportarlo la investigación sobre proceso - producto.

2.4. Las experiencias de aprendizaje del alumno

El profesor ha de potenciar en los alumnos experiencias cuyo resultado sea el aprendizaje de aquéllo que la educación pretende conseguir, es la manera de generar experiencias en los estudiantes para que éstos adquieran las habilidades y destrezas que se consideran básicas en la educación. Es obvio que ningún comportamiento docente tiene interés en sí mismo, sino en la medida en que produce efectos en los estudiantes. En este sentido, se puede afirmar que evaluar las experiencias del alumno es una medida más directa que la medición de la actuación o del comportamiento docente. Villa y Morales (1993) consideran que es una medida de eficacia, pero no una medida de la actuación del profesor o de la competencia de éste.

La validez de la evaluación del aprendizaje de

los alumnos, cómo

aprenden y cuáles son las experiencias óptimas deberían ser áreas de conocimiento que los profesores tendrían que adquirir desde su formación inicial.

86


2.5. Los resultados de aprendizaje o eficacia

Se puede evaluar la competencia docente en función de los cambios estables en los alumnos, una vez finalizado el proceso de enseñanza – aprendizaje y cuyos resultados son atribuibles a la tarea del profesor. Aunque, éste ha sido un tema muy debatido, por lo difícil que es determinar o cuantificar hasta dónde llega el efecto del docente sobre el estudiante y hasta dónde se debe a factores contextuales que se escapan del control de éste.

Este cambio esperado en los estudiantes es el propósito último de la educación, pues la educación lo que pretende es transformar al individuo, llevarlo de un estado inicial a otro superior. Por tanto, según Marsh y Bailey (1993) y d'Apollonia y Abrami (1997) la cuantificación de los resultados o de ese cambio en el aprendizaje es uno de los principales criterios sobre los que se fundamenta la eficacia docente.

En esta búsqueda sobre qué ha de evaluarse del docente universitario, Cohen y McKeachie (1980) identifican diez aspectos de la enseñanza que aportan información relevante sobre ésta. Para los autores, estos aspectos pueden ser empleados en un proceso de revisión de la docencia universitaria:

-

Dominio de los contenidos del curso

-

Selección de los contenidos del curso

-

Organización del curso

-

Apropiados contenidos del curso

-

Apropiados materiales intruccionales (lecturas, medias)

-

Apropiados recursos evaluativos (exámenes, trabajos escritos)

-

Metodología apropiada usada para enseñar áreas específicas

87


-

Compromiso hacia la enseñanza y relacionado con el aprendizaje de los estudiantes

-

Logro de los estudiantes, basado en el rendimiento en exámenes y proyectos

-

Apoyo del departamento a los esfuerzos instruccionales.

Estos aspectos son fundamentales en los estudios sobre la eficacia docente universitaria, debido principalmente, a que muestran una visión panorámica del quehacer docente en la universidad, no obstante, primero hemos de tratar el tema de eficacia docente universitaria.

2.5.1. Un acercamiento al concepto de eficacia

El concepto de eficacia docente proviene del término inglés “teacher´s effectiveness”,

introducido en la pedagógica española como versión de

"teacher o faculty effectiveness”. La definición más conocida de este concepto fue propuesta por la U.S. Oficina de educación en Washington D.C., en términos de conducta, aptitudes y características más deseadas. Hace referencia a la capacidad, aptitud o poder para producir un efecto determinado en los estudiantes. Por tanto, desde una perspectiva general y un somero análisis, podemos deducir que el único criterio válido de la eficacia del profesor universitario es el logro de los objetivos docentes, investigadores y de servicio social.

No obstante, como bien señala Biddle (1964), un problema relevante es que primero y antes que nada, se debe decidir cuáles son los resultados esperados que se deben alcanzar, y posteriormente, indicar el lugar del aprendizaje donde se localiza esta influencia. 88


En este sentido, diversas líneas de investigación han tratado de caracterizar y validar este constructo. De ellas, ha tenido más desarrollo aquélla que operativiza este concepto en función de las “características de buen profesor”. Al respecto De la Orden (1990) afirma que, “el buen profesor es para los alumnos un buen charlista, con gran fluidez verbal que se presenta como hombre culto y sofisticado” (p. 17). Además, Sandor (2000) observa que es alguien que maneja las herramientas de enseñanza y los buenos planteamiento de curso.

2.5.2. El objetivo de los estudios sobre eficacia docente

Ahora bien, hasta el presente, el objetivo principal de los estudios sobre eficacia docente ha sido el de concretar dichas características en forma de variables de presagio, proceso y producto. Todo esto con el fin, afirman en un buen análisis Cabrera, Colbeck y Terenzini (2001), de determinar cuáles son los indicadores o predictores que configuran la eficacia docente y que, por lo tanto, puedan ser utilizados como criterios de evaluación.

Bien es conocido que existe una abundante literatura sobre el tema, que ha dirigido el estudio de los criterios y variables que caracterizan la eficacia docente. Entre ellos y a manera de ejemplo no exhaustivo, pueden verse investigaciones distinguidas de Abrami y DÁpollonia (1991), Abrami, Cohen, y d’Apollonia (1988), De la Orden (1987, 1990), Arubayi (1987), Patrick y Smart (1998), Centra (1983), Marsh y Roche (1993, 1997), Marsh (2001), García Ramos (1997), Tejedor (1990), Murray, Rushton y Paunonen (1990), Ramsden (1998) y Feldman (1977, 1984, 1997).

89


Aun más, en las revistas Journal of Educational Psychology del año 1990 y American Psychologist de 1997, dedican todo un número especial, citado en muchas investigaciones, destinado a textos que cubren los distintos aspectos que se han ido desarrollado durante los años anteriores. Entre éstos, cabe citar los textos de Abrami, DÁppollonia y Cohen; McKeachie; Craton y Smith; Marsh y el de Perry. No obstante, pese a ser un debate permanente y con la literatura muy prolija3, el mayor problema radica en que no existen resultados relevantes al respecto, debido, principalmente, a la existencia de diversos enfoques y paradigmas en los que cada autor se posiciona para elaborar su propuesta sobre el tema en cuestión. Evidentemente, esto ha producido gran variedad de criterios dispersos, de múltiples roles del docente y de una gama de tareas en el contexto actual, que hacen difícil, si no imposible, emplear una concepción simple para describir y evaluar la eficacia docente.

Por otra parte, ciertamente, es posible utilizar diferentes indicadores o criterios para estudiar la eficacia de un profesor, como: resultados académicos, juicio de colegas y expertos, indicadores de productividad, etc. Sin embargo, la mayoría de los trabajos vienen utilizando únicamente como criterio el juicio que manifiestan los estudiantes, lo cual debe entenderse como un reduccionismo que restringe la definición de la eficacia docente a la perspectiva de una audiencia; es decir, a aquellas conductas que son percibidas por los estudiantes y que se recogen en un instrumento de evaluación.

3

En la literatura sobre el problema de la eficacia docente, se han observado diversos enfoques y análisis. Históricamente, sin la intención de ser exhaustivos, se encuentran revisiones como: García Hoz y Bar (1948), Domas-Tiedeman (1950), Morsh y Wilder (1954), los Handbook sobre evaluación e investigación de la docencia de Gage (1963), J. Millaman (1981) , M. Adams, L. Bell & P. Griffin (1997), Brophy, J. & Good, Th.L. (1986), M.C. Witrock (ed) (1986) , Perry y J.C. Smart (ed) (1997), Smart, 1991; J.H.; Helm, V.M. & Tucker, P.D. (1995), Millman y Darling-Hammond, (eds)(1990), o la obra de Simon y Boyers (1968-1970), la Review of Research in Education de Shullman (1977) Peterson (1979), la clasificación de estudios realizados por Rodríguez Diéguez y Martínez Sánchez (1979) o de metodologías utilizadas de Rosenshine y Furts (1973) y los trabajos de Dunkin – Biddle (1974) y Gage (1977), “Teachers Thought Processes”. que ponen de manifiesto la permanencia y justificación de los trabajos de investigación sobre la eficacia docente.

90


Desde la perspectiva de los alumnos, que es el objeto de nuestro estudio, la eficacia docente se define por un conjunto de criterios que se aglutinan en torno a unas dimensiones determinadas. Como bien señala De Miguel (1998), estas dimensiones son: la preparación y organización de la actividad, la presentación y dominio de la materia, la preocupación e interés que manifiesta por la enseñanza, las relaciones interactivas que establece con los alumnos y los criterios y procedimientos de evaluación. Aunque como hemos manifestado, ésta no es la única asunción sobre los predictores del “buen profesor”, debido a que constantemente aparecen textos que se refieren a los innumerables aspectos que se involucran en la docencia universitaria.

2.5.3. El “buen” profesor universitario

El “buen” profesor en los Estados Unidos, según la Certificación Nacional de la Docencia ( véase National Boards For Professional Teaching Standards, 1991) propone cinco conceptos centrales que se suponen parte del “buen profesor” y que se deben manejar consistentemente en la actividad diaria. A continuación se ofrece un resumen de estos:

El “buen profesor” 1.- Es responsable de administrar y monitorear el aprendizaje de los estudiantes 2.- Conoce la materia que enseña y cómo se enseñan esos elementos o conocimientos a sus estudiantes. 3.- Piensa sistemáticamente en su práctica y aprende de su experiencia. 4.- Compromete a los estudiantes en su propio aprendizaje 5.- Es miembro de una comunidad de aprendizaje.

91


Otro ejemplo de características similares, más centrado en la evaluación de la competencia docente, es el propuesto por la Oficina de Educación de California (1995) señalado por Hartsough, Pérez y Swain (1999). En él se hace constar que son seis los dominios fundamentales que deben ser incluidos en la evaluación docente: 1 El profesor y los estudiantes deben crear y mantener un medio ambiente propicio para el aprendizaje. 2 El profesor entiende y organiza los contenidos del área de su conocimiento para el aprendizaje de los estudiantes. 3 Planea la instrucción y diseña experiencias de aprendizaje para todos los estudiantes 4 Compromete a todos los estudiantes en el proceso de aprendizaje 5 Evalúa el aprendizaje del estudiante. 6 Debe desarrollarse como un profesional para la mejora de la enseñanza y el aprendizaje.

Se puede observar, claramente, que existen variedad de elementos que involucran la docencia efectiva. Es más, podemos considerar, en primer lugar, una propuesta interesante de Andrews y otros (1980), acerca de los profesores eficaces y su capacidad de:

a) Crear un clima en el cual los estudiantes quieran y estén dispuestos a participar y aprender. Por tanto el profesor debe establecer metas de apoyo a los estudiantes, ayudar a los estudiantes a superar su ansiedad como un obstáculo para su aprendizaje, estudiar señales no verbales, las actitudes y sentimientos de los estudiantes, corregir a los estudiantes en una forma que ellos participen y no sientan que se les reduce su propio esfuerzo. 92


b) Identificar las metas, necesidades y estilos de aprendizaje: incorporar las necesidades e intereses de los estudiantes durante la clase, provocar la reacción de los estudiantes progresivamente en la clase, así se puede observar su rendimiento, proveer a los estudiantes la oportunidad de participar en clase y discutir directamente con otros. c) Organiza y presenta el material de clase de forma tal que ayude al aprendizaje de los estudiantes: implementa metas en el curso y actividades preparadas para producir el deseo de aprendizaje, preguntar o plantear un tópico que motive o estimule el interés de los estudiantes a ser autosuficientes, guiar con flexibilidad la discusión, presentar y discutir el material en varios niveles de dificultad y complejidad. d) Definir lo que se espera del rendimiento del estudiante y cómo se va a medir: informar a los estudiantes acerca de lo que se espera de su rendimiento en términos que ellos puedan lograr el éxito, conversar con los estudiantes sobre el proceso en que serán evaluados de manera que ellos puedan prepararse y aprender, recompensar a los estudiantes y proveer una ayuda clara para el feedback y con ello incrementar la voluntad de aprendizaje y participación.

En segundo lugar, como ya hemos visto, la eficacia docente universitaria además involucra una serie de elementos cognitivos, sociales, comunicativos que, manejados con destreza y conocimiento, hacen posible la consideración de profesor eficaz. Al respecto, un criterio práctico expuesto con detalle por Gage (1961, 1963), hace evidente que la presentación del curso es importante y debe incluir:

93


a)

Establecer los objetivos desde el principio de la clase y esbozar los contenidos de la lección: señalar las transiciones entre las partes de la lección, indicar los puntos más importantes de una lección, resumir los puntos de una lección, repasar las ideas principales y los hechos al final de una lección e iniciar la próxima lección con este tema. El profesor eficaz ha de ser organizado pero también flexible en los planteamientos

También consideramos, en tercer lugar, otro elemento relevante, además de la presentación de la clase, tiene que ver con el conocimiento de la disciplina. Un profesor tiene que poseer el mayor conocimiento acerca de la disciplina que enseña; aunque, no todo conocimiento es pre-requisito de la eficacia docente, es importante para el docente. •

Mostrarse seguro en las explicaciones sobre los temas. Pensar de diferentes formas en la cual se pueden expresar los conceptos e ideas.

•

Estar actualizado en los tópicos presentados. Incluir artículos y datos de investigaciones propias, si es necesario.

•

Si no está seguro de la repuesta a un estudiante o no se sabe, es mejor ser honesto y manifestarlo.

Por último, el profesor eficaz debe ser verosímil, creíble; que inspire confianza, serenidad, sociabilidad, organización y que emplee el vocabulario especializado. Al respecto, en un interesante estudio Fuller y otros (1996) afirman que para inspirar confianza se debe ser consistente, promover explicaciones racionales, dinámico, transmitir la personalidad con energía, mostrarse interesado en su tema de trabajo, emplear variedad vocal y un lenguaje vívido que muestre entusiasmo. 94


Referente

con

lo

anterior,

Medley

(1987)

identificó

cinco

conceptualizaciones que engloban los anteriores enunciados, al considerar que el profesor eficaz es poseedor de ciertos rasgos de personalidad deseable, usuario de métodos eficaces, creador de un buen clima de aula, dominador de un conjunto de competencias, capacitado para tomar decisiones, no sólo en función del dominio de competencias sino de la utilización adecuada de éstas en situación de enseñanza. En la lógica de este proceso, los profesores eficaces son aquellos que:

- Obtienen mayores logros de sus alumnos - Organizan previamente las actividades instructivas y de apoyo - Trabajan en ambientes de aprendizaje ordenados - Motivan al alumno reforzándole - Realizan sobre todo actividades de gran grupo - Siguen un método interactivo, con preguntas de bajo nivel inferencial

Investigaciones comparativas o similares al respecto, pueden verse en Pohlmann (1975), quien realiza su estudio sobre docencia efectiva con el IIQ4, de 20 ítems y un ítem criterio, en 1279 asignaturas. Por medio del análisis de correlaciones, obtiene que los aspectos más relevantes para la efectividad docente son:

Alcanzar los objetivos del curso Estar bien preparado para la clase Incrementar el interés del estudiante por la materia Presentar un curso bien organizado

4

Siglas en inglés de Instructional Improvement Questionnaire

95


En esta misma línea Naeth (1999), considera cinco comportamientos fundamentales, dos de los cuales están relacionados con los de Pohlmann (1975). Estos conceptos han estado constantemente apoyados por la investigación en las pasadas décadas. Además, los cinco elementos pueden ser empleados en combinación para implementar el comportamiento del profesor eficaz. A continuación, se resumen los cinco aspectos claves: •

Claridad en la lección: se refiere a si es clara e interpretable la presentación de la clase, incluyendo la cognición y claridad oral como un aspecto lógico de la clase. Con un diseño paso a paso, en orden, claro, audible, compartido libre, de manierismos y distracciones

•

Variedad instruccional: Se refiere a la variabilidad o flexibilidad de exposición durante una presentación. Aquí se incluye la variedad de materiales instruccionales, preguntas, tipos de feedback o estrategias de enseñanza.

•

Orientación a la tarea: consiste en el tiempo dedicado a un tópico de la enseñanza, tiene metas y objetivos en cada clase.

•

Compromiso con el proceso de aprendizaje: se refiere al mantenimiento de un comportamiento en la tareas para limitar las oportunidades de distracción. Indica el tiempo en el cual el estudiante

está

comprometido

en

su

propio

beneficio,

desarrollando actividades instruccionales. •

Tasa de éxito: se refiere al promedio en el cual los estudiantes entienden y completan las actividades correctamente

Con una propuesta más extensa sobre lo que es la docencia efectiva, De la Orden (1990) afirma que los criterios de eficacia académica, pueden clasificarse por su grado de fidelidad, es decir, por su isomorfismo con la conducta que pretenden predecir. Estos se dividen en tres grandes categorías: 96


¾

Predictores de alta fidelidad:

- Muestras de actividad docente e investigadora en situaciones reales. - Docencia e investigación en situaciones simplificadas

¾

Predictores de fidelidad media

- Conocimientos de la ciencia a enseñar - Docencia en situaciones simuladas (microenseñanza)}

¾

Predictores de baja fidelidad

- Medidas de personalidad (características personales del profesor) - Actitudes hacia la enseñanza y la ciencia

Estos predictores de alta, media y baja fidelidad nos permiten acercarnos a una consideración de los componentes que más definen la eficacia docente.

Podríamos continuar enumerando otros aspectos y otros estudios que hacen referencia a las características de los profesores eficaces, sin embargo, existen muchos factores que influyen en la eficacia docente y algunos de ellos tienen una especial dificultad de elucidación, por la complejidad de componentes que involucran. No obstante, como bien señala Ibáñez-Martín (1990) pueden distinguirse tres momentos en la competencia docente: a) la preparación para la docencia, b) la comunicación de los conocimientos, y c) comprobación de lo captado por el alumno. Ahora bien, cada uno de los momentos es identificado por:

o La preparación para la docencia: conocimiento de la materia, actitud hacia la docencia, formación pedagógica esencial.

97


o La comunicación de los conocimientos: discurso del profesor: claridad, rigor, entusiasmo. Preocupación por implicar al alumno en la captación del discurso. Motivación. Iniciativas para que el discurso adquiera raíces en los alumnos. o Comprobación de lo captado por el alumno: adecuación de las finalidades de la evaluación. Formas de conducir el proceso de evaluación. Medios para dar una proyección educativa a la evaluación (Ibáñez-Martín, 1990, págs.243-248).

En definitiva, después de analizar las numerosas conclusiones obtenidas por los investigadores en este gran debate, parece deducirse que el profesor más eficaz, como bien lo afirman García Ramos y Congosto (1996), está relacionado con los rasgos de personalidad y con las competencias más adecuadas. La primera se refiere a aquellos profesores que se relacionan con facilidad con los estudiantes, les escuchan, comparten y se preocupan por ellos; es decir, más humanos y sensibles. En la segunda, destacan todos los recursos que emplea el docente para programar, dirigir, motivar y evaluar a sus alumnos.

Finalmente,

para

resumir

lo

expuesto

anteriormente,

nosotros

consideramos que la eficacia docente universitaria consiste en obtener unos resultados de los objetivos propuestos; sean éstos objetivos institucionales o personales5. Ahora bien, habrá que determinar claramente, qué objetivos y qué resultados son necesarios para evidenciar si se la logrado llegar con éxito o no. Por otra parte, refiriéndonos a los estudiantes, la eficacia docente estaría fundamentada en el tipo de producto que logren los profesores en los alumnos. 5

Aún más, las interpretaciones más actuales de Gibson y Dembo, 1984; Woolfolk y Hoy, 1990 y Guskey, 1992, apuntan a confirmar que la eficacia docente es un constructo bidimensional, compuesto por las dimensiones independientes de eficacia personal y eficacia docente. La primera es interna: la extensión con la que los profesores creen que ellos, y otros profesores, influyen en el aprendizaje del alumno, mientras que la segunda es externa, al medir las percepciones de los profesores de la influencia y control de factores fuera del aula.

98


No obstante, a todas luces, el problema parece difícil de solucionar, pues continúa sin resolverse la definición de “producto educativo” y como bien insiste De la Orden (1986) al exponer que carecemos de una clara teoría del producto de la educación, de ahí las dificultades que plantea el estudio de la eficacia docente y la poca productividad y claridad de los resultados de la investigación realizada hasta el momento. Pese a la actualidad, este es un tema sumamente complejo, pero las dificultades que se plantean han sido superiores a los resultados obtenidos. Quizás este es uno de los problemas peor resueltos, tal vez, por no existir voluntad política ni académica, tal vez, como expone Mayor (1997), la universidad evalúa al profesorado sin haber discutido quién ha de evaluar, cómo y para qué.

Una vez definido el ámbito de la evaluación de la competencia docente universitaria, debemos de definir quiénes serán los encargados de llevarla a cabo, es decir, señalar y escoger a los agentes de la evaluación.

3.

ALGUNOS AGENTES DE EVALUACIÓN

La copiosa bibliografía sobre esta materia distingue numerosas opciones en cuanto a quiénes son los agentes de la evaluación de la competencia docente universitaria. Sin embargo, debido a nuestro interés principal, en este apartado nos referiremos únicamente a los más empleados: colegas, el propio profesor y el portafolios, como una nueva y diferente alternativa. Los estudiantes, que son los agentes más empleados, los trataremos en otro capítulo.

Evidentemente, existen otras fuentes de evaluación, como lo son: administradores,

expertos,

exalumnos, 99

clima

de

clase,

materiales,


productividad investigadora, informes, notas y matriculados. De la Orden (1990) añade también, el rendimiento académico de los alumnos.

Las tres fuentes que expondremos brevemente en este apartado, son las que a, nuestro entender, se encuentran en el entorno más próximo al profesor y lo hemos manifestado constantemente a lo largo de ésta exposición. Necesariamente, la valoración que se tome de alguno de estos agentes deberá ser complementada con otros elementos más, como análisis de los instrumentos de trabajo del profesor, observaciones sistemáticas, llevadas a cabo por equipos de evaluadores mixtos (internos y externos) y por otros procedimientos, que permitan recoger la mayor información posible del docente universitario. En todo caso, afirman Mateo, Escudero, De Miguel, Ginés y Rodríguez (1996), las informaciones deberían ser “cruzadas, las interpretaciones contextualizadas y se debería debatir, incluso negociar, el informe final con el propio profesor” (pág. 85).

Por otra parte, si se determinan los agentes de evaluación de la docencia universitaria

Escudero (1991) reseña algunos de los procedimientos para

obtener la información que podrían ser: la observación directa, la observación en video, registro de resultados académicos, pruebas de rendimiento, pruebas de competencia (también a profesores), test de todo tipo, escalas diversas, comentarios escritos, entrevistas (individuales y grupales), debates (grupos de discusión). No obstante, Tejedor (1991) en un estudio sobre la evaluación en las universidades españolas, indica que el foco más generalizado de estas evaluaciones ha sido la actuación docente del profesor, tomando como método los cuestionarios de opinión de estudiantes. A la misma conclusión llegan, entre otros, Feldman (1978, 1984), Marsh (1987), Centra (1993), Abrami (1990), pero refiriéndose directamente a las universidades de habla inglesa. No cabe duda de que las encuestas han sido uno de los procedimientos más

100


empleados, estudiados y sobre todo, el que más debate ha logrado levantar en la literatura sobre evaluación de la competencia docente universitaria.

En este debate sobre la utilización a favor o en contra de cada una de las fuentes de evaluación, podemos encontrar referencias de Mateo (1988), Aparicio (1982), García y Congosto (2000), entre otros. González Such (1998) en una adaptación y ampliación del trabajo de Mateo (1987), realiza una comparación que puede observase en la siguiente tabla No 3.

TABLA NO 3 COMPARACIÓN DE FUENTES RECOLECTORAS DE INFORMACIÓN Tipo de evaluación

Cualidades

Defectos

Condiciones para su uso

Tipo de evidencia

Propósito

Puede ser afectada por otros factores externos al profesor. Lo s estudiantes tienden a ser generosos en sus evaluaciones

Se precisa el anonimato de los estudiantes. El profesor debe aceptar el feedback de sus estudiantes. Los instrumentos deben ser cuidadosamente desarrollados

Percepción del estudiante de lo que ha aprendido y como ha cambiado. Percepción del estudiantes de lo que le gusta y disgusta de su profesor

Mejora del profesorado. Reconocimiento de méritos. Toma de decisiones de la administración

los Asunción por parte de los Existen factores que Uso de pruebas fiables Resultados alumnos de los objetivos pueden afectar la y válidas estandarizados de del curso actuación de los los tests. Medidas estudiantes: capacidad de actitudes intelectual, background.

Mejora del aprendizaje de los estudiantes. Reconocimiento de los méritos del profesor

Requiere un esfuerzo mínimo. Feedback para Por parte de los el profesor. Alta estudiantes mediante un correlación con otros cuestionario estructurado tipos de evaluación. Observan al profesor cada día. Alta fiabilidad

Rendimiento estudiantes

de

Observación en clase. Provee información Uso de instrumentos fiable y cuantificable. estandarizados para describir la actuación del profesor

Alto costo y gran consumo de tiempo. Se focaliza en el proceso más que en el producto

Mejora Necesita de Información cuantificada acerca profesor observadores entrenados y varias de la conducta del profesor y los observaciones. alumnos. Categorización de las observaciones. Procesos estandarizados de recogida y análisis de la información.

Evaluación por colegas. A través de observación en clase, feedback de los estudiantes, etc.

Familiarizado con los objetivos, prioridades, valores y problemas de los profesores.

Sesgo debido a las relaciones personales con el evaluador. Pueden sufrir las relaciones entre el staff.

Requiere un alto grado de ética profesional y objetividad. Requiere capacidad de observación y análisis. Se precisa de tiempo

Comentario, comparaciones y sugerencias acerca del método, contenido y trato con los estudiantes.

Autoevaluación Relacionada con los valoración del profesor objetivos propios y relativa a sus propios necesidades. Parte objetivos esencial de la conducta profesional

Resultados no consistentes. Tendencia a valorarse más alto que los propios estudiantes

No debe ser usada para determinar la promoción u otra decisión relacionada con ella. Precisa

Información acerca Mejora del progreso en la profesor consecución de los propios objetivos

101

del

Mejora del profesor y reconocimiento de méritos.

del

Perspectiva en la evaluación de la competencia docente universitaria autoconfianza seguridad

y

Equipo de expertos. Expertos externos al sistema, cualificados en procedimientos de valoración del profesor (observación del profesor y revisión de datos sobre el aprendizaje de los alumnos)

Evaluadores con Alto coste y dificultad Adecuada selección de destrezas especiales. de encontrar este tipo los expertos. Precisa Externos a las políticas, de expertos. tiempo. problemas y sesgos del centro.

Comentarios, comparaciones y sugerencias acerca de los métodos del profesorado.

Enseñanza simulada

Evaluación del profesor Cara de aplicar. Algo Precisa personal en términos de artificial. entrenado en diseños aprendizaje de los de evaluación y gran estudiantes. Control de preparación de tiempo las variables no deseadas.

Evidencia aprendizaje estudiante condiciones controladas.

Administradores o directores de departamento, superiores, supervisores.

Evaluación del profesor de acuerdo con los objetivos específicos del centro o de la institución.

Mejora del profesorado. Decisiones administrativas.

en Mejora del del aprendizaje del bajo estudiante y decisiones administrativas.

Excesivamente Igualdad de Diferentes fuentes Evaluación dependiente de evaluación entre todos de recogida de fundamentalmente individuales. Alto los profesores. información. de tipo sumativo. coste y dificultad de pase. Mejora del profesorado. Reconocimiento de méritos. Toma de decisiones de la administración. Adecuación de la docencia a las necesidades reales del mercado de trabajo.

Exalumnos, alumnos ya Identificación de los licenciados objetivos del profesor a posterior: Adecuación de su docencia a las necesidades profesionales del mercado de trabajo, utilidad de la asignatura.

Puede ser afectada por otros factores externos al profesor. Dificultad de recogida de las muestras. Alto coste en la recogida de la información. Dispersión de la muestra.

Se precisa el anonimato de los estudiantes. El profesor debe aceptar el feedback del estudiante. Los instrumentos deben ser cuidadosamente desarrollados.

Percepción del estudiante de los que ha aprendido y de qué ha servido. Percepción del estudiantes de lo que le gusta y disgusta de su profesor desde una perspectiva interna.

Materiales

Facilidad de recogida de información. Identificación del trabajo diario del profesor; renovación anual de materiales.

En algún caso no se utiliza ningún material adicional o de apoyo a la docencia.

Recogida puntual de la información al final del curso, con indicación de su utilización.

Materiales Mejora de los docentes: programa medios auxiliares de la asignatura, docentes. cuaderno de problemas, lecturas, dossieres de artículos.

Productividad investigadora

Disponibilidad de los Valoración de las Recogida puntual de la Artículos, libros, productos por diferentes investigaciones. Los información. software, etc. medios resultados se utilizan dos años después. Relación de los productos con la docencia.

Informes

Disponibilidad de Falta de adecuación a La información Informes sobre Decisiones de tipo resultados. Facilidad de la situación docente proviene en la esencia matrícula, sumativo. control real española. de la administración. distribución de calificaciones, número de alumnos que asisten.

Fomenta la investigación y el apoyo a la docencia.

Adaptado por González Such (1998) de Mateo (1987)

Después de observar la comparación realizada por González Such (1998), sobre las fuentes de recogida de información para la evaluación de la docencia universitaria, nos detendremos brevemente en este capítulo a exponer tres de las fuentes mencionadas anteriormente: la autoevaluación, la evaluación por 102


colegas y el portafolios. La cuarta, objeto de nuestra investigación, será tratada con más profundidad y análisis en el capítulo posterior.

3.1. Autoevaluación del profesor

La autoevaluación es una forma natural para confrontar la propia actividad con los criterios o estándares establecidos. Para González Such (1998) se pueden diferenciar claramente dos tipos: a) como recogida de información para la evaluación del profesorado y b) con propósito de feedback y mejora del docente. En la primera, se incluyen técnicas de recogida como el autoinforme o los cuestionarios. La segunda está dirigida a la mejora del proceso de enseñanza y aprendizaje y de los factores asociados. Seldin (1999) y Paulsen y Feldman (1995) coinciden al afirmar que esta forma de evaluación favorece la reflexión crítica, en apoyo para el perfeccionamiento docente y es absolutamente necesaria si se quiere una mejora de la calidad de la enseñanza. De igual forma se expresa Nieto (1994), al afirmar que a través de este proceso un profesor puede sensibilizarse y reflexionar sobre áreas o elementos débiles de su formación y esto puede arrojar resultados que posibiliten una mejora de sí mismo.

Históricamente, tal como señala Barber (1990), se ha considerado la autoevaluación como de poco valor, ha sido menospreciada por la creencia que se tiene acerca de la sobre-valoración del docente. Sin embargo, hemos observado un cambio en la literatura sobre evaluación docente de los últimos años

que

ha

comenzado

a

otorgarle

la

importancia

que

tiene.

Fundamentalmente, consideramos que es un enfoque comprensivo que incluye una cierta actitud filosófica y una serie de estrategias orientadas a mejorar 103


globalmente la propia calidad docente y permite ingresar en el interior de su pensamiento y acción, desde su propia visión, con el afán de autodetectarse o autovalorar su ejercicio docente.

Barber (1990) señala siete pasos para una autoevaluación efectiva

1.

Contemplar la autoevaluación más en profundidad, con una cierta actitud filosófica, para poder examinar los mitos que rodean la autoevaluación del profesor.

2.

Utilizar audio y vídeo.

3.

Identificar las conductas y destrezas básicas de enseñanza que serán analizadas.

4.

Identificar indicios o señales verbales.

5.

Identificar las señales no verbales.

6.

Aprender a planificar y evaluar las conductas docentes identificadas

7.

Utilizar procedimientos de observación.

A su vez, Brighton (1965), citado por Villa y Morales (1993) resume las principales razones por las que se debe poner un énfasis especial en la autoevaluación:

a)

Cuando se utiliza la autoevaluación, el profesor comparte con sus colegas profesionales la responsabilidad de mejorar su actuación. La libertad académica y el reconocimiento profesional requieren que el propio profesor asuma su propia responsabilidad.

b)

Los profesores, particularmente aquéllos que aspiran a mejorar

su

status

104

profesional,

contemplan

la


autoevaluación como una forma más aceptable de evaluación c)

La autoevaluación es la meta última de cualquier programa de evaluación del profesor que busque promover una mejor realización y mejorar el status profesional. En el profesor, como en cualquier otro profesional, el mejor y más efectivo motivo para el cambio es el que se produce en su interior.

Nos parece claro que si seguimos los pasos que describe Barber (1990) y las razones de Brighton (1965) que justifican una autoevaluación, podríamos conseguir el éxito en este tipo de acción. No obstante, existen una serie de problemas que han sido encontrados por los investigadores, por ejemplo, la alta valoración respecto a su labor, como tendencia a verse o a mostrarse a sí mismos como eficiente o muy eficiente.

Uno de los motivos que justifica esta valoración apunta a que puede deberse que en los planes de formación del profesorado raramente se incluye formación y práctica en autoevaluación. Otro, se refiere a aquellos profesores inseguros o marginados, que tienden a sobrevalorarse o a infravalorarse. Pocos profesores son capaces de ser objetivos al medir su propia acción docente, por tanto, el resultado de esta valoración puede ser inexacta y poco fiable.

Tal vez, ocurre que una vez recogido el instrumento de autoevaluación, el protocolo se coloca en el archivo del profesor, donde permanecerá sin ser tocado. No existe seguimiento, discusión, ni atención al documento cumplimentado. En lugares donde existe verdadera autoevaluación, los profesores recogen sus propios datos y hacen sus propios juicios sobre su propia enseñanza y, como sucede con todas las fuentes de datos, los datos de la autoevaluación son más eficaces cuando son compartidos y discutidos por 105


grupos o por alguien más. Villa y Morales (1993), tratando sobre los problemas en la autoevaluación concluye que la mayoría de las limitaciones que se le atribuyen, no son debilidades en sí mismas, sino más bien, resultan de un mal entendimiento o utilización de la autoevaluación en las instituciones.

Nosotros consideramos que la autoevaluación puede ayudar a mejorar la enseñanza por ser un proceso que sirve para sensibilizar y reflexionar sobre la propia práctica, en las áreas que él mismo ha identificado como deficientes o prioritarias. Para que la autoevaluación tenga la posibilidad de ser fructífera, podría guiarse por los siguientes apartados:

1.

Que el profesor reconozca que puede mejorar su labor docente, de lo contrario toda estrategia será inútil.

2.

Que el profesor comprenda que la enseñanza es una actividad compleja, en la que intervienen e influyen muchos factores. Cada uno de ellos influye con un peso específico distinto y no todos ellos resultan controlables.

3.

Que el profesor pueda decidir qué aspectos de su tarea docente con los más interesantes para su examen. La autoevaluación le ayudará a

reexaminar aquellos factores o aspectos que el

profesor considere más oportunos según los diferentes momentos didácticos. 4.

Que el resultados de un proceso de enseñanza – aprendizaje no sea algo cerrado, sino que sea posible intervenir en fases previas al desenlace final. La autoevaluación puede llegar a detectar deficiencias que es posible mejorar durante el proceso.

Preocupado por la autoevaluación y los instrumentos para la recogida de la información, Barber (1990) proporciona un listado, extraído de 269 trabajos.

106


Estos instrumentos pueden ser tomados en consideración a la hora de realizar o ejecutar una autoevaluación. Son los siguientes:

TABLA N° 4 INSTRUMENTOS PARA RECOGER LA INFORMACIÓN

Instrumento

Descripción

Feedback de cintas de video y Incluye la grabación de un episodio docente en directo con finalidad formativa. audio. Cuestionarios de autoencuesta

Es un instrumento escrito que requiere al profesor autoevaluarse en una serie de habilidades docentes del cuestionario.

Autoinformes

Es un cuestionario preparado por el profesor, pero utiliza un formato de cuestiones abiertas.

Autoestudio de materiales

Son programas diseñados para que el profesor pueda individualmente evaluar y analizar su estilo docente, además de investigar técnicas o materiales alternativos.

Modelado

Consiste en observar docentes de alta calidad para imitarlos.

Observación por un extraño

Un agente externo almacena sus observaciones para luego analizarlas con el profesor.

Cuestionario

Es rellenado por alumnos, pero el profesor es el encargado de analizarlas.

Entrevistas

El propio profesor las realiza a sus estudiantes o exalumnos

Utilización de un consultor Estos asisten al profesor y le ayudan en su autoevaluación. Generalmente no realizan la evaluación. externo, experto o colega Comparaciones con estándares

Implícita en cualquier forma de evaluación. Sin embargo, se menciona especialmente la comparación de la ejecución de los profesores en el cumplimiento de sus obligaciones con algunos aspectos como descripciones de trabajo, fines escritos que se han autoimpuesto.

Uno de los problemas que enfrenta el uso de los diferentes métodos de autoevaluación expuestos en el cuadro anterior, se debe principalmente a que algunos requieren de la inversión de tiempo y dinero, que no son fácilmente 107


accesibles a los profesores, y muchas veces plantea una serie de dificultades técnicas difíciles de superar.

Clare y Aschbacher (2001) expresan que la autoevaluación resulta muy útil como herramienta de evaluación para: complementar otros métodos; cuando se desarrolla en un ambiente no punitivo; cuando se llega a interiorizar la necesidad constante por mejorar día a día; cuando se hace en función de unos objetivos expuestos y aceptados por todos. Podemos añadir que la autoevaluación es una necesidad básica del hombre, para llegar a ser cada vez más de lo que uno es, una necesidad próxima a las de competencia y satisfacción del yo. Aunque, ciertamente, para poder ponderar nuestra opinión sobre la labor que realizamos, es indispensable contrastar la autoevaluación con algún otro agente, por ejemplo la evaluación hecha por los colegas.

3.2. Evaluación hecha por colegas

En las Universidades de los Estados Unidos y en otros lugares, la evaluación hecha por colegas está muy difundida, con el fin tomar decisiones administrativas referentes al ascenso y la promoción en la carrera del docente. Ésta ha permitido el acercamiento entre los docentes de una misma especialidad para potenciar y transmitir la práctica profesional y la experiencia, en pro de una evaluación adecuada. Moses (1986) explica que se utilizan en un 80 o 90% de las veces para evaluar a los candidatos sobre actividad docente y para la promoción. Sin embargo la evaluación por colegas no es un proceso uniforme, pero a menudo tiene el siguiente formato: los colegas promedian uno o varios logros específicos (artículos para publicación, el contenido de un curso o el rendimiento de clase); los pares evalúan el rendimiento del profesor después de estudiar un dossier completo como credencial. 108


La visión que tienen los propios colegas de sus compañeros al asistir a las clases de éstos con el fin de valorar su actividad, es un mecanismo valioso en la toma de decisiones. La evaluación hecha por colegas proporciona una perspectiva que es particularmente prominente, cuando se trata de evaluar a un profesor, tanto en la docencia como en su actividad investigadora.

No obstante, una limitación inherente a este tipo de evaluación, es que difiere en mucho de otros agentes de evaluación docente, por ejemplo: de los supervisores, observadores externos y de los mismos estudiantes.

Aleamori (1999) cuestiona la relación entre productividad investigadora y la evaluación de estudiantes, dado que no existen evidencias que demuestren diferencias significativas y es que la investigación está dividida en este punto. En el pasado Maslow y Zimmerman (1956) y McDaniel (1970) encontraron una débil, pero positiva correlación entre la productividad investigadora y la competencia docente. Por el contrario, Aleamori y Yimer (1974), Guthrie (1949, 1954), Hayes (1971), Linsky y Straus (1975), Melland (1996), y Voeks (1962) no encontraron ninguna relación significativa entre la productividad investigadora y las valoraciones de estudiantes de la competencia docente. Un estudio similar, Aleamori y Yimer (1974) reporta que no hay una relación significativa entre la productividad investigadora del profesor y la valoración que hacen sus colegas de su eficacia docente.

Ballard, Reardon y Nelson (1976) encontraron que la correlación entre la evaluación hecha por colegas con la evaluación de los alumnos, está en el rango de .62 y .84. También Cohen y McKeachie concluyen que esas altas correlaciones sugieren un constructo existente de habilidades generales de la competencia docencia que puede ser juzgado por sus iguales.

109


Estudios más recientes, de algunos autores entre ellos Marsh (1984, 1987), Centra (1980), Cohen y McKeachie (1980), después de examinar este tipo de evaluación y refiriéndose a las diferencias que existen con los demás agentes, encuentran que es un área problemática, delicada y cuestionable.

La evaluación por colegas puede estar distorsionada por: el compañerismo, el conocimiento global de la materia, el tipo de decisión administrativa y otros elementos sujetivos que pueden afectar su desarrollo. A menudo, se le critica su fiabilidad y soporte empírico para la validez, debido a su constante falta de estructura. La valoración de los colegas y de los departamentos reflejan, más la reputación del profesor, que el resultado de un juicio objetivo e independiente basado en la observación y evidencias empíricas. Muchas veces los colegas tratan de ser benevolentes con sus compañeros, pensando que en el futuro los evaluados serán ellos. Centra (1994) encontró que los compañeros puntúan más alto a los profesores comparado con los decanos o con las evaluaciones de los estudiantes. Cohen y McKeachie (1980) indican que la opinión de los colegas estaría en mejor posición, para dar valoraciones válidas sobre la docencia universitaria, con un claro propósito formativo y no sumativo, como el que actualmente tiene más peso en las decisiones administrativas universitarias.

Nosotros consideramos muchas de las críticas que se le hacen a la evaluación por colegas, y se refieren más a una falta de estructura y de criterios definidos, que a la misma evaluación. Generalmente, un colega asiste a una aula para observar el tipo de enseñanza de otro docente, pero, pocas veces, cuenta con un instrumento bien construido, o si posee uno, éste es tan general, que no es necesario tomarlo en cuenta, por eso, su subjetividad entra en escena; ahí inician los problemas.

110


De la Orden (1987, 1990) afirma que la evaluación del profesor por parte de otros profesores puede mejorarse muy sensiblemente a través de:

-

Definición operativa de las variables y dimensiones por evaluar

-

Establecimiento de normas y barenos precisos de calificación

-

Introducir la observación sistemática de la actuación del profesor a

situaciones académicas reales o simuladas, para valorar aquellas variables difícilmente objetivables. Esta práctica reduciría el nivel de inferencia en la evaluación, disminuyendo el riesgo de subjetividad.

Braskamp and Ory (1994, pp. 205-206) sugieren diferentes aspectos técnicos de la observación, que pueden ser de utilidad, si se quiere realizar una buena evaluación por colegas. En opinión de los autores, los pasos a seguir serían:

-

Se deben preparar los observadores: la institución ayuda al instructor a focalizar los criterios deseados y aprender cómo observar correctamente.

-

Los

departamentos

pueden

rotar

anualmente

las

responsabilidades del equipo de observación, entre los miembros

elegibles,

no

obstante

los

departamentos

pequeños pueden tener dificultad en este respecto. Alternativamente,

los

directores

académicos

pueden

seleccionar a varios observadores de la lista de observadores potenciales recomendados nominados por el instructor. Las observaciones de más de un colega son recomendadas -

El profesor debe ser informado, por diferentes vías, del proceso de observación por iguales antes de su puesta en práctica, para asegurarse de que todas las observaciones estarán conducidas en una manera similar. Es necesario y 111


recomendable, por lo menos, tres o cuatro observaciones de la sala de clase por semestre. Esto se recomienda, para asegurar una observación adecuada; la evidencias que provee la observación es a menudo puesta en sospecha, si se hace solamente una visita a la sala de clase durante el semestre. -

Una vez informados todos los profesores, las visitas a la sala de clase del profesor del pueden o no ser anunciadas, dependiendo de práctica y de las políticas institucionales. Una estrategia pertinente en este tipo de actividades, es permitir al instructor que seleccione seis períodos de la clase, donde la evaluación sería más apropiada.

-

Las

observaciones

por

iguales

se

pueden

rellenar

anualmente, antes de tomar las decisiones para la promoción, la renovación de contratos y otros. -

Los departamentos deben considerar la disponibilidad y la buena voluntad de los profesores que van a observar, teniendo en cuenta una determinada política de observación.

-

Han de establecerse con anterioridad listas de control para la observación de comportamientos y la detección de la presencia o ausencia de características consideradas como predictores de eficacia académica.

-

Cada observador puede destacar semejanzas y diferencias escribiendo informes resumidos. Los informes deben estar centrados en las herramientas y comportamientos acordados. Han

de

incluirse

ejemplos

específicos

de

los

comportamientos del instructor y del estudiante. El reporte es más equilibrado y justo si contiene observaciones positivas y negativas. Los juicios sobre la eficacia, así como las descripciones del trabajo, son aspectos que pueden 112


proporcionar una caracterización más completa de la eficacia del profesor.

En conclusión, lo anterior evidencia que la evaluación del profesor por parte de colegas o autoridades académicas, debe regularse, pautarse y sistematizarse, a fin de evitar los sesgos, desviaciones e injusticias de que normalmente se le acusa. Una estructuración sistemática permite contar con pautas muy claras que ayudan: a) al observador, a focalizar únicamente aquellos aspectos que han de considerarse dentro del proceso de evaluación, eliminando así la subjetividad, b) a la institución, le permite organizar, con anterioridad,

políticas

definidas

sobre

aquellos

aspectos

específicos,

pertinentes y concisos de la docencia que se necesita, c) al profesor, conocer claramente qué van a evaluar sus colegas y cómo lo van a hacer, esto brindará garantías sobre la obtención de los datos, evitando anomalías e injusticias.

Finalmente, no hemos de olvidar que la evaluación por colegas sigue siendo un instrumento más para potenciar el desarrollo docente, que puede ser susceptible de mejora, en la medida en que se definan los aspectos y las conductas que inciden en la eficacia docente, se prepare bien a los observadores, se aumente el número y período de observaciones. Lo anterior nos indica que son necesarias políticas institucionales precisas, muy delimitadas y elaboradas con el consenso entre todos los involucrados, con el objetivo de partir de un soporte institucional que permita, tanto la construcción de instrumentos de medición bajo criterios muy específicos, como la preparación o formación de aquellos encargados de llevar a cabo la evaluación con éxito. Todo este entramado depende generalmente de los intereses y necesidades de los usuarios. 113


3.3. Los estudiantes, nuestro interés Los estudiantes han sido una de las fuentes de evaluación que más se han empleado en la evaluación de la competencia docente universitaria, Neumann (2000) los considera un recurso de información válido y uno de los métodos importantes de recolección de datos.

Las valoraciones de los estudiantes de la eficacia instruccional han sido empleadas en la educación postsecundaria: por los administradores, como parte del proceso de evaluación para decidir la promoción y la permanencia de los docentes; por los instructores, como una ayuda para mejorar sus cursos y la enseñanza; por los estudiantes, para seleccionar los cursos y los instructores; por los investigadores, para identificar la eficacia de la enseñanza y el aprendizaje. Debido a su uso generalizado e importancia, estas valoraciones han sido fuertemente investigadas durante muchos años; específicamente en aquellos temas relacionados con su fiabilidad, validez y utilidad.

Las razones para su uso según, Feldman, (1997), Howell y Symbaluk (2001), Marsh (2001) y Babad (2001), tienen su justificación en que los estudiantes son una obvia y conveniente fuente de datos; su opinión sincera puede ayudar a beneficiar la estructura de los cursos y el estilo de enseñanza.

No obstante, éste ha sido un tema muy debatido y controvertido, por ello, lo trataremos con mayor profundidad y dedicación en un capítulo posterior.

114


3.4. Un elemento de cambio: el portafolio Quizá, una de las más prometedoras fuentes de información sobre la evaluación de la competencia docente sea el portafolios o dossier, debido a que permite reunir materiales de muy distintas procedencias y para un solo fin, conocer la actividad y la enseñanza del docente universitario. Al respecto Bruns (1999) plantea que el uso del portafolios en la evaluación de la competencia docente universitaria es parte de los nuevos planteamientos de evaluación y puede ayudar a la administración en el proceso de evaluación de sus profesores. Wright, Knight y Pormelelau (1999) se expresan de manera similar, al considerar que su uso se ha venido incrementando como una práctica común en la universidades norteamericanas, específicamente por tres causas: a) para reflexionar sobre la enseñanza, b) para la mejora del rendimiento de la enseñanza y c) para suministrar información relevante sobre el docente.

Para algunos destacados autores como Centra (1987, 1993), Murray (1995), Edgerton (1991), Diamond (1995), Gibbs (1992), O’neil y Wright (1992) y Seldin (1984, 1993, 1999), el portafolios es una forma de recoger o recopilar información sobre el docente universitario y su labor en una especie de archivo o carpeta en la que el docente reúne todos aquellos componentes que considera relevantes en su trabajo y que pueden aportar información destacada sobre su acción.

En el portafolios se pueden incluir los aspectos curriculares, materiales de curso, evaluaciones de alumnos, exámenes, charlas, escritos y otros. Preocupados por los elementos que se deben incluir en un portafolios, la Asociación Canadiense de Profesores Universitarios6 (citado por Centra, 1994), patrocinó un estudio sobre los elementos que se deben considerar como 6

Su título en ingles es “Canadian Association of University Teachers”

115


evidencia de la competencia docente de un profesor universitario. En este estudio se identificaron tres áreas: ♦ Material sobre los estudiantes que refleje su aprendizaje (cuadernos, ejercicios, resultados pre y post examen). ♦ Material del profesor (materiales del curso, formularios, descripciones sobre su utilización, innovaciones docentes y su evaluación, desarrollo del currículum). ♦ Materiales de otras fuentes (evaluaciones de los estudiantes, colegas o exalumnos).

Murray (1995) propone que la información a incluir en el portafolios deberá considerar al menos: a) su uso, b) el consenso departamental y c) la opinión del profesor. El autor recomienda que la información debe atender a los siguientes aspectos: qué se elige, quién lo elige, por qué lo eligen, documentación de estrategias docentes, evaluación de la efectividad docente y un plan de mejora docente. Un detalle del portafolios sugerido por Murray se puede observar en la tabla siguiente.

TABLA N° 5: INFORMACIÓN DEL PORTAFOLIOS

Qué se elige Lista de cursos impartidos Descripciones de los estándares de nota Quién lo elige Características de los estudiantes

Reflexiones sobre los objetivos de cada curso (p. ej. Énfasis en el contenido o en habilidades de pensamiento) Estilos de aprendizaje de los estudiantes Motivación para escoger el curso

Por qué lo eligen Objetivos de los estudiantes Descripción del contenido esencial del curso Misión institucional relacionada con los (p. ej. Listado de conocimientos cognitivos, objetivos del curso habilidades y actitudes) Objetivos del departamento Documentación de estrategia docente Ejemplos de tareas y exámenes

Reflexiones sobre cómo las tareas y los

116

Perspectiva en la evaluación de la competencia docente universitaria Técnicas utilizadas para asesorar los estilos de aprendizaje de los estudiantes. Materiales del curso preparados para los estudiantes. Listados de estrategias docentes utilizados Evaluación de la efectividad docente Puntuaciones pre y pos test Evaluación de estudiantes Anotaciones u otros testimonios de los estudiantes Datos de entrevistas/ encuestas de los estudiantes que han acabado las clases. Cuando el curso es un pre-requisito los aspectos de aquellos que han cursado el siguiente curso Recompensas docentes Informes de los que emplean a los estudiantes Grabaciones de video / audio Plan de mejora docente Evaluaciones de los estudiantes del curso anterior comparados con los de este curso. Listado de explicaciones sobre mejora docente y cambios resultantes de reflexiones sobre ellos. Archivo de cambios que resultan de la reflexión

exámenes reflejan los objetivos del profesorado. Técnicas de investigación en clase utilizadas para evaluar el aprendizaje de los estudiantes Puntuaciones sobre los exámenes estandarizados nacionales o departamentales. Copias comentadas de informes representativos proyectos o exámenes. Informes de colegas que han visitado las clases. Informes de colegas que han revisado los cuadernos de prácticas y materiales del curso. Informes de los alumnos. Informes de los administradores que han visitado las clases del profesor Informe de actividades de desarrollo del profesor atendidas. Contribuciones a jornadas profesionales que resulten de mejora docente. Descripción de nuevas estrategias docente

A nuestro juicio, como se observa en la tabla anterior, la construcción de un portafolios debe atender a múltiples consideraciones tanto en la forma como en el fondo. Su desarrollo requiere en gran medida, del consenso entre las partes implicadas, el interés y su uso, dado que tanto los profesores como administradores, han de determinar qué elementos se considerarán de utilidad para ser incluidos en el portafolios.

Obviamente, existen diferentes propuestas acerca de su elaboración como Biddle (1992), Borna y Arndt (1993), Centra (1994), Murray (1995), Edgerton, Htuchings y Quinlan (1991), Seldin y Annis (1990), Urbach (1992) Watkins (1990) y Liston (1998) que atienden a diferentes estructuras de pensamiento, pero que coinciden en las secciones globales, destacando la reunión de material relevante por diversas fuentes.

117


Finalmente, podemos añadir que el portafolios puede ser de gran utilidad, si esta bien construido y consensuado debido a que se puede innovar y mejorar con él los métodos de enseñanza. Es más, puede aportar información vital sobre el docente, su acción y su contexto, mostrando una visión global; a la vez, también es un elemento de proyección personal sobre la evolución histórica del profesor.

4.

OBSERVACIONES DOCENTE

AL

ENTORNO

DE

EVALUACIÓN

La evaluación de la competencia docente universitaria es uno de los temas de investigación educativa que ha generado una gran cantidad de investigaciones, debates y controversias durante mucho tiempo; debido principalmente, al pensamiento que destaca que gran parte de la pequeña influencia que tienen las instituciones sobre los estudiantes, se debe fundamentalmente a

sus profesores. Hay que destacar, que esta

responsabilidad no es única de los docentes pues el sistema educativo envuelve una serie de factores interrelacionados, donde claro está se encuentra el docente universitario, que generalmente se hiper-responsabiliza de todo lo que sucede en la institución.

La influencia que tienen los docentes universitarios ha sido muy difícil de medir y cuantificar, esencialmente por varios aspectos: a) no se ha determinado aún hasta dónde el rendimiento del estudiante se debe a su contexto, interés o al docente, b) la docencia universitaria es muy compleja, es difícil aislar sus componente y c) una gran mayoría de los profesores se niegan a ser evaluados.

118


Claro está, que aparte de toda esta controversia, podemos manifestar que la evaluación de las aptitudes y de las competencias, se basa en cualidades personales que el profesor posee y puede manifestar. Aunque también podría no tener ni manifestar ninguna de las que hemos descrito fugazmente. La evaluación de las experiencias de aprendizaje y de los resultados se basa más en la conducta de los alumnos que en la de los profesores. Por tanto el acto educativo no es responsabilidad única del profesor, sino que recae en mayor medida sobre el estudiante y se deben considerar con atención, factores básicos del

rendimiento: la oportunidad de aprender (tiempo de estudio) y la

experiencia previa por parte del alumno. Más aún, para Gutiérrez Pérez (1999) el verdadero aprendizaje no está solamente en la escuela, en muchas ocasiones el medio social, natural, histórico y cultural, encierra una serie de recursos que posibilitan o limitan el aprendizaje del estudiante. No obstante, el profesor es el que potencia, tanto las experiencias como los resultados de los estudiantes.

En este sentido, la evaluación hecha a partir de la actuación del profesor puede ser el método para valorar su acción, puesto que permite observar si las cualidades que el profesor posee afectan a la conducta de los alumnos. Cabe añadir que todos éstos son argumentos muy delicados y muy debatidos durante años y han producido una gran masa de literatura a favor y en contra. Pese a ello, el avance al respecto ha sido mínimo en el fenómeno de estudio.

Podemos añadir que, en general, para considerar un modelo global de evaluación del subsistema “profesorado universitario” tendrá que estar, cuando menos, relacionado con los perfiles que tradicionalmente se rozan con ella: la docencia, la relación con la comunidad y la investigación, en cuanto que la docencia no se limita exclusivamente a la actividad del aula, a la mera comunicación de saberes. La consideración de estas tres funciones permite contar o reunir información relevante y pertinente del desempeño del docente universitario, desde los diferentes ángulos que conforman su acción. 119


Ahora bien, como se ha descrito en nuestra exposición, para realizar todo el proceso de evaluación de la competencia docente universitaria, se utilizan diferentes fuentes, entre las que destacan la autoevaluación, evaluación por colegas, el portafolios y los estudiantes. Cada una de estas fuentes cuenta con sus defensores y detractores, con su problemas y aciertos, lo que demuestra la inherente necesidad de contrastar y cruzar las fuentes para la toma de decisiones formativa y sumativa.

A partir de este punto de nuestra exposición, nos dedicaremos exclusivamente a todos aquellos aspectos que involucra la investigación relacionada con nuestro agente de interés: los estudiantes como evaluadores de la competencia docente universitaria.

120

Capítulo 3

ESTUDIANTES EVALUADORES DE LA COMPETENCIA DOCENTE UNIVERSITARIA

Los estudiantes evaluadores de la competencia docente universitaria


ESTUDIANTES EVALUADORES DE LA COMPETENCIA DOCENTE UNIVERSITARIA ...........................................................121 1.

ALGUNAS CONSIDERACIONES PREVIAS....................................................... 123 1.1. Los estudiantes, su visión del aprendizaje y la competencia docente................... 123 1.2. Un análisis retrospectivo....................................................................................... 125

2.

PROCEDIMIENTOS PARA LA RECOLECCIÓN DE OPINIÓN .................... 128 2.1. Las entrevistas ...................................................................................................... 128 2.2. Los comentarios escritos....................................................................................... 129 2.3. La recolección electrónica .................................................................................... 130

3.

EL CUESTIONARIO DE OPINIÓN ...................................................................... 134 3.1. Su relevancia, controversia y debate..................................................................... 134 3.2. La incertidumbre central: ¿son fiables y válidos los cuestionarios? ..................... 141 3.2.1. La fiabilidad de los cuestionarios.................................................................. 141 3.2.2. La validez en los cuestionarios una operación complicada........................... 148

4.

OBSERVACIONES AL CUESTIONARIO............................................................ 164

122


1.

ALGUNAS CONSIDERACIONES PREVIAS

1.1. Los estudiantes, su visión del aprendizaje y la competencia docente

La evaluación de la competencia docente universitaria por parte de los estudiantes constituye una de las fuentes de información más frecuentes en el ámbito universitario. La generalización de su práctica en todas las universidades del mundo la han convertido en uno de los agentes de información más importantes, producto de ello, es su permanente debate y su vasta literatura.

A nuestro juicio, la percepción que tienen los estudiantes sobre su aprendizaje provee una medida de la acción docente, relacionada con los efectos que tiene esa acción en su experiencia de instrucción. Este enfoque ha recibido mucha atención por ser una variable importante, especialmente, porque el estudiante habita en el aula junto al profesor, por tanto, es el único capaz de reconocer en qué proporción la actividad del docente afecta su aprendizaje. En el mismo sentido, se expresan Centra (1988) y Ramsden (1991) al afirmar que los estudiantes tienen derechos, han de ser escuchados y son los únicos capaces de valorar si la docencia recibida les ha facilitado el aprendizaje. Sin embargo, la literatura sugiere que esta relación es totalmente compleja.

Inmersa en esta complejidad, los investigadores argumentan que los estudiantes tienen diferentes y muy definidas visiones sobre lo que es el aprendizaje, sobre sus preferencias en los estilos de enseñanza y sobre las 123


estructuras de los cursos. Al respecto Whitely y Doyle (1976) en un estudio sobre el tema concluye, que los estudiantes tienen teorías implícitas acerca del comportamiento del instructor y que esas teorías afectan las valoraciones que ellos hacen de la instrucción. Sin embargo, Larsson (1996) expone todo lo contrario y propone que los estudiantes como individuos, son una población que tiene una idiosincrásica asunción que difiere enormemente de la percepción del grupo.

Por su parte Entwistle y Trait (1990) señalan que los estudiantes que gustan de un enfoque de aprendizaje dirigido a aprender de memoria, típicamente pueden preferir a los profesores que proveen información y diseños de evaluación alrededor de un grupo de criterios específicamente definidos. Por otra parte, Prosser y Trigwell (1990) y Gibbs (1992) aseguran que los estudiantes que adoptan un enfoque profundo y un foco más comprensivo, generalmente prefieren profesores intelectualmente cambiantes que generen en ellos diversas inquietudes, que les permitan observar la realidad desde diferentes perspectivas para crear su conocimiento, con base en una realidad cambiante, llena de formas y elementos más abstractos.

La noción de teorías implícitas de interrelación entre el instructor y su comportamiento y el efecto de similaridades semánticas de los ítems del cuestionario levantan serias dudas acerca del constructo de validez de las valoraciones de estudiantes

Las implicaciones de estas dos consideraciones, de la multitud que existen, son substanciales y no dejan de tener una influencia profunda en la valoración que hacen de la competencia docente universitaria.

124


Es obvio, que el interés por conocer la opinión de los estudiantes de la competencia docente, no es nuevo, pues desde hace mucho tiempo ha sido un tema que se ha estudiado desde diferentes perspectivas.

1.2. Un análisis retrospectivo

El interés por estudiar la visión de los alumnos, según Good y Mulryan (1990) empieza ya a finales del siglo XIX, con un trabajo pionero publicado por Kratz en 1889 con el tema “Characteristic of the Best Teachers as Recognized by Children”. Los autores, en una excelente revisión histórica sobre los cuestionarios de alumnos, citan algunas de las

escalas que se

empiezan a utilizar a principios de siglo XX, por ejemplo: Elliot (1915), Ruggs (1920), Barr (1931) y la de Boyce (1915). Sobre este mismo tema, McKeachie (1990) cita también algunos estudios de principios del siglo XX (Klaper, 1920; Seashore y otros, 1910) pero afirma que la investigación de la docencia universitaria se desarrolla hasta los años veinte.

Marsh (1987) llega a la misma conclusión, destacando que es en los años veinte cuando los programas de evaluación docente por parte de los estudiantes se incluyen formalmente en las universidades de Harvard, Washington, Purdue, Texas y otras instituciones de Educación Superior. A nuestro juicio, los autores concluyen que la evaluación de la docencia universitaria por parte de los alumnos se inicia con fuerza a partir de los años veinte, que es la época en que varias universidades de Estados Unidos la introducen de manera formal en sus actividades. No obstante, hemos encontrado discrepancias acerca de la primera escala publicada, pues Cook (1989), Marsh (1987) y McKeachie (1990) consideran que la "Pardue Rating Scale of Instruction" de Remmers, aparecida en 1926, fue el primer cuestionario de opinión de los estudiantes. 125


Good y Mulryan (1990) opone a esta afirmación, considerando que el trabajo de Elliot en 1915 es la primera de estas escalas, pues incluía 42 rasgos que fueron seleccionados de investigaciones previas y consideradas esenciales para la docencia efectiva.

Muy pronto comenzaron a aparecer otros trabajos de investigación como el Remmers (1934) o Guthrie (1954); ya a los finales de los cuarenta, Barr (1948) cita 138 trabajos sobre eficacia docente escritos entre 1905 y 1948. Posteriormente y hasta nuestros días, muchos centros e instituciones han ido elaborando sus propias escalas o adaptando otras, y muchas páginas de literatura especializada se han dedicado a su estudio y en no pocos casos a la revisión y meta-análisis de los resultados, como por ejemplo los trabajos de Cohen (1981, 1986), Abrami y otros (1989; 1990; 1997), Feldman (1989), Marsh y Dunkin (1992) entre otros.

Si hacemos una mirada retrospectiva sobre el acontecer de la evaluación docente por parte de los estudiantes, vemos que también ha existido interés por los factores o variables que puede afectarle, pues desde los años 20 se conocen trabajos pioneros como los de Remmers (1928); Brandenburg y Remmers (1927); Remmers y Brandenburg (1927). En sus estudios Remmers retoma algunos de los principales temas en el área de la evaluación de estudiantes, tales como el grado de acuerdo entre los alumnos y los colegas o la incidencia del tamaño de la clase. Por otra parte Edmonson y Mulder (1924) y Mueller (1924), compararon el rendimiento en clases de diferentes tamaños y la discusión, encontrando que existe cierta evidencia en la figura del profesor como partícipe del rendimiento del estudiante.

Centra (1993) plantea que la investigación sobre la competencia docente se puede dividir en cuatro períodos:

126


1.

El período de 1927 a 1960, fue dominado por Remmers y sus colegas de la Universidad de Pardue.

2.

Los 60 en la cual el uso de la evaluación fue enteramente voluntario.

3.

Los 70 que se llamó la “edad de oro de la investigación sobre la evaluación de estudiantes”. Durante esta década, Centra manifiesta una nueva ola de investigación que incluye estudios para demostrar la utilidad y la validez de las valoraciones de estudiantes apoyando su uso para evaluaciones formativas y sumativas.

4.

Desde los 80 hasta el presente, durante el cual siguieron clasificando y amplificando los hallazgos de investigación, incluyendo meta- análisis los cuales sintetizaban los estudios. (Centra,1993, pág. 49)

Mash y Dunkin (1992) y Marsh (2000) destacan que muchos estudios desarrollados en los años 70, tenían problemas metodológicos y aún así fueron aceptados para publicación, por tanto no pueden ser totalmente tomados en cuenta. En los 80, son pocos los que presentan ese problema, además los artículos publicados son de mejor calidad y tienen mayor aceptación en la mayoría de los “journal” más importantes. Marsh (1984) también argumenta que la validez de las evaluaciones de estudiantes ha sido suficientemente bien establecida y que en la actualidad el foco de este tipo de investigación se ha movido hacia los elementos metodológicos y hacia el estudio de las características de contexto que puedan dañar o afectar su validez de los procedimientos para la recolección de opinión de los estudiantes.

127


2.

PROCEDIMIENTOS PARA LA RECOLECCIÓN DE OPINIÓN

Las opiniones de los alumnos pueden recogerse mediante diferentes procedimientos que han sido desarrollados por los investigadores sobre el tema. El más conocido y utilizado es el cuestionario de opinión, en el que los alumnos puntúan sobre una escala de opinión diferentes realizaciones docentes del profesor en el aula; claro está, con una serie de condiciones previamente establecidas. Este tema por ser el objeto de nuestro interés lo destacaremos en los párrafos posteriores.

Otros procedimientos conocidos y también empleados a destacar en la recolección de la opinión del estudiante sobre la competencia docente universitaria son: la entrevista al estudiante y al grupo, los comentarios escritos y la recolección electrónica de información.

2.1. Las entrevistas La entrevista es uno de los métodos de recolección de opinión de estudiantes, que puede facilitar un acercamiento entre el profesor o investigador y el estudiante, dado que permite la interacción entre unos y otros. Generalmente, está dirigida tanto a la asignatura como al profesor mismo, por lo que puede abarcar sus dos finalidades: sumativa y formativa.

Dentro de este procedimiento de evaluación, tenemos: ♦ Las entrevistas de grupo, en las que en una sesión, el evaluador pregunta a los estudiantes sobre diferentes aspectos del profesor, 128


como el Small Group Instructional Diagnosis (SGID), descrito por Abbot y otros (1990). ♦ La entrevista a estudiantes descrita por George y Cowan (1999), donde un coordinador trabaja individualmente con el instructor y los estudiantes en el aula, para reunir la mayor información y luego ponderarla.

Burnett (1999) destaca que ambos procedimientos están fundamentados generalmente, en una guía elaborada específicamente para esa actividad y en la que un coordinador (un profesor, un administrador o un investigador) maneja las estrategias que se irán desarrollando durante el proceso de entrevista, generando así preguntas y recogiendo respuestas de los estudiantes. Devine (1997) y Fassinger (1997), lo explican de manera semejante, al afirmar que el coordinador es quién desarrolla la entrevista y el que decide su distribución (estructurada o semi-estructurada).

Pese a la conveniencia de interactuar, de escuchar la posición y el pensamiento reflexivo de los estudiantes, esta actividad representa un elevado coste para la institución en tiempo y servicios de especialistas. González Such (1998) advierte que esa es una de sus principales desventajas, “...ya que una entrevista suele durar entre veinte o treinta minutos y debe ser conducida por una persona diferente al profesor evaluado, bien sea otro profesor, bien otra persona convenientemente preparada...” (pág. 59)

2.2. Los comentarios escritos Los comentarios escritos y cuestionarios abiertos también se emplean para la evaluación de la competencia docente en las universidades. Son una ruta más libre para aportar la visión u opinión del estudiante sobre la acción del 129


profesor en el aula, sobre lo que él desde su experiencia de aprendizaje considera que le ha ayudado o servido de su interacción con el docente universitario.

En estos procedimientos se pregunta a los estudiantes una serie de cuestiones abiertas sobre el profesor y el estudiante escribe o plantea aquellos aspectos que considera deficientes o acertados de la acción del profesor en el aula.

Tuckman y Oliver (1968) creen que este método ofrece una excelente información diagnóstica, porque logra reunir el pensamiento o la opinión de los estudiantes, sin consideraciones a priori, de ningún tipo, que puedan afectar al pensamiento del alumno.

Dada la dificultad de análisis de estos datos, se suelen entregar al profesor los cuestionarios escritos sin analizarlos, para que éste proceda a estudiarlos y le sean útiles a nivel formativo.

Los autores piensan que es muy difícil su catalogación posterior por el amplio campo que abarcan, por eso su uso individual no es frecuente y suelen más bien acompañar a los otros procedimientos de evaluación.

2.3. La recolección electrónica

Últimamente

se

está

imponiendo

en

muchas

universidades

norteamericanas la recolección electrónica de información, mediante la utilización de Internet, como un recurso para reducir costos, en tiempo y en materiales de los estudiantes, profesores e institución, trasladando éstos a los usuarios. Al respecto Miller (1987) considera que la encuesta tradicional 130


consume tiempo y dinero tanto de la administración universitaria como de todos los involucrados. Los administradores consumen tiempo en la coordinación y distribución de los

formularios entre los estudiantes, los

estudiantes pierden tiempo al rellenarlas y los profesores han de perder tiempo de clase. Además, el proceso de introducción de los datos en la lectora óptica y luego el análisis de esos datos consumen muchas semanas de trabajo, antes de tener algún resultado y de que los profesores reciban la retroalimentación. Por el contrario, la encuesta electrónica está disponible en línea para todos, los datos pueden ser procesados de inmediato y de esa manera cualquier usuario puede utilizar inmediatamente su información.

Por su parte Benson y Lewis (1994); Braskamp (1984); Miller (1987) y Seldin (1984) destacan una serie de problemas que tienen los procedimientos tradicionales y que se han hecho más evidentes a medida que se incrementa el uso de las encuestas tradicionales para la promoción de los profesores universitarios. Los autores hacen referencia a que, con frecuencia, no existe ninguna garantía de que los resultados no hayan sido alterados de alguna manera o que no hayan sido visto antes por los profesores. De manera similar se expresa Ory (1990) al reportar que durante 20 años en la administración de este procedimiento, encontró que existen una serie de violaciones de la integridad en el procedimiento tradicional. Es más, algunos formularios son rellenados con prisa debido al interés de los profesores o estudiantes por continuar la clase. Otras veces, los estudiantes que faltaron a clase ese día, no tienen otra oportunidad de evaluar a su profesor. Estas situaciones pueden producir pequeñas diferencias en los puntajes que reciban los profesores. No obstante, en la encuesta electrónica no existen estos problemas y a diferencia de la tradicional, puede ser completada por el estudiante varias veces durante un período de tiempo.

131


La encuesta electrónica es uno de los más recientes avances tecnológicos en el área de la investigación por encuestas, aunque su uso no está muy extendido. Layne (1999) considera que éste método reciente es justo para la recolección de datos, por ello varias agencias de gobierno e instituciones de educación superior han investigado sus implicaciones en una variedad de áreas. De las áreas en las que se ha utilizado, Sproull y Kiesler (1991) manifiestan que destacan: la evaluación de personal, las tutorías, en la guía de cuidados psiquiátricos y en el diagnostico médico. Centra (1987) también utilizó este procedimiento para investigar la competencia docente, como un método en la evaluación formativa de los profesores.

Seldin (1999) destaca que en este procedimiento el miembro de la comunidad universitaria que quiera evaluar a un profesor universitario introduce su código de acceso al archivo, con ello obtiene el permiso respectivo para recibir y enviar las respuestas de un cuestionario que previamente se ha establecido para tal efecto.

Todo pone en evidencia que la institución reduce costos con la introducción de la recolección electrónica, pero pierde según González Such (1998), el supuesto de una de las presunciones de este tipo de evaluación: el anonimato. Aunque parece ser, que la identidad del estudiante no llega nunca al profesor. Lo que sí está claro, es que este tipo de evaluaciones supone una ventaja para la institución, el profesor y el estudiante, al ahorrar tiempo en tener que dedicar horas de clase para la evaluación, pudiéndola realizar desde casa o desde cualquier otro sitio fuera del salón de clases. Layne (1999) considera que la encuesta electrónica es legítimamente anónima, por tanto los administradores institucionales han de garantizar a los estudiantes la confidencialidad de estos datos, como le garantizan la de su expediente académico. El autor recomienda la implementación de este tipo de encuestas en el campo no experimental. 132


No obstante, Ory (1990) señala que aunque la computación ha tenido un fuerte impacto en nuestra cultura, en términos de administración de procedimientos, los avances tecnológicos no han tenido mucho impacto en las evaluaciones de estudiantes de los profesores universitarios, dado que se continúan aplicando los procedimientos tradicionales de visita al salón de clase con un formulario de opinión y el estudiante rellena el mismo; de esa manera el profesor queda evaluado.

El uso de este procedimiento de evaluación supone una serie de inconvenientes y ventajas. Un inconveniente que resaltan los autores, es que los estudiantes han de tener acceso a los computadores y estar familiarizados con su

manejo, porque de lo contrario sería ilógico pensar en este

procedimiento de evaluación. Otro aspecto a señalar es que todavía no se han estudiado a fondo las encuestas electrónicas y que de momento algunas universidades se encuentran interesadas en el tema, pero los resultados están muy lejos de indicar diferencias claras entre un método u otro. Por ejemplo Layne, DeCristóforo y McGinty (1999) llevaron a cabo una investigación con 2453 estudiantes y 74 cursos seleccionados al azar, que representaban cinco áreas académicas (ingeniería, administración, ciencias sociales y arquitectura). Estos completaron la encuesta de opinión sobre el instructor del curso de las dos formas: la electrónica y la tradicional, de lápiz y papel. El análisis multivariado de varianza reveló que los métodos de encuesta no influyen en las valoraciones que los estudiantes hacen de sus profesores universitarios, pero el área académica si lo hace y su nivel académico. También Rosenfeld, BoothKewley, Edwards (1993) en un estudio similar también encontraron que no existe diferencia entre la electrónica y la tradicional.

Para encontrar diferencias significativas entre el procedimiento tradicional y el electrónico y para considerar a un tipo superior al otro es 133


necesario un mayor número de investigaciones sobre este campo que nos ayuden e informen sobre sus diferencias. Por eso es temprano para apuntar resultados.

Hasta aquí hemos expuesto brevemente algunos enfoques particulares sobre las formas de recopilación de la opinión de los estudiantes. A nuestro juicio, y por ser el objetivo de nuestra investigación, nos dedicaremos exclusivamente a los cuestionarios de opinión.

3.

EL CUESTIONARIO DE OPINIÓN

3.1. Su relevancia, controversia y debate

Los cuestionarios de opinión se han convertido en un recurso de información para evaluar la competencia docente desde la perspectiva de los estudiantes del curso. Braskamp y Ory (1994), Cohen (1981), Fedman (1988), Marsh (1984) y Seldin (1984) afirman que éste es el método más empleado, el que más profundamente ha sido estudiado, para conseguir información acerca de la calidad de la docencia en una institución educativa. Claro está que hoy en día, existe una emergente y gradual adopción de otros métodos tales como: el portafolios sugerido por Centra (1993), Edgerton (1991) y Seldin (1984); la autoevaluación propuesta por Paulsen y Feldman (1995); evaluación por pares y administradores expuesta por Austin (1991), Chism (1999), Mills (1999), así como el diario de estudiantes, de Wagner (1999), entre otros métodos, pero menos utilizados.

134


Los cuestionarios de evaluación disponibles para los estudiantes son una serie de ítems que consideran las características de la enseñanza eficaz, tal como la perciben los estudiantes: positiva o negativa para su aprendizaje. Para Centra (1993); Feldman (1997) y McKeachie (1990) los ítems incluyen características tales como entusiasmo, claridad de presentación, preparación, organización. También, agregan Abrami (1989), Centra (1993), Marsh (2001) y Murray (1990), el conocimiento aparente y la habilidad para estimular el interés de los estudiantes. A los estudiantes se les presentan los cuestionarios hacia el final del curso, siempre antes del examen final y éstos opinan sobre el profesor. Posteriormente, las opiniones son analizadas y el profesor queda evaluado. Claro está, advierten Goddard, Hoy y Woolfolk (2001) que en el análisis han de ser empleadas las medias globales para cada clase como un todo, y la puntuación media de una clase o clases, es la puntuación que recibe el profesor sobre su acción docente.

La aplicación de estos cuestionarios se hace de forma muy variada: desde los procedimientos informales a la utilización de cuestionarios altamente formalizados. En estos cuestionarios, cada ítem representa un atributo del profesor que el alumno debe calificar en función de la escala de puntuación (de 5, 6, 7 o 9 puntos). En algunos casos, se emplea únicamente una dimensión. En la gran mayoría, se introducen varias y el estudiante puntúa al profesor. Una gran diversidad de investigadores y prácticos como Frey, Leonard y Beatty (1975), Marsh (1987), Abrami y D’Apollonia (1991), Cashin (1992), Feldman (1997), Marsh y Roche (1993, 1997) recalcan que la enseñanza es una actividad compleja que consiste de múltiples dimensiones, por tanto su multidimensionalidad es incuestionable.

Estas encuestas de opinión de estudiantes han tomado mucha relevancia, aunque controvertida, sobre la forma en que se obtiene esa información. Nosotros consideramos que un problema inherente, fundamentado en la 135


confianza y el peso de estos cuestionarios de valoración, en la evaluación y en la mejora de la enseñanza universitaria, es la dependencia total de un solo instrumento para la evaluación de la enseñanza y del sujeto. Esta dependencia ha sido muy criticado por Ramsden y Dodds (1989) y Ramsden y Martín (1992), quienes argumentan que su uso provee una incompleta y quizás incorrecta visión del profesor, dado que los ítems de los cuestionarios que provocan las valoraciones de los estudiantes emplean un restringido rango manifiesto del comportamiento del docente, que se presume

sean las

características de eficacia docente. Al respecto, Saroyan y Amundsen (2001), refiriéndose a la conducta de la enseñanza efectiva, consideran que estos instrumentos son solo una parte, una imagen parcial de la enseñanza en un intento por evaluarla.

El modelo de competencia docente, a pesar de esos instrumentos, coincide con un origen conductual, que representa la enseñanza como una serie de acciones y de comportamientos que se supone que el profesor debe poseer o manifestar. No obstante, las recientes perspectivas teóricas de Cross (1990), Mills (1994) y Pratt (1997) proponen que la enseñanza, más que una serie de acciones manifiestas, es un complejo de actividad cognitiva que, en palabras de Shulman (1984), se describe como "un proceso intelectual e imaginativo", fuertemente influenciado por los procesos específicos de pensamiento, estudiados por Calderhead (1987), Clark y Peterson (1986) y Elbaz (1991). Por lo tanto, cualquier instrumento utilizado para evaluar y mejorar la enseñanza podría necesitar suministrar una medida de las estructuras cognitivas y afectivas que son ahora conocidas y que influencian fuertemente la práctica docente (Berliner, 1986; Calderhead, 1983; Craton, 1995; Kagan, 1990; Leinhard, 1993; Ramsden, 1992; Shulman, 1986; Sterberg y Horvath, 1995). Para superar gran parte de esos problemas, Centra (1993) y Seldin (1993) recomiendan recolectar datos de evaluación de diferentes recursos que no sean solo los estudiantes, por ejemplo: feedback de los colegas, expertos 136


educacionales, análisis del trabajo de los estudiantes y la autoevaluación reflexiva.

A nuestro juicio, otro elemento que contribuye a la controversia que ha generado este debate se centra primordialmente en las propiedades psicométricas de las encuestas que exploran temas como: a) su validez, b) fiabilidad, c) relaciones con otras variables y d) aspectos de sesgos potenciales (un resumen representativo de esta discusión se puede observar en: Abrami, d’Apollonia y Cohen 1990; Abrami 1997; Aleamori 1981, 1999; Costin, Greenough y Menges, 1971; Doyle, 1983; Cashin, 1988, 1990, 1995; Centra, 1983; Feldman, 1976, 1989, 1993; Marsh, 1993; Theall y Franklin, 1990; Greenwald y Gillmore, 1997).

En segundo lugar, el debate gira en torno a los propósitos tales como: a) diagnóstico y feedback a los profesores acerca de su eficacia y su acción, b) una medida docente para las decisiones administrativas, c) información a los estudiantes para la selección de cursos y profesores, d) para la investigación en docencia. Estos y otros elementos más son componentes que también agravan el debate sobre la aplicación de estos instrumentos en el contexto universitario.

A pesar de las inconsistencias y los temas sin resolver en la voluminosa literatura existente sobre la evaluación que hacen los estudiantes de la docencia universitaria, la mayoría de los teóricos (ver: Abrami, d'Apollonia y Cohen,1990; Cashin, 1988; Cohen, 1987; Feldman, 1989a, 1989b, 1997, 1998; Marsh,1984, 1987, 2001; Marsh y Dunkin, 1992; Marsh y Roche, 1997 y McKeachie 1979) se inclinan en diverso grado a considerar algunas conclusiones que relativamente han sido bien aceptadas por los investigadores y prácticos en el campo. Al respecto Marsh (2001, pág. 184) resume: "...las encuestas a los estudiantes son: (1) multidimensionales; (2) fiables y estables; (3) su función primaria es mostrarle al instructor como está enseñando su curso; (4) son

137

Los estudiantes evaluadores de la competencia docente universitaria relativamente válidas sobre una variedad de indicadores de eficacia docente, (5) relativamente se ven poco afectados por la cantidad de variables hipotetizadas como sesgo potencial, tal como expectativas de la nota del curso, tamaño de la clase, cantidad de trabajo e interés previo del estudiante y (6) se ha demostrado la utilidad en la mejora de la eficacia docente cuando, existe un aumento concreto de estrategias institucionales en áreas específicas para que los profesores se dirijan hacia la mejora..."

Nosotros consideramos que, a pesar de las muchas críticas, toda la investigación hecha sobre estas valoraciones de estudiantes indica que son razonablemente válidas y no se ven contaminadas en un grado apreciable por factores distintos a la misma calidad docente del profesor. Claro está que no se debe poner todo el peso de las decisiones en estas evaluaciones, dado que son solo una parte, la visión del estudiante de la competencia docente. Al respecto, Marsh (1987) destaca que siempre es necesario un enfoque más amplio de la eficacia de la docencia y las evaluaciones de los estudiantes, relacionando este enfoque con el constructo y su validación. Este pensamiento propone que la eficacia docente es multidimensional, que un solo criterio de eficacia docente no es suficiente y la interpretación tentativa de relación con validez de criterio y con sesgo potencial podría ser evaluado críticamente en diferentes contextos y en relación con múltiples criterios de eficacia docente. Fundamentado en sus investigaciones, Marsh (1987) concluye que los cuestionarios de opinión de los estudiantes son probablemente "el más grande estudio de todas las formas de evaluación personal, y una de las mejores en términos de apoyo por la investigación empírica" (p. 369). Incluso, señala García Ramos (2000), puede considerarse la vía más fiable y objetiva de las posibles que hemos nombrado anteriormente.

Consecuentemente, la evaluación hecha por los alumnos es importante porque:

a) Éste es el único que conoce su ambiente de aprendizaje, incluyendo los aspectos como, la habilidad del docente para motivar hacia el continuo aprendizaje y la calidad de compenetración entre el estudiante y su profesor. 138


b) El estudiante es el más apto evaluador de la calidad, la eficacia y la satisfacción en relación con los contenidos del curso, métodos de instrucción, libros de textos, tareas y su propio interés.

c) Esta evaluación puede ser usada por otros estudiantes para seleccionar cursos y profesores. Ello puede, según Aleamori (1981), incrementar la excelencia del profesor, la cual podría ser reconocida o premiada.

d) Según las investigaciones de Aleamoni (1981, 1998) los estudiantes pueden diferenciar claramente entre la enseñanza eficaz y otras dimensiones afectivas como aptitud, interés y amistad del profesor.

Pese a la importancia de los estudiante como evaluadores de la competencia docente universitaria, los investigadores destacan que se debe tener en cuenta la existencia de otros elementos que intervienen en el aprendizaje del alumno y que no dependen solamente del profesor, como el interés en la materia, la motivación personal, el tiempo dedicado al estudio, la inteligencia general, los recursos y otras tantas variables que influyen en el aprendizaje y deben ser tomados en cuenta al realizar y analizar la evaluación del docente. Tal como indica De la Orden (1990) la calificación que brindan los estudiantes al docente es una función de:

- Las características de los estudiantes

- Las condiciones de enseñanza (tamaño de la clase, tipo de disciplina, carácter obligatorio u optativo, ciclo, curso que imparte, etc)

139


-

Características

del

profesor

(experiencia

docente,

producción

investigadora, amplitud y profundidad de conocimientos y métodos de enseñanza)

- Personalidad.

Nosotros añadimos que los cuestionarios son ampliamente útiles como un recurso para mejorar la enseñanza. Los datos que generan sirven como una medida de la competencia docente, tal y como es percibida por los estudiantes y, a pesar de los serios defectos, son también base para hacer cambios en la práctica de la enseñanza. Según indica Escudero (1999a), la opinión de los usuarios es especialmente valiosa en aquellas decisiones de carácter formativo que le permiten al docente estudiar las demandas que se le plantean con el apoyo institucional para realizar acciones de mejora.

En nuestra opinión, este tipo de evaluación no siempre es bien acogido por aquellos profesores que se preocupan más, por las variables que han sido mencionadas como sesgo potencial o la subjetividad de los alumnos que en analizar profundamente los resultados obtenidos en dichas evaluaciones, criticando constantemente su fiabilidad y validez, aunque, ciertamente, las propiedades psicométricas de estos instrumentos han producido resultados muy consistentes, que contradicen todas las críticas que les hacen sus detractores. Para mayor profundidad sobre este debate, recomendamos la lectura de dos autores muy tratados en la literatura existente Cohen (1981, 1986) y Aleamori (1999), quienes demuestran con estudios muy profundos, la consistencia de estas investigaciones y lo poco que se ven afectadas por las variables que han sido identificadas como sesgo potencial.

140


3.2.

La incertidumbre cuestionarios?

central:

¿son

fiables

y

válidos

los

Como hemos visto en los apartados anteriores, la valoración que hacen los estudiantes de la competencia docente universitaria ha sido comúnmente empleada en la educación universitaria por los administradores, como parte del proceso de evaluación para decidir la promoción y la permanencia; por los instructores, como una ayuda para mejorar sus cursos y la enseñanza; por los estudiantes, para seleccionar los cursos y los instructores; por los investigadores, para identificar la eficacia de la enseñanza y el aprendizaje. De este generalizado uso y su importancia, una considerable cantidad de investigación ha sido destinada para estudiar sus propiedades psicométricas, relacionadas específicamente con su fiabilidad, validez y utilidad. En todo caso, la gran masa de los estudios se han dirigido específicamente a los dos primeros conceptos.

Nosotros iniciaremos deliberando sobre la fiabilidad, un elemento poco tratado en los estudios que se hacen sobre los cuestionarios de opinión y a veces hasta entrelazado con el concepto de validez, como lo veremos en los apartados posteriores.

3.2.1. La fiabilidad de los cuestionarios

Muchas de las preguntas que se hacen en torno a la fiabilidad de estas evaluaciones, preguntas hechas en términos informales y ajenos a lo que en psicometría se entiende por fiabilidad, son en realidad preguntas sobre su validez. La fiabilidad en psicometría se puede conceptualizar de distintas maneras que, a su vez, se traducen en métodos distintos de cálculo. Una 141


exposición detallada sobre los distintos métodos de cálculo, pueden consultarse en Feldman (1977), aunque resumidamente lo vimos en el apartado anterior.

Cuando hablamos en términos propios de la fiabilidad de estas evaluaciones, nos referimos, sobre todo, a los siguientes dos elementos: ♦ Hasta qué punto los alumnos son consistentes, unánimes en sus juicios cuando diferencian a unos profesores de otros. ♦ Hasta qué punto las evaluaciones de los alumnos son estables y no varían notablemente cuando pasa el tiempo, adquiriendo otra perspectiva.

Estos dos aspectos de la evaluación de la competencia docente universitaria, unanimidad y estabilidad, son considerados por Overall y Marsh (1980) en un estudio longitudinal. Los autores explican que la fiabilidad en las encuestas de estudiantes se entiende como el acuerdo relativo (unanimidad) entre valoraciones de diferentes estudiantes dentro de la misma clase, bajo la asunción de que cualquier varianza específica del estudiante individual es aleatoria y debería ser considerada como varianza de error. Cualquier varianza que es específica del estudiante individual y es estable a lo largo de un período de tiempo de varios años, separando los dos conjuntos de estas valoraciones, ello podrá ser incluido como la varianza sistemática cuando los coeficientes de estabilidad a largo plazo se basen sobre respuestas individuales de los estudiantes. No obstante, Cruse (1987) señala que los coeficientes de fiabilidad indican que los estudiantes puntúan de manera consistente, de la misma manera en ocasiones diferentes, los cuestionarios de opinión; ello no significa, que los estudiantes evalúan exactamente la docencia universitaria.

La fiabilidad de las encuestas de opinión a estudiantes se determina a partir de los resultados del análisis de ítems (correlaciones entre respuesta a 142


diferentes ítemes diseñados para medir el mismo componente de efectividad docente) y por estudios de acuerdo

con las puntuaciones de diferentes

estudiantes de la misma clase. Marsh (1987) señala que la consistencia interna es normalmente alta, aunque “proporciona una estimación inflada de la fiabilidad, porque ignora la proporción sustancial de error debida a la falta de acuerdo entre diferentes estudiantes, y por lo tanto no deberían ser usados en general” (pág. 275); quizá puede ser apropiado utilizarlas para determinar hasta qué punto las correlaciones entre facetas múltiples se han hecho tan grandes que las facetas separadas no pueden ser distinguidas, como en el procedimiento multirasgo multimétodo. El mismo autor considera que una de las medidas a utilizar, es la fiabilidad de la respuesta media de clase basada en el acuerdo entre los estudiantes de la misma clase. Feldman (1977) considera que otra forma de determinar la fiabilidad es la correlación interclases.

3.2.1.1. La unanimidad

Según algunos autores, el enfoque más común cuando se habla de fiabilidad, se refiere a unanimidad, que, en su concepción más simple, se refiere al grado de unanimidad de los alumnos al clasificar a los profesores en un ítem cualquiera. Por lo tanto, la fiabilidad puede calcularse en cualquier ítem (o en cualquier factor) y no globalmente en todo el cuestionario como si se tratara de un test convencional.

Nótese que lo anterior considera que hay fiabilidad si las diferencias se deben fundamentalmente a que los profesores son distintos y

así son

percibidos por los alumnos, y no a que los alumnos son distintos en su manera de evaluar. Un ítem o factor será fiable si existe un grado de acuerdo entre los estudiantes al evaluar un profesor, si los ítems ordenan a los profesores de manera semejante. 143


Villa y Morales (1993) considera que operacionalmente se trata de los coeficientes de correlación denominados intra – clase, relacionados con el análisis de varianza y con el coeficiente de fiabilidad de Cronbach que se utiliza comúnmente en los test. Estos coeficientes oscilantes de 0 a 1, y la magnitud de estos depende, fundamentalmente, del número de alumnos que responden en cada clase. Los autores señalan que una observación importante es que no va a haber fiabilidad detectable si no hay diferencias entre los profesores: no se puede clasificar bien a los que son semejantes, por eso, estos cálculos requieren disponer, por lo menos, de más de tres profesores. Normalmente, hay muchos más.

En un estudio muy interesante, relacionado con la fiabilidad y el número de estudiantes, Marsh (1982) encuentra que la fiabilidad media está en torno a 0.90, cuando son unos 25 estudiantes los que responden a los cuestionarios de evaluación del profesor y, cuando son 10 estudiantes los que responden, la fiabilidad baja a 0.74. El grado de unanimidad presenta un elevado nivel en cuanto a la consistencia interna de las escalas, entre sujetos, diferentes momentos del curso y diferentes cursos de la misma tipología. Lo anterior indica que entre los alumnos predomina la unanimidad frente a la divergencia, cuando se trata de evaluar a sus profesores. En otras palabras, los estudiantes tienen opiniones unánimes o similares, en torno a lo que ellos en grupo consideran que debe ser la docencia universitaria y pueden unánimemente dirigirse con similar opinión a aquellos aspectos considerados eficientes o deficientes del profesor universitario. Esto supone que el mayor grado unanimidad entre los estudiantes determina la fiabilidad.

144

Los estudiantes evaluadores de la competencia docente universitaria 3.2.1.2. La estabilidad

La estabilidad de las encuestas de estudiantes ha sido comprobada a través del tiempo, cuando se evalúa la instrucción con el mismo estudiante o para evaluar al mismo profesor en dos segmentos separados por el tiempo. Este tipo de estudios se diferencian por el tiempo trascurrido entre

dos

aplicaciones, variando la aplicación, ya sea a mitad y en el final del curso o, en ocasiones, pueden transcurrir meses e incluso años entre las dos aplicaciones. Claro está, que las condiciones ideales de este tipo de investigación radica en comparar las puntuaciones dadas por los mismo sujetos años después de haber evaluado a un profesor determinado con un diseño longitudinal. Otros estudios realizan estudios de estabilidad de las valoraciones con un diseño transversal, comparando las puntuaciones de estudiantes actuales con un grupo de exalumnos asumiendo que son similares. Según Guthrie (1954) la evidencia sobre la estabilidad de la clase para valorar al docente data de 1924, aunque para Albanese (1991), Hativa (1996) y Palchik (1988) los datos son más recientes.

Una de las críticas que enfrenta a estos estudios es que no es fácil decidir quiénes son los evaluadores más importantes, si los antiguos alumnos o los nuevos. La visión de los antiguos alumnos ofrece una perspectiva que permite diferenciar si recibieron una enseñanza eficaz cuando más adelante en el tiempo han tenido que llevarla a la práctica, esto podría crear diferencias sistemáticas de juicios con respecto a los que están cursando estudios. El problema de la muestra es quizá el componente de hecho, más complejo de los estudios longitudinales, pues el anonimato es siempre indispensable.

Independientemente de lo que aporten los estudios empíricos, se puede afirmar que las evaluaciones de los actuales alumnos son importantes porque son los beneficiarios inmediatos de la enseñanza y el cómo ven a sus 145


profesores puede condicionar la eficacia de la enseñanza. Las evaluaciones de los antiguos alumnos, desde su nueva perspectiva, son también importantes, coincidan o no con la evaluación de los actuales alumnos.

Analizando algunos resultados de los estudios sobre la estabilidad de la clase, observamos que la evaluación del profesor hecha por los estudiantes es estable en considerables períodos de tiempo. Los estudiantes mantienen su opinión del profesor aún después de muchos años de haber concluido sus estudios. Carson (1999), en un estudio longitudinal desarrollado entre 19641999, advierte que los estudiantes recuerdan muy bien a sus malos profesores. Marsh y Overall (1981) encontraron una estabilidad media de r = 0.83 entre 100 cursos estudiados a intervalo de un año, lo que es un resultado notablemente alto. McKeachie (1987) examinó que las opiniones de estudiantes correlacionan alto (r=0.94) después de un año o más. La estabilidad de las valoraciones de estudiantes de un año al otro, han resultado en una substancial correlación de 0.87 a 0.89. Otra literatura, citada por Costin, Greenough y Menges (1971), y los estudios de Gillmore (1973) y Hogan (1973) indican que la correlación entre las valoraciones de los estudiantes de un mismo instructor y el grado del curso es alrededor de 0.79 y 0.87. En estudios anteriores sobre el tema, Drucker y Remmers (1951) encontraron que los alumnos que habían permanecido fuera de la institución por cinco o diez años, promediaban al profesor de la misma manera que cuando eran estudiantes corrientemente matriculados en sus cursos.

En otros estudios, de autores tan relevantes como Aleamori y Yimer (1974), Marsh (1977), Marsh y Overall (1979), McKeachie, Lin y Mendelson (1978) se determina que substancialmente éstos han

hallado las mismas

conclusiones que los primeros trabajos sobre el tema. Hativa y Raviv (1993) en un estudio similar concluyen que el mismo curso ofrecido por el mismo profesor, en diferentes semestres, es relativamente estable, a menos que se 146


realice una intervención instruccional específica donde sea implantada una estrategia educativa.

La estabilidad de las respuestas de las encuestas de estudiantes ha sido investigada para determinar la influencia de las modas de los estudiantes u otros efecto posibles. Las encuestas dadas por el mismo número de estudiantes en un período corto de tiempo, según Costin (1968) y Centra (1972), producen resultados altamente estables. Overall y Marsh (1980) recogieron las opiniones medias cinco semanas después de haber concluido el curso y correlacionaban en un

0.77. Un año después, aplicaron nuevamente el instrumento a los

mismos estudiantes y de igual forma correlacionaban significativamente. Marsh (1992b) encuentra que hay un perfil de valoración estable a lo largo del tiempo para los profesores y las puntuaciones medias de los mismos profesores evaluados consistentemente no mostraron cambios sistemáticos.

Nosotros consideramos que por lo menos en estos estudios empíricos, se apoya la impresión de que los alumnos dicen después (con los años o meses) más o menos lo mismo que decían antes. Este hecho resalta la estabilidad de las encuestas de estudiantes. Aunque con el tiempo

se puede valorar de

manera distinta a los mismos profesores, también es experiencia común que en las evaluaciones informales y retrospectivas que muchos antiguos alumnos hacen de sus profesores siguen diferenciándoles de manera semejante cuando eran actuales alumnos, y los mejores y los peores profesores, en unos aspectos u otros, siguen siendo los mismos.

Evidentemente, no se trata de verdades absolutas y sin matices, pero, en la práctica, las evaluaciones longitudinales nos han demostrado, con resultados más o menos satisfactorios, que las evaluaciones son completamente estables a lo largo del tiempo, y sugieren, como una perspectiva añadida que no altera las puntuaciones dadas al final de la asignatura. Drucker y Remmers (1950), 147


Centra (1979) y Marsh y Overall (1981) concluyen que las puntuaciones que los profesores reciben están generalmente correlacionadas en un período de tiempo.

Hemos visto que las valoraciones de estudiantes son unánimes y estables, lo que demuestra en algún grado su fiabilidad. No obstante, a veces se entiende por fiabilidad la coherencia entre diversos evaluadores, ya sean colegas, directores o alumnos, pero esta coherencia ha de concebirse como una prueba de validez convergente o confirmación de que estas evaluaciones reflejan la calidad docente. Ciertamente la validez de este tipo de cuestionarios, es más difícil de comprobar que su fiabilidad, dado que es un tema complejo y controvertido.

3.2.2. La validez en los cuestionarios una operación complicada

La validez y fiabilidad de los SET7 ha sido muy estudiada y suficientemente bien establecida por una gran cantidad de investigadores educativos desde hace más de 25 años, quienes han utilizado diferentes procedimientos y variables para ello. Este hecho ha generado una literatura muy amplia y extensa (ver: Marsh, 1984, 2001; Arubayi, 1987; Centra, 1993; Worthington, 2002; García Ramos, 1997; Craton y Smith, 1990; Abrami, 1990, 1997; Ting, 2000; Howell y Symbaluk, 2001; Wilkerson, Rogers y Maughan, 2000; Henson, Kogan y Vacha Haase, 2001).

La literatura sobre la validez de los cuestionarios para evaluar la competencia docente ha originado muy diversas opiniones sobre el tema variando persistentemente unas de otras y logrando confundir más que aclarar. Murray (1984), Wilson, Lizzio y Ramsden (1997), Feldman (1997), Marsh y 7

Siglas en inglés para Students Evaluation of Teaching

148


Dunkin (1992) y Marsh (2001, 1987) demuestran en sus estudios que la validez de los cuestionarios de opinión de estudiantes es multidimensional, fiable, estable, razonablemente válida con respecto a una gran variedad de indicadores de eficacia docente. Por el contrario, Miller (1984), Shadish (1998), Gordon (1980), Weinbach (1988), Hepworth y Oviatt (1985) y Peterson (1984),

cuestionan la validez indicando que los cuestionarios

presentan muy poca o que no tienen del todo, por tanto no deben ser utilizadas para tomar decisiones sobre el empleo de los docentes. Miller (1987) profundiza más en el discurso al aseverar que, aunque la literatura sobre evaluación docente es extensa, en muchas ocasiones su nivel conceptual y metodológico es muy mediocre. Otros mantienen una posición intermedia como Gillmore (1984), Greenwald y Gillmore (1997), Franklin y Theall (1996) expresando que las encuestas de opinión de los estudiantes son generalmente fiables y los indicadores de efectividad docente son válidos, aunque es necesaria una evaluación adicional independiente.

Greenwald (1997b) realizó una investigación con las bases electrónicas ERIC y psycINFO8, sobre evaluación de estudiantes de la docencia universitaria y encontró que el tópico de la validez en los rating ha sido objeto de mucha investigación hasta principios de los años 80, época en que decae un poco el interés por este tema y cambia el rumbo hacia otro tópico: las fuentes de sesgo. En su investigación señala que el mayor esfuerzo por destacar la validez de las encuestas de estudiantes se desarrolló entre 1976 y 1980, a partir de esa época los estudios de validez decaen paulatinamente hasta disminuir en los años 90. De este hecho parece inferirse que las primeras contribuciones resolvieron el principal asunto: la validez.

8

Ver ERIC 1966-1997 y psycINFO 1967-1997

149


3.2.2.1. Los años 70 y la nota final

Esta época se destaca por una amplia variedad de temas de estudio, sin embargo el que más preocupa es el sesgo producido por la nota final. Snyder y Clare (1976) destacan que las valoraciones de estudiantes están sesgada por la nota que da el profesor a los estudiantes, si los profesores asignan buenas notas los estudiantes valorarán mejor al profesor. Refiriéndose a lo anterior Worthington y Wong (1979) se expresan de manera similar al advertir que, los hallazgos reportados sugieren que la validez de estudiantes está cuestionada seriamente, dado que un profesor puede recibir mejor valoración si mejora la nota de sus alumnos.

Durante estos años se realizaron una serie de trabajos experimentales que trataron de demostrar el sesgo que se presentaba en las encuestas de estudiantes al introducir la variable de nota, la metodología según Chacko (1983), Holmes (1972), Powell (1977), Vasta y Sarmiento (1979) y Worthington y Wong (1979) era manipular la nota del estudiante hacia arriba o hacia abajo, según el objetivo del experimento, para observar el grado de influencia que tenía en la valoración que hacían los estudiantes de su profesor. No obstante, algunos autores como Abrami, Dickens, Perry y Leventahl (1980); Marsh (1987) y Marsh y Dunkin (1992) consideran que estos experimentos y sus resultados no deben ser tomados muy en cuenta debido a que metodológicamente estaban defectuosos y aún así fueron publicados. Recientemente Greewald (1997b) en un estudio de las encuestas destaca que esos estudios tienen una media muy alta lo que puede afectar consecuentemente a la valoración de la clase. La hipótesis de que la nota afectaba las valoraciones fue apoyada por todas las investigaciones experimentales que se realizaron en esos años. 150


3.2.2.2. Los 80 el uso de otras técnicas

En esta época los estudios e investigaciones trataron de determinar la validez de constructo, suministrando tres tipos de evidencia: los estudios multisección, los path análisis y los estudios multirasgo - multimétodo.

El primero de ellos, los estudios multisección es quizás el mejor y mayor grupo de todos los estudios de validez de constructo y se refieren

a la

multisección de un mismo curso en el cual participaron varios profesores, utilizando como criterio de rendimiento un examen. Los investigadores correlacionan la media de la valoración del estudiante y la media de logro de un curso Universitario. Una correlación positiva y significativa es tomada como evidencia de la validez de las encuestas de estudiantes. Los estudios han demostrado que las diferencias en el logro de los estudiantes que fueron atendidos en un mismo curso por diferentes profesores se reflejan en las valoraciones que ellos hacen de su profesor.

Estos resultados han sido muy analizados en varios meta-análisis, no obstante no se llega a un acuerdo relacionado con la validez de las encuestas de estudiantes, aunque ciertamente se han logrado una modesta validez convergente. Al respecto Abrami, Cohen y d’Apollonia (1988) y d’Apollonia y Abrami (1997) destacan que las correlaciones entre los exámenes como medidas del logro de los estudiantes tiene una media de .40. Marsh y Dunkin (1992) refiriéndose a este índice advierten que esta correlación puede estar afectada por la variable motivación en las diferentes secciones o por el grado de satisfacción con la nota.

Si revisamos la literatura sobre el tema, podemos ver que existen varias publicaciones sobre los estudios multisección ( ver: Abrami, 1984; Cohen, 151


1981; 1982, 1983; Dowell y Neal, 1982; McCallum, 1984) que han marcado una diferencia acerca de la validez de las valoraciones de estudiantes. Por un lado Cohen (1981) señala que “existe un fuerte apoyo a la validez de las valoraciones de estudiantes como medidas de la eficacia docente” (p. 300), por otra parte Dowell y Neal (1982) tienen sus dudas al expresar que “los estimados de validez de las valoraciones de estudiantes no convencen” (p.52). Sin embargo, McCallun (1984) concluye que los resultados de las encuestas son homogéneos. De todas maneras las conclusiones de las publicaciones sobre multisección han sido muy dispares, Abrami (1990) citando a Rodin y Rodin (1972) y Centra (1977) manifiestan que los primeros encontraron una fuerte y negativa correlación (-.75) entre las valoraciones y el logro, mientras que el segundo reportó una fuerte y positiva correlación (+.92) en sus estudios.

Greewald (1997b) destaca que los estudios de validez multisección a favor de la validez de constructo de las valoraciones de estudiantes, se apoyan en la interpretación de las correlaciones observadas entre la notas y estas valoraciones en términos de efectos paralelos de terceras variables. Para el autor, si la nota correlaciona con la evaluación es fundamentalmente porque los buenos profesores generan altas notas y altas valoraciones, lo cual es válido.

El segundo grupo, los Path análisis también explora la validez de constructo sobre la idea de una tercera variable, se puede explicar la correlación entre la nota esperada y las valoraciones, pero considerando terceras variables. Howard y Maxwell (1980) realizaron un estudio en este sentido midiendo el grado de motivación del estudiante y concluyeron que “la relación entre la nota y la satisfacción del estudiante puede ser vista como un resultado de causa importante en la relaciones entre otras variables, por ejemplo, como evidencia de contaminación del grado de indulgencia” (pág. 810). En otro ejemplo similar Marsh (1980) destaca: 152


“...los path análisis han demostrado que los estudiantes como sujeto principal de interés tienen un fuerte impacto en las valoraciones de estudiantes y ... también cuentan como una tercera parte de la relación entre la esperanza de nota y las valoraciones de estudiantes...la nota esperada es vista como sesgo – aunque pequeño- en las valoraciones

y esta interpretación está abierta a las

interpretaciones alternativas”.

Con el desarrollo de los modernos métodos de análisis estadístico como LISREL, EQS y AMOS, para estudiar las relaciones causales entre las variables se abre toda una gama de posibilidades para explorar la eficacia docente. Aunque ciertamente,

no hemos encontrado mucha literatura en

análisis de este tipo.

El tercer grupo para estudiar la validez de las encuestas de estudiantes lo ha sido los estudios multirasgo - multimétodo. Esta técnica fue desarrollada por Campbell y Fiske (1959) como un medio para obtener índices acerca de la validez convergente y validez discriminante. El modelo se basa, según López Feal (1986) en la diferencia entre rasgo como atributo, característica o propiedad mensurable y método como forma de aproximación a la medida del rasgo.

Los estudios multirasgo – multimétodo en la investigación sobre la competencia docente se han utilizado para demostrar que la valoración de los estudiantes tiene validez convergente y discriminante. En este sentido los autores como Feldman, Stumpf y Aguanno (1979), Howard, Caonway y Maxwell (1985), Marsh (1982) y García Ramos (1999a) han tratado de demostrar que las encuestas correlacionan: a) bien con las medidas basadas en otros métodos de evaluación

del constructo de la calidad docente y b)

relativamente menos bien con medidas de otros constructos. Estos estudios 153


han demostrado la validez convergente y discriminante de las encuestas. No obstante, Marsh (1987) y Howard, Conway y Maxwell (1985) señalan que el diseño de estas investigaciones requiere de un gran control de las amenazas a la validez interna, externa y a ambas. Específicamente el diseño puede presentar amenazas a la validez interna y controlar los atributos de lo que significa las diferencias de clase en las valoraciones de las medidas de criterio del instructor, y no para características extrañas tales como estudiantes, cursos y variables de contexto.

Por otra parte Greenwlad (1997b) destaca que ninguno de los estudios ha considerado la expectativa de nota como un recurso de contaminación. Sobre este tema McKeachie (1979) destaca que la mayoría de los factores que pueden invalidar las valoraciones de estudiantes tienen efecto muy pequeños. De la misma forma se expresa Marsh (1984, 1997, 2001) quién manifiesta que es posible que el grado de indulgencia produzca un efecto de sesgo, pero el apoyo empírico a esta idea es débil y pequeño. Cashin (1995) termina diciendo que las valoraciones de estudiantes tienden a ser estadísticamente fiables y válidas y relativamente libres de sesgo.

Greenwlad (1997b) concluye que el mayor problema sobre la validez de las valoraciones de estudiantes de la competencia docente fue resuelto en los años 70 y 80, aunque el debate continua.

154


3.2.2.3. Nuevas perspectivas

Actualmente se toma en cuenta más de un tipo de validez y cada una tiene un fuerte enfoque que marca la diferencia. Por ejemplo Marsh y Roche (1997) centran su trabajo en la estructura conceptual de las valoraciones. Su principal punto de vista es analizar la eficacia docente como un constructo multidimensional. Por tanto, los autores tienden a utilizar la medida de las valoraciones para capturar la amplitud de esas dimensiones. D’Apollonia y Abrami (1997) destacan la validez convergente como el foco principal de su trabajo. De su revisión de la literatura sobre validez multisección, los autores concluyen que las valoraciones presentan correlaciones substanciales entre el logro de los estudiantes y el examen como medida de rendimiento. Greenwald y Gillmore (1997) concentran su trabajo en la validez discriminante, analizando las regularidades observadas entre la correlación de la nota esperada y las valoraciones desde múltiples teorías y perspectivas estadísticas. Los autores concluyen que la más fuerte contribución de la correlación entre la nota y la valoración de estudiantes es imperceptible (aunque estadísticamente correcta). McKeachie (1997) está a favor de la validez convergente y discriminante de las valoraciones de estudiantes pero, sin embargo, su idea es que no deben ser empleadas en muchos grupos. Un resumen de la posición de los diferentes autores se puede observar en la siguiente tabla.

155


TABLA N°6 AUTORES Y POSICIONES TEÓRICAS RELACIONADA CON LA VALIDEZ

Autor

Marsh y Roche (1997)

D’Apollonnia y Abrami (1997)

Greewald y Gillmore (1997)

McKeachie (1997)

Estructura conceptual

Validez convergente

La eficacia docente es conceptual y empíricamente multidimensional. Su validez y particularmente su uso como feedback son socavados por la ignorancia de su multidimensionalidad.

Las diferentes dimensiones de estas encuestas están consistentemente relacionadas con los criterios conocidos de eficacia docente. Ello apoya la validez de constructo.

Aunque la enseñanza es multidimensional las valoraciones de estudiantes contienen un gran factor global.

Las valoraciones globales de los estudiantes están moderadamente correlacionadas con lo que el profesor produce y el aprendizaje de los estudiantes

Validez discriminante

Validez consiguiente 9

Estas valoraciones no se ven afectadas por el sesgo. El sesgo ha sido mal interpretado.

La multidimensionalidad se ve fortalecida por la consulta. La mejora de la eficacia docente es el más importante propósito de las encuestas. Su uso para decisiones personales, podría ser más informativo y sistemático

Existe una pequeña evidencia de sesgo, aunque pocas de esas características conocidas afectan las valoraciones.

Las valoraciones proveen una información válida de la eficacia docente. Sin embargo, no pueden ser el único recurso de información.

La búsqueda de altas valoraciones está inducida sutilmente por la nota o por la reducción de los contenidos académicos del curso.

Éstas contribuyen a juzgar la eficacia docente, pero su uso debe estar dirigido hacia la mejora.

Las evaluaciones de estudiantes están dominadas por un factor global evaluativo y muchos de los ítems detectan sólo este factor.

Las medidas de las valoraciones presentan moderada correlación con el logro en los diseños multisección

El mismo instructor puede tener altas valoraciones si brinda altas notas o enseña en clases con pocos alumnos. Los valoraciones aumentan con un estilo entusiasta del profesor

Hay un factor “g” en las valoraciones, pero este es también discriminante de viejos y bajos factores

Las valoraciones de estudiantes son validas, aunque son medidas imperfectas de la eficacia docente

Se ven influenciadas por otras variables que están relacionada con el contexto.

Greenwald (1997), pág. 1185.

Como se ha visto la investigación sobre la evaluación de estudiantes ha sido conducida en muchas perspectivas. Algunos de los estudios como los de Barnes y Barnes (1993), Hativa (1996) y Marsh y Overall, (1981)

han

evaluado su fiabilidad y validez a través del tiempo, de los cursos y de los instructores. Otros estudios han evaluado la validez concurrente de las valoraciones de estudiantes correlacionando ésta con otros supuestos criterios

9

Se refiere al uso que se le da a las valoración y si éstas benefician el sistema educativo.

156


de medida, con el fin de

contabilizar la varianza con

el constructo

multidimensional del rendimiento de clase. Los criterios que los investigadores han encontrado que correlacionan substancialmente con las valoraciones de estudiantes de su profesor incluyen: estudiantes antiguos, colegas, evaluadores externos y administradores. Feldman (1989), investigó que el criterio que correlaciona menos con estas evaluaciones son la productividad investigadora del profesor (Noser, 1996) y el logro de los estudiantes (Koon y Murray, 1995).

Más allá de los elementos puramente psicométricos relacionados con la fiabilidad y la validez de este tipo de evaluación, los investigadores han examinado también el nivel y el diseño de estas evaluaciones. Los estudios relacionados con el nivel sugieren que este tipo de valoración varía, según Hativa y Raviv (1993) y Wigington (1989) según con el tamaño de la clase, el formato de la clase y el nivel de estudios. Broder y Dorfman (1994) que estudian el diseño,

indican que los mismos estudiantes pueden exhibir

diferentes patrones de valoraciones de un mismo profesor, dependiendo de sus diferentes necesidades.

Para Braskamp y Ory (1984) los diversos estudios sobre la validez de los cuestionarios de opinión de los estudiantes de la competencia docente universitaria apuntan hacia dos rumbos muy delimitados:

1.- Analizar la medida en que factores extraños pueden sesgar las valoraciones de los estudiantes.

2.- Estudios correlacionales entre las valoraciones de los estudiantes y otras medidas consideradas indicadores reales de la efectividad docente.

157


Estos dos factores han sido objeto de mucha investigación, crítica y resultados dispares, que intentaremos condensar en los siguientes párrafos.

3.2.2.4. Fuentes de sesgo

Respecto a la primera línea de investigación, existen una serie de elementos que relacionan el contexto de los involucrados con la evaluación de los estudiantes y destacan las variables que atañen a los diferentes implicados. Wachtel (1998) considera que en los últimos años, el foco de atención de las investigaciones se ha desplazado hacia "el interés metodológico de las características específicas de contexto que puedan dañar la validez" (pág.192) de estas evaluaciones. Esto se refiere a la posibilidad de que las características de contexto (factores que nada tienen que ver con las características de eficacia docente) puedan sesgar las valoraciones de los estudiantes. De manera semejante expresa Worthington (2002)

al considerar que la validez y

fiabilidad de estas evaluaciones se ve afectada por las variables del contexto. Ting (2001) por su parte, reconoce que existen tres determinantes fundamentales que afectan estas valoraciones: el curso, el estudiante y el profesor.

Relacionado con las características de contexto Feldman (1978) Chen y Hoshower (1998) y Wachtel (1998) han estudiado y analizado las particularidades de la administración de la evaluación de la competencia docente por parte de los estudiantes. Si observamos los escritos de Feldman (1977, 1978, 1979) podemos conocer cómo el tiempo, el propósito de la evaluación, el anonimato y la presencia del instructor en clase pueden posiblemente influenciar los resultados de la evaluación y en alguna manera crear sesgo. Marsh y Dunkin (1992), Braskamp y Ory (1994) y Anderson y 158


Siegfried (1997) postulan que las influencias en la evaluación de los estudiantes del profesor están relacionadas con las características del curso. En la actualidad, está muy difundido y se reconoce el impacto que tiene de la electividad del curso (si es obligatorio o no), el nivel, el área de conocimiento y la cantidad de trabajo, entre otros elementos. Anderson y Siegfried (1997) y Wachtel (1997), entre muchos otros10, estipulan que la validez de estas evaluaciones tienen relación con las características del instructor. Esas características incluyen entre otras: el rango, la experiencia, la reputación, las habilidades de investigación, el género y la apariencia física.

Koermer y Petelle (1991), Tatro (1995), Chen y Hoshower (1998) han analizado los factores relacionados con las características de los estudiantes11 e hipotetizan que el interés del estudiante, el género, su expectativa de nota, su edad tienen una influencia que puede sesgar la evaluación que ellos hacen de la competencia docente universitaria.

Cuando examinamos la investigación existente asociada al sesgo en la evaluación de los estudiantes de la docencia universitaria, se observa que existen una gran cantidad de puntos emergentes. Si bien algunas de esas característica como la administración de la evaluación, el instructor y el curso han sido extensivamente estudiadas, poca atención se ha puesto para medir cuál es el recurso de sesgo más importante.

10

Ver por ejemplo los textos clásicos de: Centra y Creech, 1976; Feldman, 1983; Hamilton, 1980; Mash, 1980, 1987; Perry, Abrami y Leventhal 1979; Erdle, Murray y Rushton, 1985; Greenwald y Gillmore, 1997; Powell, 1978, 1977; Elmore y Pohlmann, 1978 11 A manera de ejemplo ver también: Marsh 2001; Zoller, 1992; Perry, 1990; Kember, 1994; Dowd, 1988; Sherman y Blackburn, 1975; Marsh y Ware, 1982; Abrami, Leventhal y Perry, 1982; Braskamp, Ory y Pieper, 1981.

159


Evidentemente, aunque algunos estudios se han empezado a realizar en otros países, como el Reino Unido, España, Australia o Hong Kong, el grueso de las investigaciones realizadas han sido efectuadas exclusivamente en Estados Unidos y Canadá. Un ejemplo de esos trabajos recientes incluye a Tatro (1995), Anderson y Siegfried (1997), Chen y Hoshower (1998) y Ting (2001). Algunos otros estudios como los de Casey (1997) y Timpson y Anderson (1997)

sobre el proceso de evaluación en Australia, no se ha

trabajado el sesgo en las evaluaciones de estudiantes de la competencia docente. Aunque ciertamente pueden existir algunas diferencias significativas entre los docentes de otros países y USA, actualmente no se cuenta con estándares de comparación. A pesar de esto Marsh (1994, 1992, 1988, 1981, 1985, 1997) con la colaboración de otros investigadores, han intentado consolidar la aplicación del instrumento SEEQ, en diferentes países con resultados muy halagadores.

Hemos observado que la mayoría de los trabajos existentes no se han centrado en los atributos del contexto de la docencia universitaria, lo cual es un componente muy importante porque el objeto o la disciplina específica de análisis puede suministrar una gran certeza empírica en el rol del contexto de las características de la evaluación de la competencia docente universitaria.

Así mismo, otras variables de contexto como la edad de los estudiantes, el nivel del curso, tamaño de la clase, interés previo de los estudiantes, todavía aún no han sido suficientemente investigadas en el entorno de los cuestionarios de opinión de los estudiantes.

Las variables relacionadas con el comportamiento del profesor y su grado de benevolencia, han recibido la mayor atención por parte de los investigadores, debido principalmente a la consideración que ésta es una fuente importante de sesgo. Usando un ejemplo con estudiantes de U.S.A, Greenwald 160


y Gillmore (1997) demostraron que la calificación benevolente tenía una relación muy fuerte con las valoraciones que hacen los estudiantes de su profesores. Por su parte, Fernández, Mateo y Muñíz (1998) analizan el efecto de la administración del curso, encontrando una débil relación entre el tamaño de la clase y las valoraciones de los estudiantes. Ellos concluyen que las clases pequeñas brindan una mejor valoración al docente universitario.

En contraste con las fuentes de sesgo relacionadas con las características del curso, del instructor y los estudiantes, las hipótesis para explicar la variación en la valoración asociada con la percepción y las características del estudiante están también relativamente poco desarrolladas. La literatura generalmente ofrece relaciones de estas evaluaciones con el rol de los estudiantes con respecto a: percepción y expectativas, características físicas y características relacionadas con el curso. No obstante, la evidencia actual sugiere que el sesgo de las características de contexto representa según Worthington. (2002), un pequeño complejo de interacciones entre el género, las características del profesor/ su comportamiento, el curso y la percepción y expectativas de los estudiantes.

A nuestro juicio consideramos particularmente importante la aplicación de rigurosos métodos de análisis empírico, porque con ello se podrían facilitar con cierta certeza el estatus de las características de contexto en la evaluación de la competencia docente universitaria. Ésta es una consideración pensada que se tratará de explicar en la presente investigación. En este sentido McKeachie (1997) advierte sobre todo a los investigadores relacionados con el tema de sesgo en estas evaluaciones, que es necesaria mayor precaución en la interpretación de los datos para ofrecer resultados coherentes con la realidad del fenómeno estudiado.

161


Si bien los estudios de sesgo en estas valoraciones tratan de determinar hasta dónde la diferentes variables afectan a los resultados y no tienen correlación, otros estudios tratan de determinar más bien la relación positiva con los criterios identificados de competencia docente.

3.2.2.5. Correlaciones positivas en la competencia docente

La mayor evidencia sobre validez de los cuestionarios de opinión de estudiantes, procede de los estudios en los cuales estas valoraciones correlacionan positivamente con otros indicadores de competencia docente, tales como evaluación por colegas, autoevaluación, valoración por expertos, evaluación por alumnos graduados y por el aprendizaje de los estudiantes. Abrami (1990) añade que los investigadores han validado las dimensiones que abarcan estas encuestas (p.j. interacción y apoyo) como medidas del proceso instruccional, para determinar que estas dimensiones correlacionan con el juicio total de los estudiantes acerca de la eficacia y con el juicio que hacen los colegas, antiguos estudiantes, administradores y observadores externos.

Un pequeño ejemplo de los investigadores que han trabajado en esta línea se pueden ver en: Abrami, d'Apollonia y Cohen (1990), Cohen (1989), Dickinson (1990), Drews, Burroughs y Nokovich (1987), Gigliotti y Buchtel (1990), Harrison, Ryan y Moore (1996), Koon y Murray (1995), Nimmer y Stone (1991), O' Connell y Dickenson (1993), Prave y Baril (1993), Prosser y Trigwell (1990), Ryan y Harrinson (1995), y Vu, Marriot, Skeff, Stratos y Litzelman (1997).

En los estudios citados por Aleamori (1999) se destaca que las valoraciones de los estudiantes se comparan con (1) valoración de los colegas, 162


(2) juicio de expertos, (3) valoraciones de los estudiantes y graduados, y (4) con medidas de aprendizaje. Todos indican la existencia de una moderada y alta correlación positiva, lo cual viene a ser considerado como una evidencia adicional de la validez de los cuestionarios de opinión de los estudiantes sobre la competencia docente universitaria. Todo lo anterior se opone a los estudios realizados por Bendig (1953) y Rodin y Rodin (1972) quienes encontraron correlación negativa entre el logro de los estudiantes y su valoración del profesor. No obstante, escritos posteriores de Centra (1973a), Frey (1973), y Menges (1973) han criticado fuertemente su metodología de investigación, lo que ha objetado los resultados obtenidos.

Por otra parte, en la validación de estas investigaciones se han utilizando herramientas estadísticas tales como análisis correlacionales, análisis factoriales (exploratorios y confirmatorios) y, en menor grado, los modelos jerárquicos lineales. (ver: Aleamori y Hexner, 1980; Burdsal y Bardo, 1986; Greenwald y Gillmore, 1997; Marsh,1984, 2001; Vandewalle, 1997; Marsh y Roche, 1997; García Ramos, 1996; Tejedor, 1990; Ting, 2001; Goddard, Hoy y Woolfolk, 2001). Pese a esto, McKeachie (1997) destaca que un problema adicional relacionado con la validez de las conclusiones de estas evaluaciones se fundamenta en el propio uso de los datos debido a la falta de sofisticación estadística en los comités o los encargados de utilizar esta información.

Hemos observado la presencia de una moderada correlación del criterio de eficacia docente con el logro de los estudiantes en algunos estudios que investigan esta relación con los predictores de competencia docente, como: dÁppolona y Abrami (1997), Greenwald (1997), Marsh y Roche (1997), McKeachie (1997) y Saroyan y Amundsen (2001). Por otra parte cuando las valoraciones se ven afectadas por las variables no relacionadas con la eficacia docente, las opiniones suelen ser más variadas. Mientras algunos estudios, 163


como dÁpollonia y Abrami (1997) y Marsh y Roche (1997) sugieren que existe una pequeña evidencia de sesgo de estas valoraciones, otros, por su parte, como Greewald y Gillmore (1997) proponen que el grado de benevolencia, el tamaño de la clase y el entusiasmo del instructor son elementos potenciales de sesgo. No obstante, los resultados obtenidos en torno a este debate continúan siendo contradictorios, poco consistentes y muy criticados.

4.

OBSERVACIONES AL CUESTIONARIO

Las encuestas de evaluación de la competencia docente por parte de los estudiantes continúa recibiendo mucha atención dentro de la literatura profesional, aunque no con el mismo ímpetu que se evidenció en los años 70 y 80. Esta atención no sorprende, dada la importancia de este procedimiento en las instituciones de educación superior para conocer y mejorar el desempeño docente.

Estas evaluaciones se han utilizado en diferentes países y se ha analizado en muchos casos, la aplicabilidad de esos instrumentos en otros países. Por ejemplo: Marsh y Roche (1992) y Moses (1986) en Australia; De Neve y Janses (1982) en Bélgica; Knapper (1977) en Canadá; Lin (1995) en China; Marsh, Tourón y Wheeler (1985), en España; Mahmound (1991) en Kuwait, entre otros.

Respecto al apoyo y la oposición de los implicados en este tipo de evaluación, existen diferentes puntos de vista, que señalan vértices opuestos, dado que existen muchas personas a favor y en contra. Aleamori (1981) 164


destaca que en la opinión de los profesores sobre la utilidad de este tipo de evaluación no hay indicios claros pues los profesores se mantienen en los extremos, unos señalan que es fiable, válida y útil y otros por su parte dicen todo lo contrario. Sin embargo después de casi 70 décadas de investigación en el uso de evaluación de la competencia docente universitaria, se puede manifestar con seguridad que los principales investigadores confían que las encuestas son válidas y fiables y que vale la pena realizarlas (ver por ejemplo: Centra, 1977, 1993; Cohen, 1981; Koon y Murray, 1995; Marsh, 1984; 1987; Marsh y Dunkin, 1992; McKeachie, 1990; Murray, 1990; Ramsden, 1991; Seldin, 1984, 1993). De hecho uno de los más destacados autores, Marsh (1984), manifiesta que la evaluación de estudiantes es solamente un indicador de la eficacia docente que tiene una validez establecida a conciencia y rigurosamente.

Claro está que este procedimiento de evaluación ha sido fuertemente criticado en su validez y fiabilidad. En este sentido podemos decir que los cuestionarios de opinión de estudiantes para valorar la competencia docente universitaria, son una técnica fiable que ha sido estudiada por muchos investigadores, reportando coeficientes de fiabilidad muy significativos. Así lo confirman Feldman (1977, 1984, 1997) y Gillmore, Kane y Naccato (1978), entre otros, quienes consideran que estos instrumentos son realmente fiables. Arubayi (1987), Costin, Greenough y Menges (1971) y Marsh (1984) reportan en sus estudios coeficientes de fiabilidad en un rango de 0.90. Por su parte Aleamori (1978a) encuentra también rangos de 0.81 a 0.94 para ítem y de .88 a .98 para las subescalas del CIEQ. A su vez Coffey y Gibbs (2001), en el Reino Unido, y Rindermann y Schofield (2001), en Alemania, obtienen coeficientes de fiabilidad de 0.80 a 0.97. Similares índices han sido localizados en España por investigadores tan relevantes como Tejedor y Montero (1989), Salvador, (1990), Muñíz (1991), Jornet (1995) y Abalde (1995), los cuales han reportado

165


coeficientes de fiabilidad que oscilan entre 0.93 y 0.97, puntaje que es considerado muy alto.

Doyle (1975), reuniendo trece estudios y estudiando la fiabilidad como consistencia, encontró coeficientes entre 0.61 y 0.98, pero, al estudiar la fiabilidad como estabilidad los coeficientes oscilaban entre 0.41 y 0.95. Esto parece apuntar a que las valoraciones son más consistentes que estables. Aunque esto es discutible, como ya lo hemos señalado anteriormente, pues los coeficientes podrían venir marcados por diferentes aspectos de la dinámica evaluativa integrados en la clase, el profesor, los estudiantes y otros elementos más que intervienen en la aplicación de estos cuestionarios. No obstante, es hecho muy comprobado que los recuerdos y opiniones que los estudiantes expresan sobre su profesor son consistentes a lo largo del tiempo.

Cabe considerar que si un instrumento no es construido adecuadamente, como usualmente es informado por los investigadores obviamente, su fiabilidad será muy baja y por tanto, el efecto de la evaluación podría ser nulo así como los juicios que de él se deriven. Millman (1981), refiriéndose a lo anterior, destaca que si el instrumento no ha sido adecuadamente construido con la ayuda de profesionales, la fiabilidad es muy baja. De igual forma, Craton y Smith (1990) concluyen que un instrumento bien desarrollado y procesado por la administración puede brindar una fiabilidad interna muy alta, caso contrario, donde quiera que los formularios de valoración de los estudiantes no son cuidadosamente construidos con la ayuda de profesionales, como en el caso de la mayor parte de los formularios de estudiantes, la fiabilidad de éstos puede ser muy baja.

Ahora bien, hacemos un juicio valorativo al manifestar que toda la evidencia apunta directamente a que las encuestas de opinión de los estudiantes son relativamente fiables, unánimes y estables. Su fiabilidad es más elevada 166


que cualquiera de los otros procedimientos empleados para evaluar la docencia universitaria, y que revisamos brevemente en los apartados anteriores.

Todo parece indicar que con cuestionarios estadísticamente fiables y los estudiantes pueden esperar evaluar la docencia universitaria de forma fiable uno, cinco o diez años después.

Por otra parte, la validez de este tipo de cuestionarios es todavía un debate candente, por la cantidad, tipos de vocablos y por el desacuerdo entre investigadores para determinarla. No obstante, los diferentes estudios e investigaciones han demostrado que la validez ha sido ampliamente demostrada desde los años 70 y 80, y el interés de los últimos años ha estado dirigido hacia el estudio de las características de los implicados que puedan tener incidencia en este tipo de valoraciones.

Ahora bien, si el concepto de validez es todavía objeto de mucha controversia y debate, también lo es la validación de los cuestionarios de opinión de los estudiantes, dado que no existe un criterio específico de lo que es instrucción eficaz. En consecuencia muchos investigadores utilizan un enfoque de validación criterial, relacionando estas encuestas con otras medidas que se asumen como indicadores de eficacia docente. Desde este enfoque, es necesario que exista relación entre estas y los diferentes indicadores de eficacia docente. Al respecto Hilton (1993) subraya que estas valoraciones son pobres medidas de la eficacia docente y el enfoque de la validación de constructo se ve "disminuido por la falta de un modelo universal aceptable de "buena enseñanza" (p. 567).

Craton y Smith (1990) destaca que algunos investigadores han argumentado que el aprendizaje del estudiante es el más importante criterio de valoración, por tanto en nuestro caso, la evaluación de la competencia docente 167


se podrá considerar válida si refleja la calidad del profesor, su competencia docente o sea el grado en que el profesor facilita el aprendizaje de sus estudiantes. Marsh (1982, 1984, 1987, 1992 1993, 2001) se refiere al tema repitiendo que la eficacia docente es multidimensional, pero que utilizar un solo criterio de eficacia docente no es suficiente para evaluar la competencia docente, que la interpretación tentativa de la relación con la validez de criterio y el sesgo potencial podría ser evaluado críticamente en diferentes contextos y en relación con múltiples criterios de eficacia docente, no obstante, estas evaluaciones se ven

relativamente poco afectadas por una variedad de

variables hipotetizadas como sesgo potencial, tal como expectativas de la nota del curso, tamaño de la clase, cantidad de trabajo e interés previo del estudiante.

Tagomori y Bishop (1995) también se cuestionan la validez y fiabilidad de los instrumentos, típicos de U.S.A., que han sido desarrollados individualmente por instituciones dentro de estudios formales realizados por los mejores investigadores. Los autores analizaron 200 formularios y hallaron que 75% de los instrumentos contenían ítems ambiguos, confusos y / o subjetivos. Ellos concluyeron que esos resultados "aumentaban la duda acerca de la claridad en la redacción de los ítems de evaluación y su aplicabilidad para aceptar los aspectos de "buena enseñanza" utilizado en muchos instrumentos" (p. 75).

Por otra parte, algunos investigadores consideran que las puntuaciones en estas evaluaciones están influenciadas por las metas y las estrategias de enseñanza de los instructores, con lo cual en palabras de Kolitch y Dean (1999), no podrían ajustarse completamente a la concepción de enseñanza y aprendizaje descrita en un instrumento típico de evaluación. Sobre este pensamiento Tringwell y Prosser (1996) demuestran cómo la concepción de enseñanza que se tenga tiene influencia directa en el tipo de acciones que se 168


ejecuten para desarrollar la enseñanza. Desde este enfoque, la competencia docente obedecería al pensamiento educativo y a las actividades que el docente desarrolle para el aprendizaje de los estudiantes. McKeachie (1997) cree "que su eficacia dependería entonces de una definición de sus metas de enseñanza" (p. 1219) y que "la mayoría de los formularios de valoración de estudiantes del profesor... focalizan casi completamente la enseñanza convencional de clase" (p. 1220) . D'Apollonia y Abrami (1997) admiten que la definición de eficacia instruccional está ligada a la didáctica tradicional de enseñanza y "...no necesariamente generaliza a otros contextos instruccionales..." (p. 1199). De la misma forma se expresa Centra (1993) quién mantiene que "el típico formulario de opinión de estudiantes es concebido para reflejar la eficacia de la charla, la clase y su discusión, y otros métodos centrados en el profesor" (p. 47). Al respecto Wilson (1988) argumenta que esos formularios suponen una "pedagogía conservadora" que representan siempre a "un estudiante pasivo y un profesor activo" (p.90).

Pese a la cantidad de argumentos en contra de mucho investigadores, Shelvin (2000) destaca que fundamentado en la validez de estos cuestionarios se proporciona a

los estudiantes preguntas acerca de los aspectos de la

enseñanza que han sido redundantemente identificados y comentados. Marsh (1987), Marsh y Roche (1994) y Ramsden (1991) en sus estudios deducen que la evaluación de los estudiantes es más útil, precisa y válida que otras medidas del rendimiento docente y tiene beneficios añadidos por ser una medida directa de la satisfacción del consumidor. Fundamentado en sus investigaciones, Marsh (1987) concluye que los SET's son probablemente "el más grande estudio de todas las formas de evaluación personal, y una de las mejores en términos de apoyo para la investigación empírica" (p. 369)

169


Para Abrami, d’Appollonia y Cohen (1990) la validez de los cuestionarios de opinión para valorar la competencia docente puede ser vista desde dos enfoques: ♦ “Las encuestas de estudiantes son validas si ellas reflejan exactamente la opinión de los estudiantes acerca de la calidad de la instrucción, hasta qué punto estas evaluaciones reflejan lo que ellos sienten que están aprendiendo. Es decir, un promedio de satisfacción

de los

estudiantes con la instrucción recibida, la cual sea considerada como un conocimiento de valor. Estas encuestas rara vez son criticadas como medida de la satisfacción de los estudiantes con la instrucción. ♦ Las valoraciones de los estudiantes son validas si reflejan con precisión la eficacia docente. Es decir, se hipotetiza que sus opiniones sobre la calidad docente reflejan: (a) el proceso de enseñanza, por ejemplo, qué hace el instructor cuando enseña (b) el impacto del instructor en el producto deseado de enseñanza, por ejemplo,

la

cantidad de aprendizaje de los estudiantes, o c) tanto el proceso como producto de la enseñanza”. (pág. 219)

Los autores señalan que la utilización de las encuestas para analizar los procesos docente tiene un problema: la dificultad de establecer cómo estos procesos son índices de eficacia sin recurrir a medidas de producto o resultado. Las encuestas como indicadores válidos del proceso docente, no tienen porque reflejar

los productos de la enseñanza. El hecho de que los estudiantes

describan adecuadamente las conductas de los profesores cuando enseñan no implica que cada característica del proceso esté relacionada con los productos de la docencia.

A pesar de la enorme literatura que apoya la validez de las evaluaciones de estudiantes de la docencia universitaria, muchos escritores, entre ellos 170


Dowell

y Neal (1982); Goldman (1993), Koblitz (1990), Miller (1984),

Rutland (1990), Vasta y Sarmiento (1979) y Zoller (1992), expresan sus reservas o se oponen a ellas abiertamente cuando son empleadas en decisiones de tipo sumativo.

De todo este amplio y desarrollado debate, se pueden retomar algunas advertencias que han sido destacadas en distintos puntos de nuestra exposición y creemos es bueno retomarlas porque nos brindan una visión interrogante, que debe ser constantemente replanteada. Estos temas se pueden esbozar de la siguiente manera:

1.

La idea de que la evaluación presume ser un consenso no existe. Es obvio que cómo podemos evaluar la eficacia docente adecuadamente si no estamos de acuerdo en lo que constituye la eficacia docente (Marqués, 1979; Meeth, 1976; Monroe y Boris, 1989; Spencer, 1992)

2.

La enseñanza es un arte y un sentimiento, involucra fomentar cualidades similares, las cuales no son fácilmente evaluables por instrumentos de evaluación (Ornstein, 1990)

3.

Los profesores pueden sentir la pérdida del tiempo de clase en la administración de los formularios de evaluación y eso les puede desmotivar

para experimentar con sus métodos

instruccionales (Centra 1993, p.93) 4.

Los profesores y administradores tienen poco conocimiento de la investigación existente en el área (Franklin y Theall, 1989) y por tanto pueden administrar la evaluación indebidamente.

5.

El uso de la evaluación de estudiantes reduce la moral de los profesores y su satisfacción con el trabajo.

6.

La enseñanza como tal promueve la evaluación favorable ya sea con viejos o nuevos métodos (Baxter, 1991; Zelby, 1974). 171


Los profesores tienden a reducir los estándars y la cantidad de trabajo del curso como un resultado de la evaluación preceptiva (Ryan, 1980). 7.

Los profesores, que reconocen o parecen reconocer, las actitudes de los estudiantes, tienen una ventaja para recibir valoraciones altas (Hofman y Kremer, 1980).

8.

Muchos de los cuestionarios de evaluación por estudiantes contienen ítems inapropiados. Tagomori y Bishop (1985) encontraron que la mayoría de los instrumentos recolectados contienen

ítemes

ambiguos,

vagos,

subjetivos

o

no

correlacionan con el comportamiento del profesor en clase. 9.

Las valoraciones de estudiantes se ven poco afectadas por muchas características que nada tienen que ver con la competencia docente.

Hemos expuesto algunos puntos del debate sobre las encuestas de opinión para valorar la competencia docente, candentes en la literatura especializada y que continuamente incrementan la polémica. Obviamente hemos destacado aquellos argumentos, que nos han creado mayores inquietudes sobre el tema, claro está que pueden faltar o no faltar autores, pero desde nuestra visión, la validez de las encuestas ha sido ampliamente demostrada por los autores más relevantes de toda esa controversia.

Finalmente, intentaremos en los capítulos posteriores aportar más elementos y estudios a esta discusión que acabamos de iniciar. Precisamente, nos referiremos a nuestro punto de interés principal que se fundamenta en la incidencia que tienen las características de contexto en la valoración que hacen los estudiantes de la competencia docente universitaria y éste continúa siendo un problema de validez.

172

Capítulo 4

DIMENSIONES Y PREDICTORES EN LOS ESTUDIOS DE COMPETENCIA DOCENTE

Dimensiones y predictores en los estudios de competencia docente


DIMENSIONES Y PREDICTORES EN LOS ESTUDIOS DE COMPETENCIA DOCENTE .............................................................173 1.

DIMENSIONES ASOCIADAS A LA COMPETENCIA DOCENTE.................. 175 1.1. Enfoques generales bajo la línea de personalidad, comportamiento y eficacia. ... 176 2.2. Una visión similar................................................................................................. 180 3.3. La discrepancia en las dimensiones empleadas .................................................... 183

2.

VARIABLES PREDICTORAS................................................................................ 198 2.1. La inteligencia y las habilidades del profesor....................................................... 200 2.2. Conocimiento de la materia y organización.......................................................... 201 2.3. La metodología y actividades de enseñanza ......................................................... 205 2.4. Habilidad para enseñar.......................................................................................... 208 2.5. El comportamiento, la comunicación y la interacción.......................................... 211

3.

OBSERVACIONES .................................................................................................. 216

174


1.

DIMENSIONES ASOCIADAS A LA COMPETENCIA DOCENTE

Como hemos visto a través de los capítulos anteriores, una gran cantidad de investigación se ha focalizado en la eficacia docente como un componente crucial en el proceso de enseñanza- aprendizaje, aunque, claro está, todavía no se conoce exactamente qué es eficacia docente. Según McKeachie (1990), ésta ha sido una de las áreas más estudiadas durante los últimos 60 años, en donde sobresalen revisiones importantes como la de Costin, Greenough y Menges (1971), Feldman (1978), Cohen (1981), Marsh (1984, 1987b) y Abrami (1990) entre otros. No obstante, muchos investigadores han desarrollado en sus trabajos acercamientos muy claros sobre lo qué sea la eficacia docente, con una evidente coincidencia en la definición y en sus dimensiones, algunas veces llamadas con nombres iguales o con nombres diferentes pero con el mismo significado. Obviamente, esto no quiere decir que todos los investigadores hayan abarcado el dominio de la eficacia docente.

A nuestro parecer, la falta de claridad en la literatura parece reflejar los diferentes énfasis de los investigadores y ha dado lugar, como afirman Patrick y Smart (1998), a varias dimensiones de la eficacia docente (p.e. presentación, apoyo interpersonal y estimulación intelectual), lo que nos puede indicar, en cierta forma que la eficacia docente es de naturaleza multidimensional, hecho resaltado por Marsh en muchas de sus investigaciones.

Ahora bien, para construir una medida válida de la competencia docente universitaria se requiere de una continua interrelación entre la teoría, la investigación y la práctica. Al respecto, durante los últimos treinta años, se han constituido numerosos instrumentos de acuerdo a diferentes posturas teóricas que evidencian una estructura multidimensional, contenida en ítems que 175


permiten valorar dimensiones, tales como la organización, preparación, habilidades para comunicar claramente y estimular a los estudiantes, interacción con los estudiantes, justicia en la nota y muchas otras más. Sin embargo, como afirman Marsh y Roche (1997) pocos de estos estudios han sido evaluados con la dedicación necesaria en términos de potencial sesgo y validez.

Obviamente, existen diferentes enfoques, posicionados desde diversas posturas teóricas o líneas de investigación y que han llevado a la definición de algunas dimensiones particulares de la competencia docente.

1.1.

Enfoques generales bajo comportamiento y eficacia.

la

línea

de

personalidad,

La época de oro de los estudios sobre competencia docente fueron los años setenta, cuando se desarrollaron importantes trabajos orientados en dos líneas de investigación: la primera en estudios experimentales con la manipulación de ciertas variables como cobertura de contenidos, claridad, expresividad o entusiasmo. Respecto a esta última Perry, Abrami y Leventhal (1979) destacan el efecto del Dr. Fox en un estudio controlado de laboratorio llevado a cabo por Naftulin (1973), en donde se involucra a un actor en la disertación de una clase universitaria, que fue grabada en video con la manipulación de la expresividad y con pocos contenidos. En el experimento se concluye que la expresividad está positivamente relacionada con el aprendizaje y la valoración que hagan los estudiantes del docente universitario.

Marsh y Ware (1982), Abrami, Leventhal y Perry, (1982a) refutan esta conclusión y destacan que en una clase normal universitaria, cuando el instructor manipula la expresividad y sólo afecta la valoración que tiene que 176


ver con el entusiasmo, pues es el componente que más lógicamente esta relacionado con esa manipulación, pero no afecta a las otras dimensiones de la competencia docente.

Ahora bien, si se manipula la cobertura de los contenidos va a afectar las valoraciones en los elementos de conocimientos de instructor, organización y claridad (los componentes que más lógicamente están relacionados con esa manipulación). En otras investigaciones Land (1985), Land (1981) y Marsh (1987) destacan la manipulación experimental de la claridad del profesor y concluyen que ésta correlaciona más con los componentes específicos relacionados con esa dimensión.

De todos estos aportes, se puede concluir que los autores destacan la influencia que tiene la manipulación experimental de ciertas variables en el contexto de la competencia docente, en donde efectivamente han surgido evidencias que demuestran que bajo ciertas condiciones los estudiantes puntúan mejor a algunos profesores quienes exhiben algunos rasgos muy característicos. No obstante, los autores han demostrado que si bien existe una clara tendencia en la valoración que hacen los estudiantes de su instrucción, este efecto solamente se localiza en aquellos elementos que tienen que ver directamente con la dimensión manipulada y no con otra, demostrando con ello, que éstas otras se mantienen libres de toda manipulación.

La segunda línea de investigación tiene relación con la personalidad del instructor, su comportamiento y su eficacia. Esta veta ha sido objeto de un gran número de estudios que han tratado de determinar aquellas dimensiones relevantes de eficacia docente y que puedan ser objeto de evaluación. Por ejemplo Erdle, Murray y Rushton (1985) encontraron dos factores de personalidad, "Orientación al logro" y "orientación interpersonal" que correlacionan con el comportamiento en clase "carisma" y "organización". 177


Factores similares han sido hallados por Craton y Smith (1990) y Smalzreid y Remmers (1943). Murray, Rushton y Paunonen (1990) señalan que las características personales están vinculadas a la eficacia docente y varían dependiendo del tipo de curso.

Claro está que el desarrollo de esta línea de investigación no es nuevo, pues uno de los primeros instrumentos a los que hace referencia la literatura especializada es el de Remmers (1928) (citado por Marsh, 1991) en el cual se describen 10 rasgos relacionados con la eficacia docente. Este es uno de los primeros instrumentos de medida de la docencia universitaria hecha por los estudiantes. Posteriormente, Smalzried and Remmers (1943) reportaron dos factores de orden superior llamados “empatía” y “madurez profesional”, los cuales también han sido señalados por Frey (1978). La empatía se refiere a características tales como disposición y apoyo a los estudiantes, aptitud liberal y progresista, estimulación de la curiosidad intelectual y justicia en las notas. El factor de madurez profesional fue definido por características tales como presentación de la materia, interés sobre la materia, autofiabilidad y confidencia. Frey (1978) encontró que el estudio de Smalzried and Remmers (1943) tenía muchas debilidades metodológicas como, por ejemplo, cada factor estaba definido por un solo ítem, los factores de primer orden no eran fácilmente interpretables y muchos ítems cargaban substancialmente en ambos factores.

En los trabajos de Feldman (1976, 1983, 1984, 1987, 1988, 1989a, 1989b) se destaca que los autores han empleado diferentes dimensiones, pues él encontró entre 14 y 20 en los estudios. En sus estudios sintetizó los factores más analizados en la vasta literatura recogida e identificó 19 constructos12.

12

Estos 19 constructos son: la simulación del interés del profesor, el conocimiento de la materia, habilidad para hablar, naturaleza y valor de los materiales del curso, expansión intelectual del profesor, estimulación del interés, entusiasmo, transmisión intelectual, preparación y organización, claridad y entendimiento, habilidad de elocución, sensibilidad hacia el progreso de la clase, claridad de

178


Propone que todas estas dimensiones se pueden agrupar en tres factores de primer orden relacionados con el rol del profesor: el presentador (un hombre actor o presentador, presentador de materiales), facilitador del aprendizaje (interactúa o recíproco) y regulador del aprendizaje (director, manager o regulador).

Anterior al trabajo de Feldman (1976), Trent y Cohen, (1973), tras una revisión de la literatura, concluyeron que eran cinco dimensiones las que se pueden destacar en las investigaciones sobre el tema:

1- Claridad de organización, interpretación y explicación 2- Fomento de la discusión en clase y presentación de diversos puntos de vista 3- Estimulación de los intereses y motivación de los estudiantes 4- Manifestación de atención e interés por los alumnos 5- Manifestación de entusiasmo. (Trent y Cohen, 1973, p. 270)

Dos de las anteriores dimensiones están consideradas en la propuesta de Whitely y Doyle (1978) quienes distinguen como dimensiones de la eficacia docente las destrezas de exposición, definición de responsabilidades de los estudiantes, relevancia de los materiales del curso, estimulación de ideas y pensamiento, tolerancia a otros puntos de vista y actitud hacia los estudiantes. Una vez identificadas las dimensiones, los autores procedieron al análisis de los datos desde tres perspectivas diferentes: la valoración individual del estudiante, la media de la clase como unidad de análisis y la desviación de las valoraciones individuales de la media de la clase. En sus estudios, ellos concluyen

que

los

estudiantes

tienen

teorías

implícitas

sobre

del

objetivos, valor de los materiales del curso, justicia e imparcialidad, dirección de clase, feedback de los estudiantes, discusión de clase, cambio intelectual, respeto a los estudiantes, Disponibilidad y ayuda, dificultad y cantidad de trabajo.

179


comportamiento del instructor y que esas teorías afectan su valoración de la instrucción. Aunque Larson (1979) expone todo lo contrario y resume que los estudiantes son una población que tiene una idiosincrasia que difiere de la percepción del grupo.

Por su parte, McKeachie y Lin (1973) en un trabajo muy interesante destacan que el profesor universitario debe poseer destreza comunicativa, la interacción con el alumno, organización, control de la clase y la exigencia académica.

En todas las dimensiones que hemos señalado anteriormente, se consiguen destacar elementos relacionados con el trabajo de Feldman, que pueden ser incluidos en su propuesta de tres macro dimensiones o factores de primer orden.

Greewald (1997) hace destacar que durante los años setenta aparecieron en la literatura especializada una gran cantidad de publicaciones que trataban de proponer o unificar criterios con los que evaluar la competencia docente. No obstante, Marsh (1997) señala que muchos de esos estudios publicados tenían serios defectos metodológicos, un hecho que no sucedió mucho en los ochenta.

2.2. Una visión similar

El análisis de las dimensiones para valorar la competencia docente en los ochenta se fundamenta sobre la misma línea desarrollada en los estudios de Feldman y Cohen. Los autores Marsh y Overall (1980)

resaltan en su

investigación varios criterios para evaluar la docencia universitaria:

180


Claridad y organización Interacción con los alumnos Adecuación de la evaluación Recursos y prácticas Desarrollo del programa Cumplimiento de obligaciones La asignatura

Es evidente que esta propuesta muestra los elementos que van a ser estudiados posteriormente en los trabajos expuestos por Marsh (1982, 1984, 1987, 1995), Mash y Dunkin (1992) y algunos colaboradores. Este autor propone como variable dependiente la valoración global del estudiante y de variables independientes nueve factores (SEEQ)13 que considera relevantes para el estudio y la evaluación docente. Estas nueve dimensiones son: 1) aprendizaje, 2) entusiasmo, 3) organización, 4) interacción con el grupo, 5) apoyo individual, 6) amplitud y cobertura, 7) justicia en los exámenes, 8) asignaciones y 9) dificultad del curso14. Para consolidar la estructura Marsh y Hocevar (1991) realizan un análisis factorial al SEEQ que les permite demostrar mejor la estructura de los 9 factores mencionados.

La armazón del SEEQ ha sido considerada y estudiada durante muchos años por un gran número de investigadores y evaluadores en diferentes países del mundo como Estados Unidos, Australia, Hong Kong y España15. Reconocemos que Marsh y todos sus colaboradores han creado un cuerpo de

13

SEEQ siglas en inglés de Student Evaluation of Educational Quality Burdsal & Bardo (1986) encontraron seis factores similares representados adecuadamente en las relaciones entre 39 item de medida. Esos factores fueron actitud hacia los estudiantes, cantidad de trabajo, valor del curso para los estudiantes, organización / estructura del curso, calidad de las calificaciones y nivel de los materiales. 15 Marsh, 1983, 1984, 1987, 1991; Marsh, Fleiner & Tomas, 1975; Marsh y otros, 1985; Marsh y Hocevar, 1991; Marsh y Bailey, 1993; Marsh y Dunkin, 1992; Marsh y Roche, 1993, 1994, 1997; Marsh y Hocevar, 1991, 1984; Marsh y otros, 1997; Marsh; Touron y Wheeler (1985). 14

181


literatura muy importante que ha conferido un potente impulso al estudio de la evaluación de la docencia universitaria.

Por otra parte, en dos estudios muy claros, Medley (1984, 1987) afirma que la evaluación de la docencia puede ser conducida en base a tres tipo de criterios: a) los resultados de la docencia; b) las conductas de aprendizaje o experiencias de los alumnos que proporciona la docencia y c) la conducta del profesor mientras enseña. En este trabajo se definen las siguientes dimensiones de evaluación organiza los alumnos, recursos y materiales; demuestra habilidad para comunicarse; ayuda a los alumnos a utilizar variedad de técnicas; ayuda a su alumnos a enfrentarse con sus conclusiones, responde adecuadamente a la conducta de afrontamiento, usa variedad de métodos y materiales, promueve la autorrecompensa y un autoconcepto positivo y reacciona con sensibilidad.

Centra (1980), uno de los investigadores que también ha trabajado mucho sobre el tema en la Universidad de Princeton, propone nueve elementos de la docencia universitaria: enseñanza, actividad investigadora del profesor, supervisión e investigación de alumnos, tareas de responsabilidad universitaria, actividades en entidades profesionales, acción tutorial con los alumnos, servicios a la comunidad y consultoría a empresas. En su instrumento Centra (1977, 1991) destaca tres dimensiones: organización y planeamiento, interacción profesor y estudiantes, y comunicación.

En los estudios que hemos analizado los investigadores amplían o reducen las propuestas de sus predecesores. Cohen (1981), por ejemplo, definió

diez dimensiones. De ellas, cuatro estaban fundamentadas en la

revisión de Kulik y McKeachie (1975). Estos dos autores consideraron pertinentes cuatro dimensiones: habilidades o destrezas (el profesor tiene buen manejo de la materia), apoyo (el profesor es amigable), estructura (el profesor 182


usa bien el tiempo de clase) y dificultad (el profesor asignó lecturas difíciles). Dos de esas dimensiones estaban apoyadas en los trabajos de Isaacson y otros (1964). Esas dos dimensiones eran: interacción (el instructor facilita la discusión de clase) y feedback (el profesor mantiene informados a los estudiantes de sus progresos). Nótese que el último trabajo que mencionamos fue la base para una serie de estudios posteriores que trataron de definir aquellas dimensiones con las que evaluar la competencia docente.

Se puede señalar que los investigadores destacan algunas dimensiones como organización y planificación, apoyo a los estudiantes e interacción, lo que supone de algún modo características constantes en las diversas propuestas, algunas veces llamadas bajo nombres similares o diferentes, pero con el mismo significado. Sin embargo, dentro de todo este mundo de propuestas, es claro que no sobresale ninguna que determine la cantidad o el número de dimensiones a emplear para evaluar la competencia docente universitaria, aunque parece que existe un cierto acuerdo con algunas de ellas.

3.3. La discrepancia en las dimensiones empleadas

La discrepancia entre las dimensiones de eficacia docente reportado en los estudios empíricos puede, en alguna manera, indicar un gran número de problemas metodológicos. Respecto a lo anterior, Moss (1992) destaca, en primer lugar, que si los investigadores operacionalizan el constructo usando medidas diferentes, constituyendo ítems diferentes, eso sólo puede dar como resultado factores o dimensiones diferentes, particularmente si la perspectiva del instrumento enfatiza

diferentes aspectos del medio ambiente de la

enseñanza y aprendizaje, lo que hace difícil realizar comparaciones cruzadas entre los estudios para establecer cualquier hallazgo consistente. En segundo 183


lugar, Tabachnick y Fidell (1989) afirman (refiriéndose a los factores), que cuando se realiza la rotación de factores, puede haber un infinito número de rotaciones disponible para cualquiera de los sectores de los datos, todos contabilizados por la misma cantidad de varianza en los datos originales pero con factores definidos diferentemente en cada caso. La decisión de que rotación escoger dependerá enteramente de cúan aceptable sea la solución en los términos de una determinada teoría. Consecuentemente, eso es una evidencia empírica insuficiente para establecer el número de factores de eficacia docente o la naturaleza de esos factores.

Pese a los problemas señalados anteriormente, los investigadores continúan tratando de determinar la cantidad de dimensiones o factores para evaluar la competencia docente. Patrick y Smart (1998) identifican tres dimensiones relacionadas con cualidades o atributos de la eficacia docente. Las dimensiones propuestas por los autores se refieren a: los estudiantes, la habilidad para cambiar al estudiante y organización y presentación. Esta última dimensión está incluida en el estudio de Kwan (1999), aplicado en la Universidad de Hong Kong, en donde se recogieron 5000 evaluaciones de profesores en 75 departamentos, empleando un instrumento que además de la dimensión organización y presentación, contenía cinco más relacionadas principalmente con el rendimiento del profesor: resultado de aprendizaje, motivación, feedback, interacción y ayuda individual.

La interacción del profesor con los estudiantes también está contenida en un instrumento de Ballantyne, Bothwick, y Packer (2000), quienes proponen siete dimensiones para el estudio: organización y preparación de la clase, presentación de la clase, participación de los estudiantes en la clase, aprendizaje de los estudiantes, evaluación de los estudiantes de su aprendizaje, interacción del profesor y los estudiantes, métodos/ áreas de enseñanza y retroalimentación en la enseñanza. Para los autores, ésta es la primera parte del 184


instrumento, parte A, y focaliza la eficacia del académico. La segunda o parte B, trata de considerar la eficacia del curso o la unidad. La tercera parte brinda la oportunidad de comentar las mayores necesidades de mejorar la calidad de la enseñanza académica y el aprendizaje de los estudiantes, la cual ellos perciben dentro de sus propias áreas de enseñanza o estudio.

En 1990, Abrami, Cohen y D’Apollonia publican un famoso y muy citado estudio sobre la docencia universitaria. En este artículo, los autores encontraron que de las 181 características más examinadas por los investigadores más de la mitad (94) eran características utilizadas por las encuestas de estudiantes.

Vale la pena mencionar que algunas de las dimensiones identificadas por los investigadores han sido estudiadas por medio del análisis factorial, proporcionando una prueba de cómo los estudiantes pueden diferenciar entre diferentes componentes de docencia efectiva, aunque, como bien señala Marsh (1987), no si los factores obtenidos son importantes para entender la docencia efectiva.

Por medio del análisis factorial, Swartz y otros (1990) identifican dos factores con la eficacia docente: (1) claridad instruccional de presentación, y (2) administración de la conducta de los estudiantes. Lowman y Mathie (1993) también insisten en dos factores : (1) intelectualmente estimulante, y (2) relaciones con los estudiantes. No obstante, en otros estudios se identifican más y diferentes factores de eficacia docente. Por ejemplo, Brown y Atkins (1993) consideran tres factores de eficacia docente como: (1) afectuoso, (2) sistemático y (3) estimulante. El mismo número de factores que describe Rindermann y Amelang, (1994) y Rindermann (1997) la estructura, la competencia docente y el entusiasmo. Otros investigadores han sugerido más

185


factores como los siete de Ramsden (1991) o los nueve que mencionamos de Marsh y Dunkin (1992).

Si dirigimos la mirada hacia algunos de los trabajos realizados en España, por ejemplo, en la evaluación del profesorado de la Universidad de Santiago, Tejedor (1990) menciona que son siete dimensiones o factores16, altamente correlacionadas entre sí, los que deben ser empleados. En su propuesta las describe como: (a) cumplimiento del profesor, (b) calidad y desarrollo del programa, (c) dominio de la asignatura, (d) interacción con los alumnos, (e) recursos utilizados y prácticas, (f) exámenes, (g) valoración global del profesor. Posteriormente, en el análisis de la estructura factorial, el autor encontró que “el primer factor explica el 43% de la varianza asociada a la matriz de correlaciones entre las variables. Los otros seis factores retenidos explican el 70.18% de la varianza” (Tejedor, 1990, p. 357).

Otro instrumento muy importante de estudiar y de mencionar por la profundidad en el análisis de sus componentes y por la rigurosidad en el proceso desarrollado para la validación del constructo estudiado es el CEDA17 de García Ramos (1996, 1997, 1997b, 1998). El CEDA enumera seis dimensiones implicadas en la evaluación de la competencia del docente universitario, que se describen como: Programa – organización de la enseñanza, dominio de contenidos – claridad expositiva, motivación de aprendizaje – incremento del interés del alumno, interacción con el grupo de clase, atención individual al alumno, evaluación – exámenes. Para englobar las 16

Los ítem de cada dimensión son: a- Cumplimiento del profesor: asiste a clases normalmente, cumple adecuadamente sus horarios, está accesible fuera de horas de clase. b- Calidad y desarrollo del programa: da a conocer el programa de la asignatura, su programa cubre los aspectos más importantes, desarrolla todo el programa, c- Dominio de la asignatura: se preocupa porque comprenda la asignatura, parece dominar la asignatura que imparte, d- Interacción con los alumnos Acostumbra a dejar claras las cosas importantes, parece estar seguro de sì mismo, e- Recursos utilizados y prácticas: fomenta la crítica de sus propias ideas, dialoga con sus alumnos sobre la marcha de clase, consigue que sus alumnos participen en clase, consigue que sus alumnos están motivados. f- Exámenes: Tiene en cuenta la opinión de sus alumnos 17 CEDA significa, Cuestionario de Evaluación Docente por el Alumnado

186


seis dimensiones mencionadas el CEDA se divide en tres partes: valoración de la materia, valoración analítica del docente y valoración global del mismo.

También y dentro de la estructura de seis dimensiones, se encuentra la de los investigadores González Such y otros (1999). Éstos realizaron un análisis por conglomerados de K-Medias que puso de manifiesto que el cuestionario permitía identificar adecuadamente -tanto por ítem, como por dimensionestipologías de calidad docente percibidas por el estudiante. Así, se pueden generalmente identificar hasta cuatro "tipos puros" que mantienen diferencias estadísticamente significativas. Claro está que,

aunque el funcionamiento

global planteado es satisfactorio y permite el uso del Cuestionario para la identificación de tipologías, lo que avala su uso evaluativo, es necesario la cautela propia de este tipo de trabajos. Las dimensiones sobre las que se fundamenta son definidas por: cumplimiento de obligaciones, conocimiento de la materia, desarrollo de la clase, materiales y programa, actitud del profesor y evaluación.

En la valoración de la docencia universitaria, Alvarez y García (1999) consideran que se debe tener en cuenta la: planificación y organización de la enseñanza, motivación de los estudiantes, relación con los estudiantes, utilización de recursos, técnicas de instrucción, desarrollo o formación continua para la innovación, evaluación del proceso de enseñanza aprendizaje y relación con los padres de familia. Los autores proponen que existen metacategorías, categorías y subcategorías. Para ellos, las meta-categorías deben ser: oficio docente, arte del profesor, condiciones estructurales y sociales, dilemas y paradojas. Al respecto, De la Orden (1987, 1990) afirma que los factores a tener en cuenta en la evaluación del profesorado por los estudiantes, aun cuando hay que considerar esta evaluación con una fiabilidad limitada, serían las destrezas comunicativas, la relación / interacción con los alumnos y las exigencias académicas. 187


Dentro de la misma preocupación, acerca de las dimensiones necesarias para la evaluación de la docencia, otro estudio realizado en España por Escudero (1999) identifica por medio del análisis factorial cuatro factores18 que han de ser tomados en cuenta: la asignatura, el profesorado, las relaciones profesor-estudiante y las evaluaciones. El primer y segundo factor tienen un poder explicativo de la varianza del 40% y 12% de la varianza.

Corrales y otros (1995) resumen toda la búsqueda anterior manifestando que los diferentes estudios realizados se han concretado en las siguientes dimensiones:

1) Cumplimiento y obligaciones (horario de clases y tutorías) 2) Claridad y desarrollo del programa (el profesor prepara y organiza bien las clases, mantiene interés por la asignatura y explica con claridad) 3) Interacción con los alumnos (fomenta la participación, es respetuoso con los alumnos y cuenta con sus opiniones) 4) Recursos didácticos utilizados, evaluación y justicia en las calificaciones.

18

Los indicadores de los factores son: I ASIGNATURA: referido a los objetivos, esta asignatura le parece, la extensiòn del programa impartido le parece, los contenidos de la asignatura le parecen para su formación materiales recomendados, condiciones materiales y ambientales de impartición de la parte teórica de la asignatura, condiciones materiales y ambientales de impartición de las clases de laboratorio,, prácticas de campo , taller , clinicas, etc.coordinación entre la parte teòrica y el resto de las actividades de la asignatura. II PROFESORADO: Asistencia a clase, puntualidad, dominio de la materia que imparte, utilización de medios y recursos, preparación de clases, claridad y orden en la presentación de la materia, eficacia en transmitir los conceptos, amenidad. III RELACIONES PROFESOR _ESTUDIANTES: potenciación de diálogo, actuación del profesor para crear interés por la asignatura, disponibilidad del profesor para consultas, tutorías, sugerencias, etc. IV EVALUACIONES: Los criterios de evaluación de la asignatura, los exámenes y pruebas realizadas le parecen, la corrección de exámenes la considera, el nivel que se exige en los exámenes se corresponde con lo tratado en clase de manera, el tiempo trascurrido entre la realización de un examen y la comunicación de los resultados.

188


De acuerdo con lo expuesto anteriormente, interpretamos muy personalmente, que las dimensiones más importantes para estudiar la docencia universitaria se corresponden con un profesional que desarrolla su actividad manejando recursos, metodologías y estrategias de un contexto de enseñanza aprendizaje en el que la planificación, la gestión de clase, la interacción con los alumnos y la objetividad en su evaluación, son los elementos que más definen su actividad. Esto supone que la docencia universitaria es compleja y multidimensional, y que de igual forma se ve afectada por una confusa telaraña de relaciones diversas, que posteriormente desarrollaremos.

Para obtener un panorama del campo de estudio, nos sirve, a modo de comparación y de ejemplo, el siguiente cuadro de García Ramos, (1997), que incluye las principales dimensiones implícitas en algunos de los instrumentos utilizados, que han sido suficientemente probados y validados.

TABLA NO 7 DIMENSIONES IMPLICADAS EN DIFERENTES INSTRUMENTOS DE EVALUACIÓN DOCENTE (POR EL ALUMNO)

(García Ramos, 1997) Dimensiones comunes

SEEQ

Endeavour

Ceq

E.E.P.A

CEDA-MOD

Trend y Cohen (1973)

Marsh (1982 y 87)

Frey, Leonard y Beaty (1975)

Ramsden (1991)

Tejedor (1993)

García Ramos (1996)

1. Estructura y 1. Aprendizaje claridad en la y valor explicación. 2. Interacción 2. Positiva actitud con el grupo hacia la discusión Rapport en la clase y la 3. exposición de individual puntos diferentes. 4. Exámenes 3. Estímulo del calificaciones. interés, motivación y reflexión del 5. Carga de trabajo alumno. dificultad 4. Prestar atención

1. Logros de los 1. Enseñanza alumnos. adecuada. Correcta 2. Discusión en orientación sobre clase. la marcha del aprendizaje del 3. Atención alumno. personal. 2. Claridad en 4. Calificaciones. los objetivos del programa propio 5. Carga de trabajo. y en lo que se espera de uno 6. Claridad de 3. Adecuada presentación. carga de trabajo. 189

1. Cumplimiento 1. Programación y de obligaciones. organización de la enseñanza. 2. Calidad y desarrollo del 2. Dominio de contenidosprograma. claridad expositiva. 3. Dominio de la 3. Motivación de asignatura. aprendizaje4. Interacción incremento de con los alumnos. interés del alumno. 5. Recursos 4. Interacción con utilizados y el grupo de clase. prácticas.

Dimensiones y predictores en los estudios de competencia docente al 6. Organización 7. Organización6. Exámenes y claridad. Planificación. 4. Adecuada calificación del 5. Entusiasmo. 7. Entusiasmo aprendizaje.

individual alumno.

8. Amplitud de enfoque. 9. Trabajo extra claselecturas.

5. Estímulo y motivación al alumno en su responsabilidad (a los estudiantes se les dan muchas opciones, en el trabajo que realizan)

5. Atención individual al alumno. 6. Evaluación exámenes.

También, a modo de ejemplo, González Such (1998) propone una visión retrospectiva sobre dimensiones involucradas en la evaluación de la docencia universitaria,

pero “sin pretensión de ser exhaustivos (por orden

cronológico)” (González Such, 1998, pp. 144). En esta tabla que a continuación presenta, se incluyen y citan algunos de los trabajos recogidos por Salvador (1990).

TABLA NO 8 AUTORES Y DIMENSIONES EN LA EVALUACIÓN DOCENTE (POR EL ALUMNO)

(González Such, 1998)

Autores

Dimensiones

Hildebrand, et. al 1971, The 1. Enfoque Analítico /sintético Student Description of Teaching 2. Organización / claridad (SDT) 3. Interacción profesor grupo

4. Interacción profesor individuo 5. Dinamismo/ entusiasmo.

Trent y Cohen, 1973

1. Claridad de organización, interpretación y explicación 2. Fomento de la discusión en clase y presentación de alternativas 3. Estimulación de intereses, motivación y pensamiento de los estudiantes. 4. Manifestación de atención e interés por los alumnos 5. Manifestación de entusiasmo

190


Warrington, 1973. SIRS

Frey, et. al, 1973.

1. Ambiente del profesor 2. Interés del estudiante y desarrollo 3. Interacción profesor -estudiante 4. Necesidades del curso 5. Organización del curso

1. Claridad de presentación 2. Trabajo 3. Atención personal 4. Discusión en clase 5. Organización / planificación 6. Calificaciones 7. Logro de los estudiantes

1. Estimulación del profesor hacia el curso y la materia 2. Entusiasmo del profesor hacia la materia docente 3. Conocimiento del profesor de la materia 4. Expansividad intelectual del profesor y amplitud de cobertura 5. Preparación y organización del curso 6. Claridad de las explicaciones y presentaciones Feldman, 1976a, 1976b, 1983, 7. Actitudes dialécticas del profesor 1984, 1987. 8. Sensibilidad del profesor hacia y en relación con el progreso del aula 9. Claridad de los objetivos y requerimientos del curso 10. Naturaleza y valor del material del curso incluyendo su unidad y relevancia. 11. Naturaleza y utilidad de materiales de apoyo y ayudas docentes 12. Dificultad y trabajo del curso 13. Imparcialidad y justicia del profesor sobre la evaluación del estudiante: calidad de los exámenes. 14. Organización del aula. 15. Naturaleza, calidad y frecuencia del feedback del profesor hacia los estudiantes. 16. Planteamiento de problemas y discusión del profesor y apertura hacia las opiniones de los demás. 17. Cambio intelectual e intercambio de pensamiento independiente 18. Respecto del profesor hacia los estudiantes: amigabilidad del profesor. 19. Disponibilidad y accesibilidad del profesor.

Aleamori, 1978

Aparicio, et. al. 1982.

1. Actitud general hacia el curso 2. Método de enseñanza 3. Contenido del curso 4. Interés y atención 5. Profesor 6. Ítems específicos. 1. Entusiasmo/ dominio de la asignatura 2. Importancia de la asignatura en el plan de estudios 3. Organización/ claridad/ preocupación por la enseñanza 4. Interés por el alumno individual 5. Interacción con el grupo/ preocupación por los resultados 6. Dedicación 191


Abrami y d’Apollonia (b), 1990.

Marsh 1982ª; Marsh 1984; Marsh y Hocevar, 1989. SEEQ

Murray, 1983 (b). Teacher Behavior Investory (TBI)

Barke, 1983.

Villar Angulo, 1983. Análisis Docente por los estudiantes (ADE

1. Estimulación del interés 2. Entusiasmo 3. Conocimiento de la materia 4. Expansibilidad intelectual 5. Preparación intelectual 6. Claridad y entendimiento 7. Habilidades de elocución 8. Nivel de progreso de la clase 9. Claridad de los objetivos del curso 10. Relevancia y valor del material del curso. 11. Relevancia y utilidad de los materiales suplementarios 12. Trabajo. 13. Rendimiento percibido (perceived outcome) 14. Justicia de la evaluación 15. Naturaleza, calidad y frecuencia del feedback del profesor hacia los estudiantes. 16. Características de la personalidad 17. Feedback 18. Fomento de discusiones y diversidad de opiniones. 19. Dudas intelectuales y fomento del pensamiento independiente 20. Preocupación y respeto por los estudiantes. 21. Disponibilidad y ayuda 22. Curso en general 23. Docencia en conjunto 24. Miscelánea de ítems. 1. Aprendizaje y valor 2. Entusiasmo del profesor 3. Organización 4. Rapport individual 5. Interacción grupal 6. Amplitud de temario 7. Exámenes calificaciones 8. Logros / lecturas 9. Trabajo /Dificultad. 1. Claridad 2. Entusiasmo 3. Interacción: estimula la participación 4. Tarea orientadora 5. Relación: sensible a las necesidades de los estudiantes, amigable. 6. Organización 7. Uso de medios audiovisuales 8. Ritmo 9. Lenguaje 1. Relación con los estudiantes 2. Habilidades de enseñanza 3. Habilidad de organización 4. Conocimiento de la materia 5. Dificultad del curso 6. Normas de evaluación 1. Discusión de clase 2. Objetivos. 3. Interacción Social 4. Estructuración 5. Orientación a la tarea 192

Dimensiones y predictores en los estudios de competencia docente 6. Evaluación 7. Valores 8. Comunicación didáctica Burdsal y Bardo, 1986. Student 1. Actitud hacia los estudiantes Perceptions of Teaching 2. Carga de trabajo Effectiveness 3. Valor del curso para los estudiantes

4. Calidad de las calificaciones 5. Nivel del material 1. Cumplimiento del profesor

Tejedor, 1986. Cuestionario de la 2. Calidad y desarrollo del programa Universida de Santiago 3. Dominio de la asignatura

4. Interacción con los estudiantes 5. Entusiasmo 6. Recursos utilizados 7. Exámenes 8. Asignatura 9. Valoración global de la satisfacción.

Jornet, 1987. Valencia

Universidad

de 1. Estructura de Clase

2. Evaluación 3. Actitud del profesor 4. Conocimiento de la materia 5. Materiales 6. Programa 7. Cumplimiento de obligaciones 1. Asignatura

Salvador Blanco y Sans Paz, (1988) 2. Asistencia- dedicación Universidad de Cantabria 3. Evaluación

4. Metodología 5. Profesorado 6. Programa 7. Cumplimiento de las obligaciones

Cajide, 1994.

1. Dominio de la asignatura (competencia) 2. Interacción con los alumnos 3. Desarrollo del programa 4. Prácticas y recursos empleados 5. Evaluación.

Durante los últimos años, nosotros hemos encontrado algunas propuestas de dimensiones para la evaluación de la competencia docente universitaria, que se señalan en la siguiente tabla.

193

Dimensiones y predictores en los estudios de competencia docente TABLA NO 9 ALGUNAS DIMENSIONES DE FINALES DE LOS NOVENTA Y PRINCIPIOS DEL 2000

Marsh (2001)

Ting (2001)

1. Aprendizaje 1. Diseño curso. y valor

Young (1999)

del 1. Entusiasmo

2. Conocimiento Rendimiento de la materia 2. Interacción 2. del profesor. con el grupo 3. Habilidad para Evaluación integrar 3. Raport 3. la individual global del diseño, información. el rendimiento y el 4. Exámenes esfuerzo dedicado 4. Habilidad para calificaciones. al curso. estimular el pensamiento 5. Carga de trabajo dificultad 6. Organización y claridad.

Kolitch y Dean (1999)

Ridermann and Amelang (19942001)

1. Comunicación. 1. Estructura.

Jackson y otros (1999)

1. Apoyo a los estudiantes.

2. Planeamiento 2. Competencia 2. Valor del docente. y organización. curso. 3. Manejo de 3. Entusiasmo. 3. Organización clase. y diseño. 4. Justicia en la calificación. 5. Dificultad. 6. Cantidad de trabajo.

7. Entusiasmo 8. Amplitud de enfoque. 9. Trabajo extra claselecturas.

Como se ha podido observar, la identificación de las dimensiones que conforman el perfil de un “buen docente” universitario ha sido un extenso trabajo de numerosos estudios e investigaciones en los últimos 30 años19. En general, podemos concluir que hay ciertos puntos de acuerdo sustancial sobre

19

En el contexto español, Contreras Muñoz (1991) señala que los aspectos más valorados en estudios de estas características son: cualidades didácticas (85%), conocimientos científico (81%), virtudes humanas (71%), creatividad (69%), asesoramiento a los alumnos (65%), reconocimiento científico (59%), investigación (51%), publicación (42%), notas de los alumnos (39%), y años de servicio (31%).

194


algunas dimensiones y en la mayoría de los trabajos éstas se identifican con nombres iguales o diferentes, pero contienen los mismos elementos y componentes. En el mismo sentido, se manifiesta García Ramos (1997), al afirmar que “todos los instrumentos, de una u otra forma, incluyen estas dimensiones de valoración de la competencia docente del profesor universitario”. Desde este enfoque, se consideran cuatro tipos de aspectos:

1. “Vinculados al dominio de la asignatura. (Condición necesaria, aunque no suficiente para una docencia de calidad) (a) 2. Didáctico – técnico: Programación, organización (d), evaluación – exámenes (e) y uso de recursos didáctico – metodológicos que favorecen la claridad en la exposición y desarrollo de la materia (b) 3. Comunicación con el alumno: Factor relacionado con (b), pero con el énfasis puesto en la consecución de una adecuada comunicación con el alumno, a nivel grupo (c1) y a nivel individual – personal (c2). Un adecuado clima de relación profesor – alumno. 4. Personal motivacional: Factor sin duda relacionado con el anterior (c1 y c2) y que influye enormemente en la claridad expositiva (b) , es el componente personal de entusiasmo y motivación que el profesor trasmite al alumno en su docencia. Es un factor personal, muy vinculado a un componente vocacional del profesor hacia la docencia (universitaria en este caso) que potencia enormemente los factores anteriores” (García, 1997, p. 384).

De todo el anterior discurso, creemos que muchas de las dimensiones utilizadas en la evaluación de la docencia universitaria corresponden con la 195


idea tradicional de un profesional universitario, con habilidad para organizar, comunicar, evaluar e interactuar, entre otros aspectos, con los estudiantes. En general, éstas y numerosas características están incluidas en muchos cuestionarios, y, como ya se ha indicado, un profesor tendrá algunas de estas características aunque puede no tenerlas todas.

Más aún, algunos autores manifiestan que estas evaluaciones llevan implícitas una posición teórica, un solo punto de vista y no tienen en cuenta que existen diferentes estilos docentes, diferentes métodos, en donde el modelo de evaluación propuesto en un instrumento, puede o no, ser adoptado por el docente evaluado. (Véase al respecto: Fernández, 1999; Centra, 1987; D’Apollonia y Abrami, 1997). En ellos no se observa la gran transformación de los métodos docentes de los últimos 30 años, los cuales se han ampliado a una innumerable cantidad de elementos, que como bien señala D’Apollonia y Abrami (1997), podemos encontrar: seminarios interactivos, sesiones de laboratorio, aprendizaje cooperativo, instrucción asistida por ordenador, instrucción individualizada y muchos otros más aspectos que son dejados de lado en estas evaluaciones.

No obstante, de todos los enfoques analizados ha de tenerse en cuenta y considerarse, algunas de las recomendaciones y advertencias de Abrami y D’Apollonia (1991) y Cohen (1981) quienes señalan, en un estudio cuantitativo sobre la validez de este tipo de cuestionarios, que muchos de los factores o dimensiones contenidos en estos instrumentos tienen baja o casi nula correlación con el aprendizaje de los estudiantes. Los autores muestran algunos índices como: apoyo 0.31; interacción 0.22; retroalimentación 0.31 y evaluación: = 0.23. Cuando los autores estudiaron otras variables hallaron nuevamente índices bajos pero significativos y a veces nulos, por ejemplo: la correlación entre el aprendizaje y la dificultad del curso es de -0,02; con el

196


total global del curso es de 0.47 y con la valoración global con el instructor es de 0.43.

Los autores destacan que las dimensiones de evaluación del profesor por parte de los estudiantes pueden variar de acuerdo al tamaño de la clase, como en el caso de apoyo e interacción. Cohen (1986, 1987) en un meta-análisis con un grupo seleccionado de 41 estudios metodológicamente bien realizados, reportó los siguientes coeficientes de correlación: estructure (.55), interacción (.52), habilidades (.50), global del curso (.49), total del instructor (.45), aprendizaje (.39), apoyo (.32), evaluación (.30), feedback (.28); interés/ motivación (.15) y dificultad (-.04). La alta correlación entre estructura y logro en el meta-análisis de Cohen fue una función más de la preparación y organización (.57) que de la claridad de los objetivos del curso (.35). Igualmente, la correlación entre habilidades y logro fue una función más de la claridad y comprensión (.56) que del conocimiento del instructor sobre la materia (.34). Abrami y d’Apollonia (1991) consideran que estos hallazgos se pueden interpretar, como conclusiones consistentes para el uso de las valoraciones de estudiantes.

Feldman (1976) encontró que los ítems en los formularios están a menudo inter-correlacionados, a pesar de su aparente independencia conceptual. Por ejemplo, la estimulación del interés, la claridad y preparación del curso, organización y

entusiasmo tienen frecuentemente altas

correlaciones. Para Abrami (1985), esta interdependencia puede deberse a un error de medida (efecto halo) o a la evidencia que aparentemente no hay covarianza.

Hemos destacado y señalado diversos elementos que han sido examinados por los investigadores como dimensiones representativas de la competencia docente universitaria y que han sido utilizados como criterios de 197


medida de su calidad docente, claro está, bajo el punto de vista de los estudiantes. Consecuentemente si tales criterios están bien definidos, se pueden utilizar como esquemas de evaluación del profesorado universitario, aunque como pudimos observar, no existe un acuerdo sustantivo entre los investigadores en cuanto a la cantidad e importancia de tales dimensiones. No obstante, algunos investigadores han tratado de buscar qué dimensiones correlacionan positivamente con algunas características de la competencia docente para utilizarlas como predictores en la evaluación.

2.

VARIABLES PREDICTORAS

El estudio de los predictores de la competencia docente ha sido una de las corrientes de investigación sobre las que más se ha trabajado durante más de setenta años. Se ha tratado de analizar y estudiar que aspectos de la docencia tienen relación positiva con las características del “buen profesor” de manera que le sean de utilidad para la investigación y para la evaluación de la docencia universitaria.

En los apartados siguientes, nosotros tratamos de analizar la evaluación del profesorado universitario a partir de las opiniones de los estudiantes. En la literatura estudiada sobre este tema se recogen múltiples estudios que, en determinados contextos, intentar relacionar los resultados de estas evaluaciones con diferentes variables, bien como factores de eficacia docente bien como factores de sesgo ( Al respecto, se puede ver: De Neve y Jansen, 1982; Craton y Smith, 1986; March, 1987; Potter y Emmanuel, 1990; Golberg y Callahan, 1991). Autores como Marsh (1987); Arubayi (1987) y Centra (1993), entre otros, han demostrado que existe cierto consenso acerca de que las

198


valoraciones de estudiantes tienen un fiable y válido componente de una visión multidimensional de la eficacia del docente.

Otros investigadores como Prosser y Trigwell (1990), Gibbs (1992) creen que el interés de estas evaluaciones se ha ido incrementando hacia el enfoque del aprendizaje de los estudiantes (hábitos de estudio, motivación hacia el aprendizaje) y las implicaciones de estos elementos con la valoración que hacen los estudiantes de la docencia. Centra (1979; 1993), Aleamori (1980, 1989, 1999) y Feldman (1984, 1986) han estudiado las variables de personalidad o comportamiento del profesor con variables de contexto tales como el tamaño de la clase, el sexo o la disciplina académica. Ramsden y Martín (1992) y Murray (1984) se han preocupado por conocer el uso particular de estas evaluaciones como un elemento de juicio para decisiones personales.

Ahora bien, las variables que señalan los investigadores como indicativas de la competencia docente han sido estudiadas por su relación con el aprendizaje de los estudiantes e incluye medidas de la habilidad académica, años de la educación, años de la experiencia de la enseñanza, medidas sobre la materia y conocimiento de la enseñanza, y el comportamiento de enseñanza en la sala de clase. Cabe indicar que los resultados de estos estudios se han mezclado con algunas tendencias que han emergido en años recientes, lo cuál ensombrece un poco los resultados obtenidos hasta el momento.

En el siguiente apartado presentamos algunos de los predictores de competencia docente más conocidos y estudiados por los investigadores, entre los que se destaca: la inteligencia y las habilidades del profesor, el conocimiento de la materia que imparte, la metodología empleada y la habilidad para enseñar.

199


2.1. La inteligencia y las habilidades del profesor

Históricamente, la inteligencia y la habilidad del profesor han sido variables importantes del debate sobre competencia docente pues se supone que los profesores conocen una determinada rama del saber y tienen habilidad para ayudar a otros a comprenderla.

En los años 40 algunos investigadores como Hellfritzch (1945), LaDuke (1945), Rostker (1945) y Skinner (1947) encontraron correlaciones positivas entre la habilidad para la enseñanza y las medidas de la inteligencia de los profesores (medida generalmente por IQ) o de capacidad académica general. Resultados similares fueron encontrados por Morsh y Wilder (1954) quienes revisaron 52 estudios en el período correspondiente entre 1902 y 1952, encontrando correlación con la eficacia docente en torno al 0.30 y 0.15 en solo 16 de esas investigaciones, dado que en los otros estudios se vislumbraron correlaciones negativas.

A pesar de esta evidencia empírica, otros estudios como los de Bowles y Levin (1968), Coleman (1966) y Hanushek (1971), han sugerido que la capacidad verbal de los profesores está íntimamente relacionada con el logro del estudiante. Según Summers y Wolfe (1975), esta relación puede hacer y marcar una fuerte diferencia en los profesores con diversos tipos de estudiantes. Murnane (1985) añade que la capacidad verbal ha sido hipotetizada como una medida de la habilidad del profesor para trasmitir ideas claras y convencer a los estudiantes de su conocimiento.

Sobre este tema, Darling-Hammond (2000) considera que la mayoría de las relaciones encontradas por los autores a través de diferentes épocas en que se han estudiado estas variables son pequeñas y estadísticamente 200


insignificantes como para ser consideradas predictores importantes de eficacia docente. Schalock (1993) y Soar, Medley y Coker (1983) lo explican de manera semejante y concluyen que existe escaso o nula de relación entre la inteligencia medida al profesor y el logro de sus estudiantes. Vernon (1965) y Murnane (1985) argumentan que esta falta de relación entre las medidas del coeficiente de inteligencia y la eficacia del profesor se puede deber a la falta de variabilidad entre profesores en esta medida y su tenue relación con el rendimiento.

A nuestro juicio, podemos destacar que, aunque algunos investigadores consideren que la inteligencia y la habilidad del profesor son predictores de competencia docente, no parece que existan correlaciones significativas entre ambas como para ser considerados fuertes predictoras de eficacia docente. No obstante, como en todo este debate, hacen falta estudios que se desarrollen con mejores métodos estadísticos para llegar a conclusiones más profundas y palpables.

2.2. Conocimiento de la materia y organización

El conocimiento de la materia de clase es otra variable que se ha considerado podría estar relacionada con la eficacia del profesor y muchos investigadores20 la han incluido en sus trabajos. En este sentido parece lógico que el profesor conozca en profundidad lo que va a enseñar y cómo lo va a enseñar. Goddard, Hoy y Woolflok (2001) señalan que existe cierta evidencia

20

Ver por ejemplo en España: Ibáñez (1990); Mateo y otros (1996); Alvarez y otros (1999); González y otros (1999). También en el contexto internacional últimamente destacan: Pedhazur (1997); Saroyan y Amundsen (2001); Ting (2001); Goodard y otros (2001) y las excelentes revisiones de Abrami (1990, 1991); Cohen (1981, 1986, 1987).

201


para resaltar esta afirmación; no obstante, los resultados no han sido tan fuertes y constantes como se puede suponer.

Los estudios de las evaluaciones de los profesores en las pruebas sobre el conocimiento de la materia de la National Teacher Examinations (NTE) no han encontrado ninguna relación constante entre esta medida de conocimiento de la materia de clase y el funcionamiento del profesor, medida a través de los resultados del estudiante. La mayoría de los estudios tales como: Abrami y d’Apollonia (1991), Andrews, Blackmon y Mackey (1980), Ayers y Qualls (1979), Haney, Madaus y Kreitzer (1987), Quirk, Witten y Weinberg (1973) y Summers y Wolfe, (1975), muestran correlaciones pequeñas y estadísticamente insignificantes, ya sean positivas o negativas. Quirk y otros (1973) revisaron 80 estudios, de los cuales sólo 20 utilizaron medidas de eficacia y no aparecieron relaciones significativas entre conocimientos y eficacia docente.

Byrne (1983) resumió los resultados de treinta estudios que relacionaban el conocimiento de la materia de clase de los profesores con el logro de los estudiantes. Las medidas del conocimiento del profesor eran dos pruebas: a) estandarizada o construida por los investigadores, por el b) número de los cursos tomados en la universidad en relación con el tema de clase. Los resultados de estos estudios eran dispares, 17 mostraban una relación positiva y 14 no mostraban ninguna relación. Sin embargo, el autor señala que muchos de los estudios que no mostraban ninguna relación tenían tan poca variabilidad en la medida del conocimiento del profesor, que los resultados insignificantes eran casi inevitables. Por su parte, Ashton y Crocker (1987) encontraron solamente 5 de 14 estudios que analizaron con relación positiva entre las medidas de conocimiento de la materia de clase y el funcionamiento del profesor.

202


Worthington (2002) considera que puede ser que estos resultados estén mezclados porque el conocimiento de la materia de clase es una influencia positiva hasta un cierto nivel de la capacidad básica en el tema, pero son menos importantes después de eso. Por ejemplo, Hawk, Coble, y Swanson, (1985) en un estudio controlado con los profesores de matemáticas, correspondido por los años de experiencia y la configuración de la escuela, encontraron que los estudiantes que habían trabajado con profesores certificados en matemáticas, experimentaron aumentos perceptiblemente más grandes en el logro que aquellos quienes habían tomado clases con los profesores no certificados en matemáticas.

Tiene sentido que el conocimiento de la materia que se enseñará es esencial para la buena enseñanza, pero también este avance es más pequeño cuando se pasa de un cierto nivel básico que excede las demandas del plan de estudios que se enseña. Esta interpretación es apoyada por Monk (1994) en un estudio reciente sobre el logro en matemáticas y ciencias. Se usaron los datos de 2829 estudiantes en un estudio longitudinal de jóvenes americanos. El autor encontró que el contenido de la clase estaba íntimamente ligado con su preparación y organización, como medida del trabajo del curso en la materia; éste estaba positivamente relacionado con el logro del estudiante en Matemáticas y Ciencias. No obstante, esa relación no era lineal sino curvilínea con una disminución en el logro del estudiante en el tema de estudio por encima del umbral.

En este sentido, podemos manifestar que el conocimiento de la materia se encuentra muy relacionado con la organización y la planificación de la clase misma. Trent y Cohen (1973), Marsh (2001), De Miguel (1998), Nuhfer (1996), Frey, Leonard y Beatty (1975), Feldman (1997), Marsh y Roche (1993, 1997), Coffey y Gibbs (2001) y Centra (1993), entre otros, han propuesto el empleo de esta dimensión como un factor de eficacia docente. 203


En un análisis multinivel, Monk y King (1994) encontraron efectos positivos y negativos, pero generalmente insignificantes acerca de la preparación u organización de la clase y el logro de los estudiantes. Los autores hallaron cierta evidencia de otros efectos acumulativos anteriores, así como también los efectos de la preparación de la clase, aunque todos éstos tenían una leve influencia con el logro del estudiante en matemáticas.

Druva y Anderson (1983) en una revisión de 65 estudios sobre las características y el comportamiento de los profesores en ciencia encontraron que el logro en ciencia de los estudiantes estaba positivamente relacionado con las variables de contexto de los cursos que los profesores habían tomado. La relación entre los estudios de los profesores y el logro del estudiante era mayor en los cursos de la ciencia a niveles altos. Hawk, Coble, y Swanson (1985) encontraron resultados similares pero en el campo de las matemáticas.

Para Pedhazur, Spencer

y Gellman (1997), en alguna medida eso

demuestra que el nivel de conocimiento sobre el tema de estudio tiene una pequeña

diferencia en los resultados alcanzados por los estudiantes. Las

medidas del curso tomado por los profesores en un área específica frecuentemente se han relacionado con el rendimiento que tiene el profesor en las pruebas de conocimiento sobre la materia. No obstante, en los Estados Unidos la mayoría de las pruebas que se realizan a los profesores han utilizado las medidas de las pruebas de opción múltiple las cuales no son muy útiles para evaluar la capacidad de los profesores en otros aspectos docentes como analizar y aplicar conocimiento.

En los meta-análisis de Cohen (1986, 1987) con un grupo de 41 estudios bien escogidos, el autor encontró un coeficiente de 0.34 entre el rendimiento del estudiante y el conocimiento de la materia, poniendo en evidencia una 204


moderada relación entre ambas variables. No obstante, en el mismo estudio, el autor resalta que se observa una alta correlación, coeficiente de 0.57, entre la estructura y logro, lo cual está altamente relacionado con la preparación y organización de la clase. Pese a esto, Marsh y Hau (1997), en un estudio sobre el tema, no encontraron correlaciones significativas entre organización de la clase y la valoración del profesor.

Una consideración importante que queremos anotar sobre todo este tema es que los estudios han hallado relación entre el conocimiento de la materia, la organización y el rendimiento del estudiante, por eso estos predictores se encuentran presente en la mayoría de las investigaciones sobre eficacia docente.

2.3. La metodología y actividades de enseñanza

Obviamente, el conocimiento de la materia a enseñar y de los métodos utilizados para hacerlo son absolutamente necesarios para el éxito del profesor, aunque como todo, estos elementos no son suficientes para asegurar el éxito de la enseñanza, hace falta quizás una buena metodología y actividades de enseñanza que involucren a los estudiantes.

Biggs (2001) afirma que los profesores necesitan disponer de actividades de enseñanza- aprendizaje (TLAs teaching/learning activities) para animar a los estudiantes a hacer cosas que probablemente les haga desear trabajar más para obtener mejores resultados de aprendizaje. Claro está, advierte el autor, que los métodos de enseñanza deben ser adecuados al nivel y al tipo de clase que imparte el profesor. Por otra parte, se requiere que el profesor no

205


solamente se presente a los estudiantes conociendo la materia de clase, sino, que amplíe su entendimiento a situaciones de cambio.

La investigación sobre la influencia de las actividades intruccionales en el aprendizaje de los estudiantes ha sido ampliamente estudiado, aunque no por ello criticado y cuestionado profundamente. En una investigación muy importante de Kulik y Kulik's (1979) sobre la eficacia docente en la universidad, los autores sugieren, apoyados en sus resultados, que el aprendizaje tiene más relación con la motivación individual de estudio fuera de la clase que con lo que el instructor hace dentro de ella. Murray (1990) en un repaso de algunas investigaciones encontró totalmente lo opuesto. No obstante, el autor halló

pequeños problemas de medida en los estudios

focalizados más en lo concreto y observable "baja inferencia", en las prácticas de enseñanza, que cuando los estudios dependían de descriptores de "alta inferencia". En comparación con las medidas de alta inferencia, el comportamiento de baja inferencia es menos propenso a una interpretación sesgada y más probable de ser reportado por más de un observador. Pero, a pesar de la superioridad metodológica de los estudios de baja inferencia sobre los de alta inferencia, en la revisión que el autor hizo de la literatura, encontró que el enfoque dominante en los estudios era la alta inferencia. También halló que los estudios hacían menos referencia a las actividades instruccionales, referido sobre todo a la falta de estudio sobre la relación entre la valoración instruccional por parte de los estudiantes y el aumento en la motivación y el aprendizaje de los estudiantes. No obstante, Cohen (1986, 1987) encontró coeficientes muy bajos de 0.31 en relación con el interés/ motivación con el rendimiento del estudiante.

Pese a los problemas metodológicos que se han encontrado, nosotros creemos que la investigación sobre la enseñanza universitaria ha logrado dos grandes conclusiones con respecto a la práctica en clase: es de naturaleza 206


multidimensional y

cada dimensión de la eficacia docente está

interrelacionada, como una función de los resultados de los estudiantes ( ver: McKeachie, 1988, 1990; Marsh, 2001; Murray, 1990; Kulik y Kulik, 1979). Por ejemplo, Feldman (1989) señala que la claridad correlaciona con el logro de los estudiantes y la motivación, según Murray (1990) tiene relación con la matrícula de los cursos. Mientras que Kulik y Kulik (1979) se inclinan a considerar que las lecturas y las discusiones de clase correlacionan con la adquisición de conocimiento, las discusiones de clase parecen ser más eficaces para incrementar las habilidades para resolver problemas. En suma, nosotros creemos que las discusiones de clase, las habilidades en el pensamiento crítico y otros elementos, pueden ser una influencia positiva para animar a los profesores en procedimientos de solución de problemas.

De las prácticas de enseñanza, Gamson (1994) y Tinto (1997, 1998) han señalado que el aprendizaje colaborativo es el más prometedor para brindar apoyo al desarrollo del estudiante. El aprendizaje colaborativo requiere del esfuerzo intelectual del grupo. La práctica del aprendizaje colaborativo en las clases universitarias es un campo para atraer la conversación social sobre los problemas específicos a fin de incrementar el pensamiento reflexivo de los participantes, por lo tanto, es una adquisición propia de conocimiento.

En los estudios (ver por ejemplo: Cabrera, Nora, Bernal, Terenzini y Pascarella; 1998; Johnson, Johnson y Smith, 1991; Levine y Levine, 1991; McKeachie, 1990; Pascarella y Terenzini, 1991; Tinto, 1997), el aprendizaje colaborativo se ha encontrado que está positivamente correlacionado con la solución de problemas, retención del conocimiento, logro, aplicación de conceptos, sensibilidad hacia los compañeros, aptitudes positivas hacia los sujetos del área, comportamiento de liderazgo de los estudiantes, apertura estudiantil hacia la diversidad y persistencia.

207


A nuestro juicio, las prácticas de enseñanza son un buen campo para desarrollar soluciones creativas a los problemas abiertos y cerrados; constituyen la habilidad requerida en todas la profesiones para poder motivar, interesar y desarrollar el éxito en los estudiantes. Para Dym (1994) y Schon (1987), todo este proceso requiere de diálogo interactivo, demostraciones, preguntar, escuchar, clarificar objetivos, entender otros puntos de vista y sobre todo, comunicarse en el amplio sentido de la palabra.

2.4. Habilidad para enseñar

Allen (1966) y Borg (1977) han destacado que es necesario desarrollar ciertas habilidades específicas en los cursos de formación del profesorado para aumentar la capacidad de éxito de los docentes en sus cursos. Todo esto se ha expandido paralelamente a la aparición de la preocupación por el estudio de la interacción en clase de Flanders (1970) y al incremento de la investigación basada en el paradigma proceso-producto de Dunkin y Biddle (1974) y Doyle (1977).

De la Orden (1990) establece que todos los esfuerzos se apoyan en el presupuesto de que la demostración de capacidad y competencia en las destrezas necesitadas por un profesor incrementan su probabilidad de éxito en la enseñanza. Y,

por tanto, los profesores que dominan un determinado

conjunto de estas destrezas serán más eficaces que aquéllos que no las poseen. No obstante, esta hipótesis no está del todo confirmada y los resultados obtenidos por los investigadores han sido muy diferentes.

Las investigaciones han encontrado una influencia algo más fuerte y más constantemente positiva en la habilidad para enseñar, relacionado con la 208


eficacia de los profesores. Ashton y Crocker (1987) hallaron relación positiva significativa entre el trabajo del curso y el rendimiento del profesor en cuatro de los siete estudios que ellos analizaron. Evertson, Hawley, y Zlotnik (1985) señalaron un efecto constantemente positivo en el entrenamiento convencional de los profesores y relacionado con lo que el estudiante aprendía en 11 de 13 estudios en los que profundizaron. Con respecto al trabajo del curso, 5 de 8 estudios que repasaron no encontraron ninguna relación y los otros tres encontraron asociaciones muy pequeñas.

Monk (1994) comprobó que el trabajo durante el curso tenía un efecto positivo en lo que el estudiante aprendía y a veces era más influyente que la preparación adicional sobre el tema. En un caso contrario, Perkes (1967- 68) no encontró relaciones perceptibles entre el trabajo en clase y lo que el estudiante aprendía. Obviamente, los profesores con una mejor educación utilizaban diversas técnicas y discusiones para acentuar las aplicaciones conceptuales de sus ideas, mientras que los que tenían menor conocimiento pusieron más énfasis en la memorización.

En un estudio con 200 graduados de un programa de educación, Ferguson y Womack (1993) analizaron la influencia de la enseñanza, el trabajo durante el curso y el rendimiento docente utilizando 13 dimensiones. Ellos encontraron que la cantidad de trabajo durante la educación de los profesores explicaba más de cuatro veces la varianza en el funcionamiento del profesor (16,5 por ciento) que las medidas de conocimiento, las cuales explicaron menos de 4 por ciento. En un estudio similar, que comparara el rendimiento del profesor con la relativa influencia de diversas clases de conocimiento, Guyton y Farokhi (1987) encontraron una relación positiva entre la educación del profesor, el trabajo del curso y el rendimiento del profesor en la sala de clase. No obstante, destacan que la relación entre el rendimiento docente y el conocimiento de la materia es positiva pero insignificante. También señalan que la relación entre 209


el rendimiento del profesor en la sala de clase y su habilidades básicas para enseñar es casi inexistente. Otro estudio de Denton y Lacina (1984) observaron relación positiva entre el trabajo del curso durante los estudios profesionales de los profesores y su rendimiento, incluyendo el logro de sus estudiantes. Podemos manifestar que existe cierta evidencia empírica que demuestra concordancia entre la preparación anterior del profesor, el trabajo durante el curso y su rendimiento.

Puede ser que los efectos positivos del conocimiento sobre el tema se vean aumentados o compensados por el conocimiento sobre cómo enseñar a los estudiantes. Es decir, el grado de habilidad pedagógica puede interactuar con el conocimiento de la materia para reforzar o reducir el rendimiento docente universitario. Como Byrne (1983) argumentó: “seguramente es plausible sugerir que el conocimiento de un profesor proporciona la base para su eficacia, pero el conocimiento más relevante será el que se refiere a un aspecto determinado y a las estrategias pedagógicas relevantes para enseñarlo a los estudiantes. Si el profesor debe enseñar fracciones, entonces debe conocer fracciones y quizás conocer elementos relacionados con este tema... al igual será importante conocer las estrategias relevantes para que la enseñanza de fracciones sea importante para los estudiantes” (p. 14)

Tratando de interpretar las palabras anteriores, podemos manifestar que la clase y la calidad del desarrollo profesional así como la educación anterior pueden diferenciar la forma en que un docente universitario desarrolle sus destrezas durante la clase, pero debe estar adecuado a los intereses del estudiante. Varios estudios recientes han encontrado que los niveles más altos de logro de los estudiantes están asociados a las oportunidades de los profesores en su desarrollo profesional (ver: Cohen y Hill, 1997; Wiley y Yoon, 1995; Brown, Smith, y Stein, 1995). En estos estudios, la clase y el desarrollo profesional tienen relación con la práctica de la enseñanza y el logro del estudiante. Sobre este tema, podemos plantear que aquellos profesores con un mejor entrenamiento y con posibilidades de mejorarlo pueden 210


probablemente utilizar esos conocimientos para incrementar el logro de sus estudiantes. Aunque esta asunción es todavía muy discutida.

Al respecto, Marsh y otros (1997) y Ting (2001) sugieren que estos resultados podrían indicar que no es importante solamente el conocimiento adquirido y la habilidad para enseñar sino también el entusiasmo del profesor por aprender y por relacionarlo con el logro creciente del estudiante; por tanto, el conocimiento y la habilidad para enseñar pueden ser elementos identificados con la eficacia docente, pero, al igual que otras variables, están fuertemente influenciados por otros factores que pueden modificar substancialmente su importancia.

2.5. El comportamiento, la comunicación y la interacción

La competencia docente ha sido estudiada a partir del comportamiento. Éste designa la manera de ser y de actuar del docente en la situación educativa, puesto que comprende el “conjunto de las conductas en correspondencia con las situaciones precisas que constituyen los estímulos socialmente definidos y, asimismo, la organización y la estructura de estas conductas” (Postic; 1996, pp. 21).

El comportamiento del sujeto depende, además, de la interacción con el medio ambiente, y cómo

logra percibirlo. El ambiente determina el

comportamiento del docente en un momento determinado. Este momento será parte del medio físico o psíquico presente, no su totalidad. El hecho de que un objetivo esté presente en el campo del individuo, sólo determina el comportamiento de este individuo con relación al objeto en ese momento. Se deduce que el comportamiento del docente en el aula es un momento 211


específico en la vida de éste que depende del medio ambiente que lo rodea, de las circunstancias y que se manifiesta en el momento de interacción con los otros; éste percibe la situación de una manera y es motivado a actuar de tal modo.

Ryans (1960) postula que el comportamiento del profesor es un comportamiento social, y no sólo considera la personalidad y su ambiente sino también el conjunto de factores del ambiente anteriores al acontecimiento estudiado y la consecuencias que resultan de ello sobre este entorno. Lo anterior evidencia que el comportamiento del docente se concibe como la forma de actuar del docente de acuerdo con la interacción con el ambiente en determinado momento, relacionado con los eventos anteriores y posteriores, de esa situación.

Reynold (1996) refiriéndose a lo mismo, señala que si el

profesor se implica en el proceso educativo, favorece y conlleva el mantenimiento de altas expectativas, por cuanto supone la asunción de un rol activo y comprometido en la ayuda, comunicación y refuerzo de los alumnos. En diversos estudios (ver Brookover y Lezotte, 1977; Mortimore, 1988; Sammons, 1998), se ha comprobado que la comunicación y refuerzo de las expectativas y su uso para estimular, intelectual y afectivamente, a los alumnos constituyen un factor diferencial de eficacia.

Ting (2001) señala que muchos investigadores apuntan a que los estudiantes reaccionan con más fuerza con las características personales del profesor que con otros factores en las valoraciones del curso. Siegfried y Kennedy (1995) afirman que los estudiantes tienden a dar más crédito a los profesores en lugar de valorar los materiales por los que ellos aprenden en clase y a menudo identifican la expresividad de sus profesores con la buena enseñanza. Murray y Lawrence (1980) advierten que la habilidad vocal y los movimientos expresivos, por ejemplo, tienden a mejorar las valoraciones de los cursos. 212


Los estudios sugieren que hay aspectos de la competencia docente que pueden estar relacionados con la educación del profesor, el estatus y la experiencia, pero no nos dicen mucho acerca de cuáles son los comportamientos o las habilidades de los profesores que marcan la diferencia en el rendimiento de los estudiantes. Las investigaciones sobre las características, el comportamiento y la personalidad de los profesores han producido pocos resultados, a excepción de los estudios que encuentran una relación positiva que se repite entre aprender del estudiante y “flexibilidad”, “creatividad”o “adaptabilidad”. Los profesores exitosos tienden a ser los que pueden utilizar un rango de las estrategias de enseñanza y un rango de estilos de interacción. Estos aspectos se encuentran constantemente en las investigaciones sobre la enseñanza eficaz, lo que sugiere según Doyle (1985) que los profesores eficaces ajusten su enseñanza para conocer las necesidades de diversos estudiantes y las demandas que ellos tienen sobre diversas metas, temas y métodos educacionales .

Además de la capacidad de crear y de adaptar estrategias educacionales, el fuerte desarrollo de la investigación con Marh (2001), Gibbs (1992b), Centra (1993), Feldman (1984, 1986), Abrami (1997), entre otros, han relacionado el aprendizaje del estudiante con variables tales como claridad, evaluación, organización, entusiasmo, comportamiento orientado a la función, la variabilidad en los enfoques de la lección y la oportunidad del estudiante por aprender la materia. Otros investigadores como Darling-Hammond, Wise y Pease (1983) y Good y Brophy (1986) han encontrado que la capacidad de los profesores por estructurar el material, por hacer preguntas, por utilizar las ideas del estudiante y explorar sus comentarios, también son variables importantes en el aprendizaje de los estudiantes. Aunque como hemos visto, no se ha encontrado ninguna estrategia educacional que sea invariablemente acertada; en su lugar, los profesores utilizan un amplio repertorio de habilidades y 213


destrezas (la enseñanza directa e indirecta, los acercamientos basados en la experiencia o basados en las habilidades, las conferencias y trabajo en grupo) son típicamente los más acertados. Good (1983) destaca que el uso de diversas estrategias ocurre en el contexto de la “enseñanza activa” que es determinada y diagnóstica, que responde tanto a las necesidades de los estudiantes como del currículo. En este sentido, la interacción juega un papel determinante, ya evidenciado en los estudios de Cohen (1986) y Marsh (2001) quienes encontraron una correlación de 0.52 para la interacción del profesor con el estudiante.

Desde nuestro punto de vista, la educación que recibe el profesor parece influenciar el uso de estas prácticas. Al respecto, Doyle (1986) plantea que las tareas originales requeridas para solucionar problemas son más difíciles de manejar que las tareas rutinarias asociadas a aprender de memoria, o la carencia del conocimiento sobre cómo manejar una sala de clase activa. Por esa razón, muchos docentes prefieren o están más a gusto con las clases pasivas. Evidentemente, toda esta propuesta depende en gran parte del tipo de asignatura que se trabaje, dado que en muchos cursos es difícil plantear clases activas.

En el siguiente cuadro, se plantea, a manera de resumen, un esquema de las propuestas y pensamientos más relevantes sobre los diferentes tópicos expuestos en esta discusión relacionada con los predictores más importantes de eficacia docente.

TABLA N° 10 RESUMEN DE LOS PREDICTORES UTILIZADOS EN LA EVALUACIÓN DE LA COMPETENCIA DOCENTE

Predictor

Tipo de relación encontrada

Inteligencia y habilidades

Relación positiva pero insignificante. Existe poco o nada de Darling-Hammond 2000; Soar, relación. Medley y Coker, 1983.

214


Conocimiento de la material y organización

Worthington 2002; Monk y King, 1994; Cohen, 1986, 1987.

El conocimiento de la materia influye poco y hasta cierto nivel académico. La organización tiene una alta correlación (0.57)

Metodología y actividades

Es importante motivar a los estudiantes para que deseen Worthington, 2002; Kulik y Kulik trabajar, pero no hay datos conclusivos. 1979. Habilidad para enseñar

Correlación positiva con el rendimiento del estudiante. Tiene Ashton y Crocker, 1987; Cohen y relación también con las oportunidades de estudios y con el Hill, 1997; Marsh y otros, 1997. entusiasmo del profesor. Comportamiento, la comunicación y la interacción

Existen pocos resultados con el comportamiento aunque se han encontrado relaciones positivas entre: comunicación, refuerzo Sammons, 1998; Centra, 1994; de expectativas, claridad, evaluación, organización, Feldman, 1984, 1986; Marh, entusiasmo, comportamiento, capacidad de los profesores por 2001; Darling-Hammond y otros, estructurar el material, por hacer preguntas, por utilizar las 1983. ideas del estudiante y explorar sus comentarios. El peso de la interacción 0.52

Abrami y D’Apollonia (1991) a manera de enmarque global, resumen e integran los trabajos de Cohen (1981, 1986, 1987)

en relación con las

correlaciones encontradas y analizadas en sus meta-análisis, observan algunos de estos predictores y su correlación con el aprendizaje de los estudiantes: apoyo= 0.31; interacción = 0.22; retroalimentación; 0.31 y evaluación: = 0.23. La correlación con el aprendizaje y dificultad es de –0.02, el total global del curso 0.47 y el total con el instructor 0.43.

Los autores mencionan que los factores mencionados de evaluación del profesor pueden variar de acuerdo al tamaño de la clase, como en el caso de apoyo e interacción. En un meta-análisis posterior (1986, 1987) reportó los siguientes coeficientes: estructura (0.55), interacción (.52), habilidades (.50), global del curso (.49), total del instructor (.45), aprendizaje (.39), apoyo (.32), evaluación (.30), feedback (.28); interes /motivación (.15) y dificultad (-.04), claridad de los objetivos del curso (0.35), habilidades (0.56), conocimiento sobre la materia (.34) y sensibilidad con el nivel de clase y progreso (0.30). El autor encontró una alta correlación entre estructura y logro pero era más una 215


función de

la preparación y organización (.57). Abrami y d’Apollonia

interpretan esos hallazgos de Cohen como conclusiones muy consistentes para el uso de las valoraciones de estudiantes.

El problema ahora es que las habilidades de los profesores cuando manejan las complejas tareas de la enseñanza y aprendizaje a un nivel más alto están asociadas a una variedad de elementos que varían constantemente entre unos y otros: capacidad verbal, adaptabilidad y creatividad, conocimiento del tema, organización, el entender de la enseñanza y de aprender, habilidades específicas de la enseñanza y experiencia en la sala de clase, así como interacciones entre estas variables. Litle (1999) describe además que las consideraciones entre enseñar, el conocimiento y la experiencia del docente universitario son factores que influyen en la eficacia docente. A lo que Darling-Hammond (1997b), añade que también influyen las condiciones de apoyo a la enseñanza individual y el efecto aditivo de la enseñanza entre clases, tales como: el tamaños de la clase, la carga de estudiantes por profesor, el tiempo y las oportunidades para planear y solventar problemas con los colegas y el apoyo apropiado de materiales y equipo, entre algunos de los muchos elementos de contexto que entran en este proceso tan complejo.

3.

OBSERVACIONES

En un análisis retrospectivo sobre la preocupación por conocer los componentes que integran la competencia docente, podemos observar que la idea ha permanecido invariable en las investigaciones dedicadas al tema, desde los inicios del siglo XX hasta el presente. Aunque según Greewald (1997), la época en donde se realizaron más estudios que trataron de proponer o unificar criterios fueron los años setentas. Durante esos años, muchas investigaciones 216


consolidaron propuestas relevantes sobre las dimensiones más importantes para evaluar al docente universitario. Al respecto, se pueden tener en cuenta los trabajos relevantes de Kulik y McKeachie (1975), Kulik y Kulik (1979), Feldman (1976, 1976ª, 1977, 1978) entre otros investigadores. No obstante y pese a ello, Marsh (1997) destaca que muchas de esas investigaciones, no las citadas, tenían serios defectos metodológicos que se deben poner en evidencia, dado que durante los ochenta y noventa la metodología de trabajo y los criterios de publicación mejoraron considerablemente.

Ahora bien, la cuestión por identificar claramente las dimensiones más importantes para evaluar a un docente universitario es un problema permanente al que se enfrentan investigadores, administrativos, decanos y directivos. Estos deben decidir primero, cuáles son los elementos más importantes y necesarios a distinguir del profesor competente para utilizarlos luego como criterios de su evaluación.

En esta tendencia, los enfoques, propuestas y planteamientos teóricos pueden encontrarse en muchas fuentes, pues este debate ha sido intenso durante mucho tiempo; hecho que ha producido una gran cantidad de literatura con innumerables posiciones teóricas, lo que evidentemente destaca y demuestra la complejidad que envuelve la docencia universitaria.

Nosotros, por nuestra parte, hemos citado una gran variedad de autores relevantes y de nuevas corrientes, que intentan de alguna manera delimitar los aspectos a destacar en la competencia docente universitaria. Claro está que este trabajo es difícil por el poco acuerdo que ya hemos señalado entre los investigadores. Sin embargo, es notorio que muchas de las dimensiones estudiadas son similares en los estudios y algunas de ellas tienen nombres iguales o diferente, pero se refieren al mismo componente de la docencia universitaria. En este sentido, podemos manifestar que existe un acuerdo 217


relativo en cuanto a la naturaleza multidimensional de la competencia docente pues la misma integra una serie de habilidades, destrezas, conocimientos y acciones. Pese al reconocimiento de la multidimensionalidad de la docencia universitaria, no existe acuerdo sobre cuáles son esas dimensiones, cuáles son las más importantes y cuales tienen mayor peso en la actividad docente. En este sentido, algunos investigadores se niegan a reconocer la existencia de tales dimensiones, argumentando el hecho de que no existe aún una definición específica de lo que es eficacia docente, por tanto, no podemos hablar de ninguno de sus componentes.

Una consideración importante en todo este debate y que hemos observado notoriamente, es que, de alguna u otra forma, las distintas exposiciones de los investigadores más relevantes han ampliado el camino de sus predecesores, tal es el caso de la propuesta de Isaacson y otros (1964), retomada por Kulik y McKeachie (1975). Este último fundamentó el trabajo de Cohen (1981) y así sucesivamente se puede elaborar una línea clara de trabajo y de dimensiones destacadas.

De todo este extenso debate podemos delimitar algunas conclusiones más o menos acordadas, pues las dimensiones de: organización, interacción, evaluación y comunicación, entre otras, aparecen comúnmente en una gran parte de los estudios e investigaciones sobre el tema. Tales dimensiones sugieren, de una u otra manera, un constructo multidimensional, ya muy debatido por Marsh, McKeachie y Greenwald. No obstante, la discusión destaca que esto no se refieren a si todas las dimensiones mencionadas son los componentes de eficacia o si son las más importantes de ella. Más aún, los estudiantes pueden diferenciar claramente los diferentes componentes de la competencia docente pero, como señala Marsh (1987), no si esos segmentos son importantes para entender la docencia efectiva.

218


Se ha destacado en toda esta discrepancia que las propuestas a veces son opuestas o antagónicas, porque, si empleamos ítems diferentes y dimensiones diferentes, obviamente los factores o dimensiones resultantes no van a ser iguales, dado que cada investigador enfatiza su interés teórico. Esto hace difícil el intento de realizar comparaciones cruzadas entre los estudios o para establecer cualquier hallazgo consistente; ahí podemos destacar uno de los principales problemas que envuelve la investigación sobre las dimensiones de la eficacia docente. Máxime también que si tratamos de buscar una solución factorial, podemos encontrarnos con múltiples rotaciones disponibles para nuestros datos, indudablemente esto agudiza el problema de la determinación de los factores que involucra la eficacia docente.

La literatura especializada se ha dedicado a estudiar durante los últimos 70 años qué predictores definen o se acercan al profesor eficaz y que variables de contexto inciden o no en estos estudios.

Hemos visto exposiciones detalladas sobre algunos de los predictores de eficacia docente más conocidos y mencionados como inteligencia y habilidades, conocimiento de la materia, organización, metodología, actividades de enseñanza, la comunicación y la interacción. Aunque para mayor detalle recomendamos las lecturas de Darling- Hamond (2000), Marsh (1987, 2001), Marsh y Roche (2000), Feldman (1989, 1997), De la Orden (1987, 1990), Centra (1993), Abrami (1990, 1991, 1997) y Wachtel (1998), que son aconsejables por su claridad y profundidad en el tratamiento de estos temas.

Ahora bien, una hipótesis es constante en la literatura y parece incuestionable: la inteligencia, la habilidad del profesor y el conocimiento de la materia están directamente relacionadas con el rendimiento del estudiante, por tanto, aquellos profesores que tengan estas competencias serán mejores 219


docentes. No obstante, los estudios empíricos han demostrado todo lo contrario a lo que era razonable esperar de estos predictores, pues han evidenciado que existe una relación estadísticamente insignificante entre esos componentes.

Resultados opuestos, pero no tan concluyentes como los anteriores, han sido hallados por quienes exponen que la

habilidad para enseñar, la

metodología y las actividades de clase son factores necesarios para apoyar la acción del profesor universitario, para motivar a los estudiantes a involucrarse en el proceso de enseñanza - aprendizaje y facilitar, de alguna forma, la comprensión y dominio de los elementos claves de su entorno académico. A pesar de que existe cierta evidencia positiva que confirma esta relación con el rendimiento del estudiante y la evaluación de la competencia docente, esta propuesta ha sido duramente criticada y hay quienes exponen que tiene mayor peso el interés del estudiante que esos predictores. Evidentemente hemos observado que existe una relación, pero, como todo proceso educativo, puede verse afectada por otros elementos relacionados con el interés y la motivación del estudiante, las oportunidades de estudio y el entusiasmo del profesor, entre otros.

Nótese que sí se han encontrado efectos positivos y determinantes en los criterios que tienen que ver con organización, comportamiento, comunicación e interacción y otros elementos relacionados directa o indirectamente con estos componentes. Piénsese que estos criterios identificados por los investigadores tienen una relación directa con lo que sucede en el aula y, por tanto, son un reflejo pertinente de la competencia docente, de los elementos reconocidos en el “buen profesor” universitario. Tales aspectos se han mencionado y utilizado mucho por los investigadores en sus diversas propuestas y aparecen consistentemente en sus estudios, a veces bajo el mismo nombre y otras veces bajo nombres diferentes, pero con el mismo significado.

220

Capítulo 5

VARIABLES RELACIONADAS CON LOS IMPLICADOS

Variables relacionadas con los implicados


VARIABLES RELACIONADAS CON LOS IMPLICADOS..........221 1.

ENFOQUE GENERAL ............................................................................................ 223

2.

CARACTERÍSTICAS DEL ESTUDIANTE .......................................................... 228 2.1. La nota esperada y el grado de indulgencia del profesor...................................... 228 2.2. El sexo .................................................................................................................. 234 2.3. Área de estudio o disciplina académica ................................................................ 237 2.4. La edad y los años en la universidad .................................................................... 239 2.5. El interés previo .................................................................................................... 242

3.

CARACTERÍSTICAS DEL PROFESOR UNIVERSITARIO ............................. 245 3.1. El sexo .................................................................................................................. 245 3.2. Rango académico.................................................................................................. 247 3.3. Edad y experiencia................................................................................................ 249 3.4. Número de publicaciones e investigaciones ........................................................ 251 3.5. Reputación del profesor ........................................................................................ 254 3.6. El efecto del Dr. Fox o de la seducción ................................................................ 255 3.7. La personalidad..................................................................................................... 258

4.

DE LA CLASE........................................................................................................... 262 4.1. Número de estudiantes.......................................................................................... 262 4.2. Optativa u obligatoria ........................................................................................... 269 4.3. Dificultad de la clase............................................................................................. 272 4.4. Cantidad de trabajo ............................................................................................... 273

5.

OBSERVACIONES .................................................................................................. 278

222


1.

ENFOQUE GENERAL

Es una preocupación constante en la investigación sobre la competencia docente universitaria, la consideración de aquellas variables implicadas o relacionadas con la capacidad y aptitud para el logro de los objetivos docentes e investigadores21. Al respecto, existen diversas posiciones que señalan la conveniencia de utilizar los ejes centrales del proceso educativo: el docente y el estudiante.

En este sentido, Biddle (1964) propone que se deben distinguir dos clases de variables: los comportamientos del profesor (variable independiente) y los efectos del profesor (variable dependiente). En primer lugar, como variable independiente, distingue los riesgos del comportamiento y las respuesta a las peticiones ambientales. En segundo, añade que deben observarse los efectos inmediatos (respuesta visibles en los alumnos, repuestas encubiertas de los alumnos) y los efectos a largo plazo (progresos de los alumnos, desenvolvimiento en clase, nuevas ideas en educación, ampliación de la profesión).

Aún más, desde una perspectiva metodológica podemos considerar que intentamos establecer asociaciones entre dos variables complejas: los resultados de aprendizaje (Y) y la competencia docente (X). Aunque en algunos casos puede parecer que (Y) actuaría como variable antecedente,

21

Múltiples estudios, tratan de definir las variables implicadas en el proceso educativo, pero estas cambian consistentemente (Nuhfer, 1996). Para explicarlo se han empleado los modelos de presagio producto, proceso – producto, ecológico, etc. (Braskamp, 1985; Doyle, 1975; Dunkin y Barnes, 1986; Gage, 1963) o por medio de los enfoques contemporáneos de: el modelo de objetivos, el modelo “producto”, el modelo de “supervisión clínica”, el modelo “artístico naturalista”. (McGreal, 1983)

223


explicativa o predictora de (X), en la mayoría de los estudios estas variables mantienen un status más ortodoxo: las destrezas o capacidades del profesor se analizan como variables predictoras de los resultados de aprendizaje.

No obstante, pensamos que junto a las variables del docente y del estudiante han de incluirse, además, variables de contexto, tanto de los profesores, de los estudiantes y de la clase. En primer lugar, se ha de hablar de las variables contextuales que afectan tanto al profesor como a los alumnos, en donde incluimos cuestiones de identificación y de perfil del alumno y del profesor con los que estamos trabajando. En segundo lugar, las variables que tienen relación con la clase (tamaño del curso, categoría electiva o no, etc.). Algunas propuestas sobre las variables de contexto pueden verse en Cohen (1981), Aleamori (1999) y Abrami y otros (1990) quienes en artículos muy importantes y conocidos, sugieren que los efectos de tales variables, son potencialmente importantes pero no son suficientemente grandes como para invalidar el proceso de evaluación. Sin embargo, creemos que son importantes de estudiar, debido a que se encuentran involucradas en el proceso educativo y nos pueden permitir explicar el fenómeno con más elementos de juicio.

Para conocer las variables de contexto, Abrami y otros (1988) solicitaron a dos expertos en evaluación docente, que listaran las variables que bajan o aumentan la habilidad de las valoraciones de estudiantes para predecir el aprendizaje de los estudiantes. Los expertos señalaron 60 características que dividieron en ocho categorías. Los autores recolectaron más de 1200 características de las investigaciones anteriores.

En un estudio posterior, Abrami y otros (1990) proponen cuatro divisiones, relacionadas con la evaluación docente, pero la tercera división, la que ellos denominan “características explicativas”, involucra las características sustantivas que podrían influenciar las relaciones entre las valoraciones de 224


estudiantes y el logro de la medida. Esta división es la que nos interesa plenamente y la detallamos a continuación:

1.- Características del instructor: son las características de los individuos responsables de la enseñanza de la sección de un curso y los métodos y los procedimientos de instrucción: a) rango (estudiante graduado, a tiempo completo) b) estándar de instructor (la diferencia percibida en dificultad, nivel de instrucción) c) sexo (todos hombre, u hombre y mujeres) d) tipo de curso (laboratorio o tradicional) e) experiencia del profesor (líder de discusión o expositor) f) experiencia del profesor (ninguna o segundo año) g) autonomía del instructor (completa, 30% de calificación) h) personalidad (entusiasmo, autoritario) i) tiempo de enseñanza (4 horas pro semana, 60% del curso) y j ) otras (grados conseguidos).

2.- Las de los estudiantes: características matriculados en los cursos: 1) habilidad (puntajes en los test), 2) sexo (hombres o mujeres), 3) nivel académico (nuevo ingreso o no), 4) personalidad (motivación intrínseca o razones de matrícula), 5) especialidad (ingeniería, psicología) y 6) otras (nota esperada, cantidad de trabajo, demográficas).

3.- Las del curso: características del curso multisección: a) tipo de curso (letras o ciencias), b) nivel (introductorio o de final de año) c) duración (un semestre o 400 horas) d) Electiva (requerida o electiva) y e) contexto (práctica, etc.),

4.- Los efectos del ambiente. Rasgos contextuales que podrían afectar las valoraciones de los estudiantes o el logro de las medidas: a) tiempo de clase (por la tarde o por la mañana, días), b) estación (primavera o invierno), c) institución, d) clase (ambiente psíquico), y e) tamaño de la clase. (Abrami y otros, 1990, págs. 225-226). 225


En resumen, podemos decir que las variables más importantes y que mayor peso tienen corresponden al docente y el estudiante. Sobre ellos, descansa, como bien es conocido, toda la estructura y el engranaje del proceso educativo: esto es indiscutible. Evidentemente, es necesario conocer las características de los sujetos involucrados: aún cuando los investigadores han demostrado que tales elementos pueden tener un peso mínimo no significativo sobre la variable de estudio o pueden, no tener ningún peso. La utilización en conjunto de todas las características del instructor, de los alumnos, del curso y del ambiente generan determinantes que en grupo, podrían ser muy interesantes para estudiar y considerar. Un acercamiento de este tipo afirma Abrami (1990) depende del juicio prudencial del investigador, de su empleo y del análisis posterior que realice.

Desde este ángulo, trataremos estudiar de las características del contexto en la evaluación de la competencia docente por parte de los estudiantes y de esa manera analizar los estudios e investigaciones más relevantes, las aportaciones de los autores y los elementos más candentes del debate.

Basándonos en Abrami y otros (1990), creemos conveniente retomar la división denominada “características explicativas” de la evaluación docente, debido a que involucra tres elementos que nos interesa particularmente estudiar: características del profesor, del estudiante y de la clase.

Evidentemente el contexto del profesor, el alumno y la clase frecuentemente ha sido mencionado por el influjo que puedan tener algunas de sus características, como el tamaño del curso, el sexo del estudiante y del profesor y la cantidad de investigaciones del profesor, en la valoración de los estudiantes. Por esa razón los investigadores han tratado de estudiar estas hipótesis para determinar su relación con la evaluación de los estudiantes, pero 226


al verificar estas relaciones pueden ocurrir problemas metodológicos, puede que el método no sea adecuado o puede estar sesgada la interpretación en uno u otro sentido.

Villa y Morales (1993) destacan algunas de las irregularidades metodológicas o interpretativas que pueden darse en este tipo de estudios.

a) Un error frecuente de método es emplear el dato del alumno individual y no la media de clase como unidad de análisis. b) Al interpretar los datos se pueden confundir “relación entre” con “causalidad”; también suele confundirse la “significación estadística” con “relevancia”. c) Una relación de alguna de las características de contexto con la evaluación que hacen los estudiantes del profesor no es un dato en contra de la validez. Los autores recomiendan examinar si la relación esperada es plausible, si es lo que lógicamente se podría esperar. d) Otra irregularidad consiste en generalizar los resultados cuando un estudio se ha hecho en unas pocas clases o en una sola institución. El dato que describe una situación limitada no se puede extrapolar indebidamente. (pág. 67)

Algunos autores, incluyendo a Brandenburg (1977) y Tatro (1995), argumentan que las variables de contexto pueden producir algunos efectos significativos en las valoraciones de estudiantes. Los autores afirman que la mera existencia de correlación entre las variables de contexto y las valoraciones de estudiantes de la competencia docente, no necesariamente constituye un sesgo o una amenaza a la validez. Por ejemplo, se ha encontrado que la esperanza de nota por parte del estudiante está asociada a la evaluación que hace de su instrucción, pero eso no lleva a que el profesor obtenga buenas calificaciones simplemente por dar altas notas a los estudiantes. Watchel 227


(1998) considera que pueden brindarse explicaciones alternativas que incluyan la posibilidad de que la eficacia docente pueda inspirar a los estudiantes a trabajar más fuerte y a obtener mejores resultados. Obviamente, se requieren investigaciones más cuidadosas para determinar la naturaleza de la relación entre las variables de contexto y las valoraciones de estudiantes de la docencia universitaria.

Tomando la división de Abrami (1990), detallaremos algunos estudios y variables que nos interesa destacar por su aportación al debate que iniciamos. Daremos un vistazo a las características del estudiante, la nota esperada, los años de estudio, la disciplina académica y otras variables más. Posteriormente, detallaremos algunas relacionadas con el profesor y, finalmente, con la clase, la cantidad de estudiantes y la obligatoriedad. Trataremos analizar el estado de la cuestión de algunas investigaciones de autores reconocidos y que nos pueden indicar, lo que hasta este momento se ha encontrado y lo que no, sin que esto ponga en evidencia que se trata de conclusiones claras y firmes.

2.

CARACTERÍSTICAS DEL ESTUDIANTE

2.1. La nota esperada y el grado de indulgencia del profesor

Una de las mayores controversias alrededor de la evaluación de la competencia docente, por parte de los alumnos, lo es la nota esperada y el grado de indulgencia del profesor. La mayoría de los profesores, sobre todo los principiantes, consideran que los estudiantes que esperan y reciben altas calificaciones, les otorgarán a ellos altas puntuaciones en la valoración de su acción docente, solamente por haberles facilitado la obtención de una mejor calificación o por ser indulgentes con ellos. Braskamp y Ory (1994), Centra 228


(1979), DuCette y Kenney (1982), Feldman (1976a, 1997), Howard y Maxwell (1980) y Marsh y Dunkin (1992) recalcan que existe una moderada correlación entre estas variables y consideran que los estudiantes que esperan notas altas pueden ofrecer valoraciones más favorables a sus profesores.

Marsh (2001) considera que la comparación entre esas variables es complicada, debido principalmente a que el grado de correlación con el “SET” tiene pequeñas pero distintas implicaciones; en este sentido, podemos destacar que la nota esperada refleja la combinación de las características previas del curso y de los estudiantes, del aprendizaje de éstos y de los estándares de calificación del profesor. Así mismo, el autor señala que es difícil operacionalizar el grado de indulgencia del profesor y afirma que la media de la esperanza de nota de la clase, no representa el grado de indulgencia del profesor, a menos de que pre-existan características del estudiante/ curso y que el logro del estudiante sea controlado.

Sobre este aspecto, los estudios correlacionales han reportado amplia inconsistencia entre la relación calificación o nota y la valoración de la docencia universitaria. Aleamori (1999) citando investigaciones de Aleamori y Hexner (1980), Baird (1987) y Gigliotti y Buchtel (1990) destaca que en 24 estudios analizados no se encontró relación entre ambas variables. No obstante, en otros 37 trabajos (ver: Aleamori y Hexner, 1980; Blunt, 1991; Cohen, 1989; Goldberg y Callahan, 1991; Nimmer y Stone, 1991; Rodabaugh y Kravitz, 1994; Sailor, Worthen y Shin, 1997; Scherr y Scherr, 1990; Trick, 1993; Wilson, 1998) se evidenció una significativa correlación positiva. Esto muestra que los resultados son contradictorios, debido a que sus resultados no son determinantes para demostrar la relación o no de ambas variables. Sin embargo, algunos investigadores destacados como Brandenburg y otros (1977), Marsh y Overall (1980), Centra (1979, 1988) Marsh (1987), Braskamp y Ory (1994) y Marsh y Dunkin (1992), entre otros, manifiestan que existe una 229


positiva correlación entre la esperanza de nota y las evaluaciones de los estudiantes, aunque éstos advierten que dicha relación es mínima. Por su parte González S. (1998) citando a Aparicio y otros (1982) y a Belcher (1991) señala que gran parte de las correlaciones entre esas variables, se sitúa en 0.16. Sin embargo, también se ha encontrado correlación entre los rangos de -0.75 y 0.75, lo que según los autores se debe a razones de orden metodológico.

En década de los setentas, diferentes investigaciones observaron relación entre la valoración de la competencia docente y la esperanza de nota, aunque tal relación a veces era negativa y otras veces positiva, pero con un peso muy débil. Sailor, Worthen y Shin (1997) encontraron una relación negativa en aquellos cursos que estaban cercanos a la graduación del estudiante. Cabe destacar que esa relación era relativamente pequeña, con un 0.14 como media y con una desviación estándar de 0.18. Por su parte Rodin y Rodin (1972) señaló una alta y negativa relación entre el rendimiento del estudiante en pruebas y su valoración del profesor. Los resultados obtenidos por este estudio fueron rebatidos en un estudio metodológico de Rodin, Frey y Gessner (1975). En la replicación del estudio se emplearon profesores regulares en lugar de los asistentes y se utilizaron formularios de valoración más sofisticados, lo que dio como resultado una correlación positiva en vez de una negativa.

Otras revisiones más recientes de Marsh (1987), Marsh y Roche (1997, 2000) y Feldman (1997) concluyen que la relación entre la media de clase de la nota esperada y el total de la valoración del profesor es cerca de 0.20. Aunque los mismos autores previenen que el tamaño de esta relación varia dependiendo mucho de los factores particulares de los “SET”. En este sentido Marsh, Huo y otros (1997) acentúan que la correlación más alta que existe es cercana a 0.30 pero únicamente para las valoraciones de estudiantes relacionadas con el factor Aprendizaje/ Valor, porque en otros factores (organización, entusiasmo, apoyo) no han encontrado relación con la nota esperada. 230


Por otra parte, si observamos el grado de indulgencia del profesor, se puede decir también que numerosos estudios han investigado este tema, en particular recomendamos a Chacko (1983), Marsh (1987), Nimer y Stone (1991) y Greenwald y Gillmore (1997a). Algunos de los investigadores encontrados en la literatura, como: Chacko (1983), Koshland (1991), Nimmer y Stone (1991), Powell (1978), Zinder y Clair (1976), Vasta y Sarmiento (1979) y Greenwald y Gillmore (1997a), entre otros, argumentan que el grado de indulgencia del profesor afecta a las valoraciones de estudiantes. Por su parte Abrami (1980), Howard y Maxwell (1980), Marsh (1987) y Theall y Franklin (1991) rechazan esta afirmación

Chacko (1983) señaló que los profesores estrictos hacen que los estudiantes lo evalúen bajo en los componentes relativos a humor, autoconfianza y actitud hacia los estudiantes. Nimer y Stone (1991) se expresan de la misma forma al encontrar que esta hipótesis del grado de indulgencia era una fuente posible de sesgo en la evaluación de los estudiantes de la competencia docente, y que este sesgo es más pronunciado cuando la evaluación se administra cerca de una prueba final. Goldberg y Callaham (1991) encontraron que los profesores adjuntos tendían a brindar y a recibir notas más altas que los profesores a tiempo completo y de un mayor rango en la Universidad, ahí los estudiantes no premiaban el estatus del profesor. Greenwald y Gillmore (1997a) demostraron que la calificación benevolente tenía una muy fuerte relación con las valoraciones que hacen los estudiantes de su profesores. Por su parte McKeachie (1997) está de acuerdo en que el grado de indulgencia puede afectar algunas veces a las valoraciones de estudiantes, sin embargo, considera ingenuo el análisis realizado por Gillmore (1997a).

231

Greenwald y


Marsh (2001) también replica este estudio y destaca que controlando otras variables como la cantidad de trabajo y el contexto, se elimina este efecto de los “SET”. Más aún, el autor propone que si se desea realizar un estudio más adecuado, no se debe de emplear la media de clase, sino que se requiere de una medida previa del interés por la materia y una medida objetiva del aprendizaje. En su artículo, el autor considera que deben ser controlados los efectos previos del estudiantes de las características del curso y otros indicadores de eficacia docente, que no están basados en las valoraciones de estudiantes. En el mismo sentido se expresan Marsh y Roche (2000) argumentado que es necesario, antes de señalar que la nota esperada puede ser interpretada como grado de benevolencia, controlar los efectos de aprendizaje percibido por medio de medidas objetivas. Según Marsh (2001) los efectos de la nota esperada correlacionan moderadamente con los “SET” y con el factor de aprendizaje percibido por los estudiantes. La nota esperada correlaciona con el factor global del profesor en 0.43, pero una vez que se controla el contexto y el factor cantidad de trabajo el coeficiente se reduce a 0.00. Estos resultados minan el trabajo de Greenwald y Gillmore (1997a) quien estipula que las correlaciones entre la nota y “SET”

permanecen después de controlar la

cantidad de trabajo y la interpretación de esas relaciones, se puede considerar como indulgencia en el efecto de la nota esperada.

Nosotros consideramos que el debate sobre el grado indulgencia del profesor y la nota esperada por el estudiante es una disputa no resuelta, pero mucha de la controversia asociada a ésta hipótesis de sesgo, se puede observar e interpretar por su grado asociación, si examinamos la propuesta de Marsh (1987) y Marsh y Dunkin, 1992) que se fundamenta en ciertos principios, claramente delineados por los investigadores: Indulgencia del profesor: un profesor puede “comprar” su evaluación dando a los estudiantes notas altas, de esa manera obtendrá una buena calificación de ellos. Acorde con esta ¾

232


hipótesis, no existe una influencia alta en los SET. Worthington (2000) señala que una crítica que se hace a estos estudios es cómo medir el grado de indulgencia directamente o cómo aislar el componente de nota atribuido al grado de indulgencia ¾ La hipótesis de validez: los profesores más eficaces dan mayor cantidad de trabajo a los estudiantes, por esa razón sus estudiantes les asignan altas notas. Marsh (2001) señala que las notas altas reflejan un mejor aprendizaje de los estudiantes, por tanto, hay una correlación positiva entre el aprendizaje del estudiante y “SET”, lo que apoya la validez de estas evaluaciones. Las revisiones y meta-análisis de Marsh y Dunkin (1992); Cohen (1987) y Feldman (1989b) también demuestran que las secciones de estudiantes que tienen un mejor rendimiento normalmente en el examen final, también promedian la eficacia docente más altamente. No obstante Marsh y Roche (1992) y Thompson y Miller (1978) manifiestan que aunque el logro de resultados de aprendizaje, el aprendizaje percibido y el valor de un curso están claros, no son los únicos criterios que los estudiantes emplean en la evaluación de los profesores universitarios.

La hipótesis de las características de los estudiantes: se refiere a las características preexistentes que afectan a la eficacia docente y a la valoración que hacen los estudiantes. Esto señala que existen variables de los estudiantes y del curso (interés previo, motivación previa, tamaño de la clase o nivel del curso) que afectan al aprendizaje, la nota y la eficacia docente. Como señalamos anteriormente Marsh (1987) y Marsh y Roche (2000) han advertido que, controlando esas variables, se reduce enormemente el tamaño de la correlación con los “SET”. ¾

Desde nuestro punto de vista, destacamos varios aspectos que pueden ayudarnos a observar, de manera global todo el debate anterior. A nuestro juicio, estos elementos son interesantes de reconsiderar porque amalgaman los puntos más acentuados de toda esta discusión y que creemos son parte de las respuestas: Existe un debate no resuelto, con posiciones a favor y en contra, sobre el efecto que tienen estas variables en la evaluación que se hace de la docencia universitaria. ¾

233


Algunos de los más prominentes investigadores han aceptado que existe una relación entre la nota esperada, el grado de indulgencia y la valoración del profesor. No obstante, varios estudios empíricos han recalcado que esa relación va de moderada a débil, lo que para muchos de los autores mencionados, no implica sesgo alguno, por tanto estas valoraciones son totalmente válidas. ¾

Se ha revelado que esa relación tiene más peso en algunos factores de los SET que en otros, dado que no se ha encontrado evidencia alguna con factores tales como: organización, entusiasmo y apoyo. ¾

Contrario a las hipótesis de sesgo mencionadas, la valoración total del curso está más relacionada con la nota esperada que con la valoración global del profesor.

¾

Finalmente, nosotros creemos firmemente que si se controlan las características previas del contexto (nivel del curso, interés previo) y el logro del estudiante, se puede reducir a cero esa relación. 2.2. El sexo

Los resultados que se han obtenido al estudiar el sexo del estudiante y el sexo del profesor han sido muy conflictivos, debido, en gran parte, a que han alcanzado resultados muy dispares o antagónicos. Una gran mayoría de estudios (ver por ejemplo: Aleamori y Thomas, 1980; Doyle y Whitely, 1974; Dukes y Victoria, 1989; Feldman, 1993; Fernández y Mateo, 1997, Freeman, 1994; Goodhartz, 1948; Goodwin y Steven, 1993; Handcock, Shannon y Trentham, 1992; Isaacson y otros, 1964; Ludwig y Meachan, 1997; O'Reilly, 1987; Petchers y Chow 1988; Wheeless y Potorti, 1989; y Winocur, Shoen y Sirowaka, 1989) no han encontrado diferencias en las valoraciones de los profesores universitarios, entre los hombres y las mujeres estudiantes. Los autores concluyen que esta variable no es fuente de sesgo en los estudios sobre eficacia docente. Al respecto Costin, Greenough y Menges (1971) citan siete 234


estudios donde no se registran diferencias en la valoración global del profesor hecha por los estudiantes, hombres y mujeres, en la valoración recibida por los hombres y mujeres profesores.

Pese a esto, otros investigadores han enfatizado que el sexo es una fuente potencial de sesgo, pues las mujeres tienden a valorar mejor a sus profesoras y peor a sus profesores, y los hombres hacen lo mismo con sus respectivos profesores. Ciertas investigaciones han encontrado diferencias entre el sexo de los estudiantes y el del profesor. Al respecto, Bendig (1952), citado por Aleamori (1999), reportó que las mujeres estudiantes son más críticas con sus profesores que con las profesoras que les imparten clases. Basow y Silberg (1987) y Summers, Hines, Gelder y Dean (1996) encontraron que los estudiantes (hombres y mujeres) promediaban más bajo a las mujeres que a los hombres. Tatro (1995) resaltó que las profesoras mujeres eran mejor valoradas que los hombres. Walker (1969) también encontró diferencias en el sexo de los estudiantes y concluyó que las estudiantes mujeres valoraban la instrucción de sus profesoras significativamente más alto que la de los profesores. A pesar de ello Atamian y Ganguli (1993), Goldberg y Callahan (1991) y Luek (1993) indicaron todo lo contrario, que los estudiantes hombres valoraban la instrucción de las profesoras mejor y más alto que a sus profesores.

Por otra parte Aleamori y Hexner (1980) destacaron que en cinco estudios que ellos analizaron, se encontró evidencia de que las estudiantes mujeres valoran la instrucción alto en algunas sub-escalas de los formularios de evaluación de profesores. Anderson y Siegfried (1997) en su análisis de los estudiantes de las clases de economía en los Estados Unidos, encontraron que las estudiantes tendían a comportarse diferente en algunas escalas de los cuestionarios de evaluación,

pues éstas (las estudiantes) generalmente

brindaban bajas valoraciones en las dimensiones de cantidad de aprendizaje,

235


interés e importancia, pero daban altas valoraciones en el grado de dificultad del curso.

En uno de los estudios más importantes Feldman (1977) enfatiza que en la mayoría de estudios analizados se ha encontrado una relación significativa entre el género del estudiantes y las valoraciones de la docencia universitaria y que existe cierta tendencia en las mujeres a valorar mejor a sus profesoras. En el mismo sentido se expresan Feldman (1993) y Centra (1993) al repetir que existe preferencia de los estudiantes a promediar ligeramente alto al instructor del mismo sexo que al del sexo opuesto.

Centra y Creech (1976) y Pohlman (1975) consideran que el sexo del estudiante tiene influencia en la evaluación de la competencia docente, pero que este efecto es mínimo y no es significativo.

Todos los hallazgos anteriormente señalados nos muestran una serie de resultados contradictorios que dificultan la elucidación de alguna conclusión clara referente al tema, pues los investigadores han llegado a conclusiones muy dispares, mientras unos dicen que no existe relación alguna entre los sexos, otros consideran lo contrario. Es evidente, que hay una importante cantidad de estudios relacionados con el sexo del estudiante y el de los profesores, pero no hay un acuerdo entre los investigadores acerca de su incidencia en las valoraciones del estudiante, todo depende en gran parte del contexto en que se realiza el estudio. Para Aleamori (1999) el sexo del estudiante y el del profesor no influyen substancialmente en la valoración que hacen los estudiantes de la docencia universitaria.

236


2.3. Área de estudio o disciplina académica

El área temática en la que se desenvuelve el estudiante universitario, también ha sido considerada por los investigadores en la evaluación de estudiantes de la competencia docente universitaria como una variable importante de estudio y que puede tener efecto en la valoración que los estudiantes hacen de su profesor. Al respecto, Ramsden (1991) advierte que los investigadores han encontrado efectos en el tipo de materia que el profesor imparte y que afecta la valoración de los estudiantes.

Los estudios de Andrews, Gauthier y Jelmberg (1993), Goldman (1993), Goodwin y Steven (1993) y Zahn y Schramm (1992) confirman que existen diferencias significativas entre las disciplinas académicas de los estudiantes universitarios. De manera similar se expresan otros autores como Cashin (1990; 1992),Cashin & Clegg (1987), Centra y Creech (1976) y Feldman (1978) quienes apoyan esta afirmación, argumentando que existen ciertas divergencias de acuerdo a la disciplina académica, debido a la evidencia que se ha encontrado entre los estudiantes de ciencia duras y los de ciencias blandas. D’Apollonia y Abrami (1997) en un artículo buen artículo, ponen de ejemplo las diferencias encontradas en los resultado de las valoraciones dadas a sus profesores por los estudiantes de arte y de ciencia. Ellos afirman en la revisión de los estudios de Centra y Creech (1976), Feldman (1978) y Neumann y Neumann (1985), que los estudiantes de arte otorgan mejores puntajes que los de ciencia, no obstante, en las pruebas de rendimiento académico, los estudiantes de ciencias obtenían mejores resultados que sus homólogos de arte.

Observando la literatura, podemos destacar que las valoraciones tienden a ser mucho más altas en las humanidades y ciencias sociales que en las ciencias físicas y las ingenierías, pues los estudios señalan una clara diferencia entre las 237


disciplinas. Feldman (1978) revisó la investigación que estudiaba el efecto de la disciplina académica en las valoraciones de los estudiantes y concluyó que las altas valoraciones tienden a otorgarse en las Humanidades, Artes y Educación, mientras que las bajas ocurren en las Ciencias Sociales y Físicas, Matemáticas, Ingenierías y Negocios. En su análisis de las valoraciones de 100 instituciones, Centra y Creech (1976) encontraron que los profesores de Humanidades recibieron altas valoraciones y que las más bajas, se daba las Ciencias Naturales. Consecuentemente destaca que los profesores de ciencias blandas son mejor valorados que los profesores de ciencias duras. Sin embargo, según Timpson y Andrew (1997) las diferencias encontradas por estos investigadores “eran menos de 1% de la varianza de las valoraciones de los estudiantes”. (pág. 57)

Centra (1993), tratando de ofrecer explicaciones plausibles sobre el efecto observado en el área de estudio, ofrece algunas explicaciones posibles sobre las valoraciones bajas dadas por los estudiantes. En la opinión del autor los profesores y estudiantes de estos cursos reciben menos orientación pues son menos efectivos en la presentación de materiales y más rápidos en el ritmo de sus clase, además, en las ciencias duras el profesor requiere de más tiempo de investigación que en otras áreas, lo que puede afectar algunos de los componentes de la clase. El mismo autor resalta un artículo suyo del año 73, en donde encontró que los profesores de Ciencias Naturales tienen diferentes percepciones sobre la asignación de la cantidad de trabajo en clase y el ritmo de la misma, lo que puede afectar adversamente las valoraciones de estudiantes.

Cashin (1988) argumenta que si de hecho la enseñanza es menos eficaz que su baja evaluación entonces el área de estudio del estudiante no puede representar ningún sesgo; sin embargo, si

el área de estudio requiere

habilidades de razonamiento cuantitativo y se promedia bajo es porque los 238


estudiantes tienen menor competencia en esas habilidades y eso podría constituir un sesgo, no el área de estudio o la disciplina académica, sino la habilidad mental del estudiante para enfrentar situaciones abstractas. Perry (1974) refiriéndose al tema estipula que, algunos “malos” profesores presentan sus materiales de clase de manera interesante y son promediados mas alto, en algunas dimensiones de la eficacia docente, que aquellos “buenos” profesores que hacen sus presentaciones de clase aburridas.

Desde nuestra posición, creemos que la existencia de diferencias entre las valoraciones de las áreas de ciencias duras y ciencias blandas, es debido a la singularidad y características de cada uno de los campos de estudio de los estudiantes. Generalmente, por esas particularidades los profesores de ciencias duras necesitan de más tiempo en la pizarra y de la clase tipo magistral, todo ello reduce la posibilidad de interacción con el estudiante, la utilización en profundidad de materiales didácticos y la discusión en clase, porque efectivamente, el profesor trata de desarrollar el pensamiento abstracto cuantitativo. Además, de alguna forma, el área de estudio puede estar relacionada con otras variables que hemos destacado como la cantidad de trabajo y la dificultad de la materia, dado que no es lo mismo la percepción que tenga sobre la dificultad de la clase un estudiante de matemática pura que uno de la clase de elaboración de materiales infantiles, sin menospreciar en ningún momento al segundo.

2.4. La edad y los años en la universidad Otras de las variables que ha sido fuente de estudio y debate en las investigaciones sobre la evaluación de la competencia docente, es la edad y los años en la universidad, pues son variables que han permanecido en el contexto de estos estudios; no obstante, existe poca evidencia empírica sobre el efecto que tienen en la valoración de la competencia docente. Wachtel (1998) 239


destaca que estas variables no han sido suficientemente investigadas, por ello hay pocos estudios relevantes. En el mismo sentido se expresa Worthington (2002) al señalar que el impacto de la edad ha sido sujeto de menor importancia empírica en las investigaciones sobre la evaluación de la competencia docente universitaria.

Normalmente estas variables han sido investigadas en conjunto con otras características del contexto de los estudiantes, más comúnmente con el género. Como los trabajos de Anderson y Siegfried (1997) quienes estudiaron el sesgo del género, la edad y el contexto étnico (Afroamericanos, Hispanos , Asiáticos, etc.) o la investigación de Watkins (1994) quién estudia el posible sesgo en la evaluación de estudiantes desde una perspectiva cultural.

Wachtel (1998) afirma que existen pocos estudios recientes que estudien específicamente el efecto de la edad de los estudiantes y su relación con sus valoraciones de los profesores. El autor afirma que los estudiantes con más nivel valoran mejor la docencia universitaria, en este sentido “nosotros no sabemos si las altas valoraciones en los niveles superiores de estudio son el resultado de un mayor nivel de avance en la materia de estudio, o que los estudiantes son mayores y más maduros” (pág. 203)

Aleamori y Hexner (1980) citan ocho investigadores quienes reportan que no hay relaciones significativas entre el estatus del estudiante (primer año o último año de carrera) y su valoración asignada al instructor. Sin embargo, los autores citaron 18 investigaciones que reportaron una valoración más favorable del profesor en los estudiantes graduados y de años superiores. Estudios más recientes (ver: Donaldson, Flannery y Ross-Gordon, 1993; Conran, 1991; Goldberg y Calahan, 1991; Moritsh y Suter; 1988) confirman la existencia de diferencias en las valoraciones, de acuerdo al nivel del estudiante en el curso.

240


Por otra parte, algunas investigaciones han determinado que las valoraciones de estudiantes nuevos o de los antiguo, son muy estables y consistentes, pues sus juicios son similares a través de los años. Según Guthrie (1954) la evidencia de trabajos sobre el tema data de 1924, aunque estudios de Albanese (1991), Hativa (1996) y Palchik (1988) indican que los estudiantes tienen juicios muy consistente, a pesar de su edad y de los años que estén en la Universidad.

Aleamori (1999) destaca que la estabilidad de las valoraciones de estudiantes de un año al otro han resultado en una substancial correlación de 0.87 a 0.89. En los estudios de Costin, Greenough y Menges (1971), Gillmore (1973) y Hogan (1973) se indica que la correlación entre las valoraciones de los estudiantes de un mismo instructor y el nivel del curso es alrededor de 0.79 y 0.87, esto es evidentemente muy significativo y demuestra que la edad y los años de universidad no son variables que afecten significativamente las valoraciones de estudiantes.

Para conocer mejor el efecto de la edad y los años en la universidad, algunos autores han propuesto que los estudiantes graduados tienen una mejor visión de su aprendizaje, por tanto su valoración será madura. El análisis de este pensamiento requiere de estudios longitudinales comparativos que den seguimiento a los estudiantes durante su período de clases y su desarrollo profesional. En un estudio pionero Drucker y Remmers (1951) demostraron que los alumnos que habían permanecido fuera de la institución por cinco o diez años valoraban al profesor de la misma manera que cuando eran estudiantes corrientes. Recientemente Aleamori y Yimer (1974); Marsh (1977); Marsh y Overall (1979); McKeachie, Lin y Mendelson (1978) han llegado a la misma conclusión, pues no han encontrado diferencias de opinión entre los estudiantes nuevos y los graduados.

241


En una valoración final sobre este tema, nosotros consideramos que hace falta mayor evidencia empírica para llegar a conclusiones claras sobre el efecto de la edad y los años en la universidad en la evaluación que hacen los estudiantes de la competencia docente universitaria, dado que la literatura sobre el tema no es muy abundante. Sin embargo, los estudios de los autores más relevantes indican que no existe ningún efecto significativo de estas variables en la evaluación que hacen los estudiantes y que las valoraciones de éstos son estables a través de los años de universidad y la edad de los estudiantes.

2.5. El interés previo

McKeachie (1979) señaló que la característica importante que puede afectar las valoraciones de estudiantes es el interés previo sobre el curso, pues los estudiantes que esperan un “buen” profesor generalmente lo valoran alto. Worthington (2002) repite lo mismo al establecer que los estudiantes que esperan un buen profesor, usualmente lo promedian alto y viceversa. Al respecto existe alguna investigación que ha puesto el énfasis sobre el interés del estudiante y menos en el del profesor. (Ver: Gigliotti, 1987; Koermer y Petelle, 1991; Perry, 1979).

El interés del estudiante es un factor determinante que está fuera del control del profesor, pero tiene una fuerte influencia en la valoración que ellos hacen del curso. Koermer y Petelle (1991) sostienen que los estudiantes con altas expectativas y mucha experiencia brindan mejores valoraciones a sus profesores que aquellos que tienen bajas expectativas y mucha experiencia o baja experiencia. A la misma conclusión llegó Gigliotti (1987) quién encontró que un interés negativo afectaba negativamente a la valoración del curso. 242


Otro aspecto de la investigación relacionada con las expectativas de los estudiantes se refiere a los factores que influencian las actitudes de los estudiantes hacia la evaluación de la docencia y su valoración sobre la importancia relativa de ese factor. En un estudio reciente Chen y Hoshower (1998) argumentan:

"en muy pocos estudios (refiriéndose a las valoraciones que los estudiantes hacen del profesor) se ha estudiado la percepción de los estudiantes de la evaluación de la docencia y su motivación a participar en estas evaluaciones...la utilidad de los datos, en estas evaluaciones, están severamente socavados a menos que los estudiantes estén dispuestos a suministrar datos de entrada de calidad”. (pág. 532)

Estos autores, basados en la teoría de la expectación o expectativa, relacionan el atractivo de una evaluación de profesores con el atractivo de un resultado deseado y la probabilidad de percibir ese resultado. En otras palabras, los estudiantes consideran mejor al profesor cuando ellos mismos sienten o perciben que van a tener éxito en su rendimiento.

En este sentido podemos deducir que el interés previo del estudiante por el tipo de profesor o curso afecta la valoración que éste hace de la competencia docente, aunque bien sabemos ello es totalmente ajeno al control del profesor y no depende de su comportamiento. Como bien lo destacan Chen y Hoshower (1998) depende más de la percepción de logro que tenga el estudiante.

Marsh (1984) considera que el interés previo por la asignatura está relacionado con la evaluación que el estudiante hace del profesor, por tanto, los 243


estudiantes que tienen un mayor interés inicial van a evaluar mejor a sus profesores que aquéllos quienes no poseían ningún interés. Además, el interés previo tiene correlaciones moderadas en torno a 0.40, pero hemos de advertir que no con todos los ítems sino con aquéllos referidos a cómo se valora el propio aprendizaje.

Finalmente, Villa y Morales (1993) añaden que “el interés del estudiante puede estar más determinado por la asignatura misma, y a su vez influir en cómo se evalúa al profesor. En cursos especializados y optativos puede ser difícil discernir si el interés por la materia influye indebidamente en la evaluación del profesor” (pág. 69).

En un afán por tratar de mostrar una visión sintetizada de las características de los estudiantes, presentamos a modo de resumen el siguiente cuadro.

TABLA N° 11 RESUMEN DE LAS CARACTEÍSTICAS DE LOS ESTUDIANTES CON LA EVALUACIÓN DE LA COMPETENCIA DOCENTE

Variable de los estudiantes

Relación con la evaluación del profesor

Nota esperada y el grado de indulgencia del profesor

Relación positiva: a mejor nota esperada mejor evaluación del profesor. Esta relación se destaca porque: 1) puede depender de Feldman 1976ª, 1997; Marsh las características previas del alumno (interés, motivación), 2) 1987, 2001; Marsh y Dunkin, sólo afecta a unos factores de eficacia docente no a todos, 3) 1992. los alumnos premian a los profesores benévolos, 4) a mejor aprendizaje mejor calificación y 5) controlando las características del contexto se reduce esta relación. Sexo

Se ha encontrado una relación significativa. Los estudiantes Feldman, 1977, 1993; Centra valoran mejor a los profesores de su propio sexo, aunque 1993; Aleamori, 1980, 1999. depende de las características del contexto

244


Disciplina académica

Se ha encontrado que existe tendencia de los estudiantes de Ramsden, 1991; D’Apollonia y ciencias blandas a valorar mejor a sus profesores que los de Abrami, 1997; Timpson y Andrew, ciencias duras. La varianza encontrada es menor al 1%. 1997. Edad y años en la universidad

Los juicios de los estudiantes son consistentes (0.87, 0.89) a Hativa, 1996; Costin, Greenough y través de los años de estancia en la universidad. No hay Menges, 1971; Marsh y Overall diferencia de opinión con la edad1979. Interés previo

A mayor interés previo, mejor evaluación del profesor. Worthington 2002; Chen y Relación moderada (0.40). Puede verse influenciado por la Hoshower 1998; Feldman, 1984; percepción de éxito del estudiante. Marxh 1980, 1984.

Aunque hemos visto brevemente algunas de las variables de contexto de los estudiantes, consideramos que es importante también observar algunas de las características de los docentes universitarios que puedan tener influencia en la valoración que hacen los estudiantes de la competencia docente universitaria.

3.

CARACTERÍSTICAS DEL PROFESOR UNIVERSITARIO

3.1. El sexo La investigación que se ha realizado sobre este tema gira en torno a la concepción que el sexo del profesor influye en la valoración que hacen los estudiantes de su labor docente. Desde esta perspectiva, numerosos estudios han tratado de buscar conclusiones claras al respecto, pero al igual que en el apartado (2.2.) referente al sexo del estudiante los resultados han sido contrapuestos.

245


Varios estudios, entre ellos Lombardo y Tocci (1979) y Bernard y otros (1981) encontraron que existe relación entre las encuestas de estudiantes y el sexo del profesor. No obstante, Brandenburg (1977), Cashin (1988), Feldman (1992, 1993) y Marsh y Dunkin (1992) sugieren que el sexo del profesor tiene poco efecto en estas valoraciones. Es más. Elmore y Pointe (1975) demostraron que no existía relación alguna si se controlan ciertas variables como el tipo de departamento o el nivel.

Basow y Silberg (1987), Summers, Hines, Gelder y Dean (1996) y Walker (1969) han demostrado que los estudiantes prefieren a los profesores de su mismo sexo y los valoran mejor que a los del sexo opuesto. Aunque Atamian y Ganguli (1993), Goldberg y Callahan (1991) y Luek (1993) demuestran todo lo contrario.

Basow (1994), Basow y Silberg (1987), Kaschak (1978), Koblitz (1990), Martin (1984) y Ruthand (1990), entre otros, expresan que existe sesgo contra las mujeres en estas evaluaciones y que ellas deben adoptar un estereotipo de feminidad si quieren recibir una mejor valoración de sus estudiantes. Sin embargo, Tatro (1995) encontró que las mujeres profesores eran mejor valoradas que sus homólogos hombres, hecho que contradice los anteriores resultados.

Feldman (1992) en su publicación sobre los estudios de laboratorio existentes acerca de la valoración de las mujeres y hombres profesores, encontró que no había diferencias entre los sexos en la evaluación global. Posteriormente Feldman (1993) al estudiar las investigaciones de clase volvió a encontrar que la mayoría de estudios no reportaban diferencias significativas entre los sexos. Sin embargo, advierte que unos pocos estudios señalaron diferencias entre los profesores, dado que las mujeres recibían una valoración

246


ligeramente más alta que los hombres. También estipula que los estudiantes tienden a promediar mejor a los profesores de su propio sexo.

Finalmente, Aleamori y Yimer (1980) y Braskamp (1985) llegan a la conclusión de que los resultados sobre este tema de estudio se mezclan mucho y es difícil predecir resoluciones estables que nos ayuden a discernir el efecto que tiene el sexo del profesor en la valoración que hacen los estudiantes.

3.2. Rango académico El rango o estatus del profesor es un elemento que ha sido comúnmente estudiado, como una medida de la condición del profesor en la cual se combinan aspectos de conocimiento sobre la materia a impartir, la enseñanza y el aprendizaje. Generalmente, esos parámetros se refieren al tipo de programa, el grado académico logrado, la preparación, las prácticas realizadas y

el

contenido de las áreas que va a enseñar. Al respecto, existen numerosas evidencias empíricas de que a mayor grado académico, mejor valoración por parte de los estudiantes.

Brandenburg y otros (1977), Centra y Creech (1976) y Marsh y Dunkin (1992) han señalado que los profesores de planta son mejor valorados que sus jóvenes homólogos, lo que evidencia que los profesores principiantes reciben una valoración más baja que aquéllos que tienen más años de laborar para la institución universitaria. Al respecto Feldman (1983) en su revisión de la literatura, sobre la relación entre antigüedad y valoración de los estudiantes encontró que la antigüedad en los estudios relacionados con el rango no habían encontrado relación significativa entre las variables. No obstante, si se percibió que existe una relación débil entre aquéllos que tienen un rango profesional alto y las valoraciones altas. 247


Los estudios en diversos campos sobre el rango académico, en los cuales se compara a profesores con y sin preparación, han encontrado altos niveles de aprendizaje y mayores ganas de aprender en los estudiantes que trabajaron con profesores que tenían una preparación más formal para enseñar. En algunas investigadores clásicas de Clark y Keller (1954), Downie (1952), Gage (1961), Guthrie (1954) y Walker (1969) se hallaron pruebas de que los instructores con altos rangos recibieron altas valoraciones de sus estudiantes. Bents y Bents (1990), Darling-Hammond (1992), Feiman-Nemser y Parker (1990), Gomez y Grobe (1990) y Grady, Collins, y Grady (1991) evidenciaron que los profesores con menor estatus tenían mayores dificultades para organizar el plan de estudios, enseñar, manejar la sala de clase y diagnosticar las necesidades de aprendizaje de los estudiantes.

Tomamos de Evertson, Hawley, y Zlotnik (1985) la conclusión de que:

“la investigación disponible sugiere que los estudiantes de profesores que han seguido programas formales de preparación, son probablemente más eficaces, que los atendidos por los que no tienen tal entrenamiento” (p.8).

Schuckman (1990) y Belcher (1991) se oponen a lo anterior, señalando en sus investigaciones que los profesores de menor rango estaban promediados ligeramente más alto que los de mayor rango.

Ahora bien, desde otra perspectiva, algunos estudios en Texas, según Goldhaber y Brewer (1999) no encontraron diferencia alguna entre los profesores de diversos rangos académicos. Resultados similares fueron reportados por Aleamori y Graham (1974), Aleamori y Thomas (1980), Aleamori y Yimer (1973), Linsky y Straus (1975), Petchers y Chow (1988) y 248


Centra y Creech (1976), los cuales no encontraron diferencias significativas entre el rango del instructor y la valoración de los estudiantes.

Aleamori (1974) considera que la relación entre el rango y las valoraciones de estudiantes es ligeramente significativa, pero no hay suficiente evidencia que acentúe que los profesores de mayor rango son puntuados más altos.

Nosotros consideramos que los resultados reportados por los diferentes investigadores son difíciles de interpretar, debido a que cuando comparan el rango académico del profesor con las valoraciones de los estudiantes, unos ponen en evidencia que existen diferencias significativas entre los profesores de mayor rango y los que no lo tienen, mientras que otros no encuentran relación significativa entre las variables; esto pone en evidencia la inexistencia de conclusiones que precisen el efecto de esta variable sobre la evaluación de los estudiantes de la competencia docente universitaria. 3.3. Edad y experiencia Sobre el tópico de la edad, existen pocas investigaciones que analicen su influencia sobre las evaluaciones de estudiantes. Feldman (1983) encontró que los estudiantes no confunden la edad y la experiencia del profesor con el rango académico. De los estudios que el autor revisó relacionados con estas variables y las valoraciones de estudiantes, la mayoría de ellos no encontraron relación significativa que demostrara algún efecto importante. Sin embargo, unos pocos estudios evidenciaron una relación significativa, pero inversa; o sea el instructor de mayor edad y con mucha experiencia docente recibía bajas valoraciones. El autor considera que esa minoría de estudios, que descubrieron esa relación significativa son muchos para ser ignorados.

249


Kinney y Smith (1992) también encuentran un pequeño, aunque significativo impacto, de la edad del profesor sobre la evaluación de estudiantes de la competencia docente universitaria, pero esa relación es más una función que involucra indistintamente la experiencia y el rango del profesor.

Greenwald, Hedges y Laine (1996) estudiando los resultados obtenidos acerca de la influencia, la contribución relativa con el nivel de entrenamiento y la experiencia del profesor encontraron que ciertos elementos como la educación, la capacidad y la experiencia del profesor, junto con instituciones pequeñas y bajos niveles de profesor alumno, están asociados al aumento en el logro del estudiante. Según los autores, este incremento se encuentran relacionado también con el crecimiento del gasto económico y por el tipo de educación del profesor.

Algunos estudios han tratado de demostrar que la experiencia del profesor tiene relación con su eficacia y con lo que el estudiante aprende (ver: Feldman, 1983; Marsh, 1980, 1987; Perry, 1979; Centra y Creech, 1976; Hamilton, 1980) pero no siempre los resultados son significativos o enteramente lineales. Mientras que muchos estudios han establecido que los profesores inexpertos (menos de tres años de experiencia) son típicamente menos eficaces que profesores más mayores, las ventajas que ofrece la experiencia se nivelan después de los cinco años, especialmente en las universidades. Una posible causa de esta tendencia curvilínea en los efectos de la experiencia es que los profesores más viejos no continúan siempre creciendo y aprendiendo y pueden estar cansados con sus trabajos. Además, las ventajas de la experiencia pueden obrar recíprocamente con oportunidades educativas.

Al respecto, Rosenholtz (1984) manifiesta que los profesores veteranos generalmente continúan aprendiendo y tratando de mejorar su eficacia. De la 250


misma forma, los profesores que inician su labor muy bien preparados pueden ser altamente eficaces. Esto pone en evidencia que no siempre la experiencia docente es un buen argumento para estudiar su eficacia y que, como predictor no hay evidencia significativa que demuestre efectivamente su influencia. Por ejemplo, Andrew y Schwab (1995) y

Denton y Peters (1988) realizaron

algunos estudios sobre el tema y encontraron que los graduados eran tan eficaces como profesores más mayores.

Sin embargo Erdle, Murray y Rushton (1985) reconocen que es una variable que está positivamente asociada con la evaluación sobre la eficacia docente. Además la experiencia correlaciona con la educación del profesor y con la certificación de su estatus y estas variables han sido confundidas en algunos análisis.

Centra (1993) advierte que se pueden expresar solamente conclusiones limitadas con respecto al efecto del rango, la edad y la experiencia del profesor, debido principalmente a que la mayoría de los estudios han sido cruzados y no longitudinales, como deberían ser, por lo que se hace difícil determinar o establecer conclusiones precisas que nos lleven a deducciones más formales sobre la influencia de estas variables en la valoración que hacen los estudiantes de la competencia docente.

3.4. Número de publicaciones e investigaciones Uno de los indicadores utilizados como criterio para determinar la eficacia del profesorado universitario es la cantidad de publicaciones e investigaciones que este consiga elaborar durante el desarrollo de su actividad docente. Borgatta (1970) y Deming (1972) sostienen que es una creencia ampliamente aceptada que la enseñanza y la buena investigación van de la 251


mano, que son aliadas; esto estipula que ambos elementos son importantes y necesarios en el impulso de la docencia universitaria.

Al respecto, la investigación está dividida en este punto, pues hay quienes sostienen que los buenos investigadores también son buenos profesores. Otros por el contrario afirman que esa relación no es tan fácil, debido principalmente a que la docencia es independiente de la investigación y, por lo tanto, un buen docente no necesariamente es un buen investigador. Wachtel (1998) sostiene que la docencia puede verse afectada por la investigación; porque muchos profesores dedican mayor tiempo a la investigación y descuidan la docencia. Aunque, como comentamos en los capítulos anteriores, la investigación es mejor valorada que la docencia.

Los investigadores Maslow y Zimmerman (1956) y McDaniel (1970) apreciaron una débil pero positiva correlación entre la productividad investigadora y la eficacia docente. Centra (1981, 1983), con una muestra de 4.596 profesores universitarios, encontró una relación cercana al 0.22 entre los profesores de Ciencias Sociales, pero no la encontró en los de Ciencias Naturales o las Humanidades. Resultados similares fueron hallados en la revisión de Feldman (1987) quién localizó una relación positiva pero muy baja, alrededor de 0.12. Otros estudios también han encontrado una débil relación como Marsh (1979c, 1987a) y Marsh y Dunkin (1992). Recientemente Allen (1995) averiguó una correlación significativa positiva, pero pequeña, entre la productividad investigadora y la competencia docente.

Por el contrario, Aleamori y Yimer (1973), Guthrie (1949, 1954), Hayes (1971), Linsky y Straus (1975), Melland (1996) y Voek (1962) no encontraron relación significativa entre la productividad investigadora y las valoraciones de estudiantes de la eficacia docente. Un estudio de Aleamori y Yimer (1974) también reporta que no hay relación significativa entre la productividad 252


investigadora del profesor y la valoración que hacen sus colegas de su eficacia docente. En la misma línea, se expresa Marsh (1984). En su revisión de los estudios sobre el tema no encontró relación entre la productividad investigadora y la valoración global de los estudiantes, aunque advierte, que sí existe relación cuando se consideran algunas dimensiones separadamente.

A pesar de que no se han encontrado resultados satisfactorios en la productividad investigadora y la competencia docente, Seldin (1984); Aubrecht (1984) y Centra (1993) destacan que este indicador se continúa utilizando como un factor para evaluar la eficacia docente, aunque en la práctica ha sido ampliamente criticado.

En nuestra opinión, creemos que la productividad investigadora no es sinónimo de buena enseñanza, porque un buen docente puede no ser buen productor de publicaciones. Se ha criticado mucho que los buenos investigadores dedican más tiempo a la investigación y menos a la docencia, ello se denota sus clases. Evidentemente, la investigación es una herramienta que ayuda al docente universitario a mantenerse al día sobre lo que sucede a su alrededor y no puede separase de la docencia.

Finalmente, si observamos los resultados obtenidos por los investigadores entre el criterio cantidad de publicaciones y la evaluación de estudiantes, todo apunta a que no hay resultados claros ni definitivos, aunque la mayoría de los autores relevantes destacan una débil pero positiva relación entre ambos elementos.

253


3.5. Reputación del profesor Sobre el debate de la reputación del profesor en la valoración que hacen los estudiantes de la competencia docente, existe poca literatura que nos ayude a mostrar un panorama más lúcido sobre la influencia que puede ejercer este componente en la valoración de los estudiantes.

Perry (1974) insiste en que la expectativa previa del estudiante sobre el rendimiento del profesor está fundamentada en la reputación que este tiene y ejerce influencia en su valoración de la docencia universitaria, por tanto se debe meditar la publicación de los resultados de estas encuestas. Leventhal (1975) averiguó que los estudiantes se fundamentaban en la reputación y la habilidad el profesor para elegir los cursos que desean tomar, además, el autor también encontró que los estudiantes de años superiores o finales, consideraban con frecuencia estos dos aspectos. Mientras que los estudiantes de primer ingreso no lo hacían. Aun más, Leventhal (1976) observó que los estudiantes que utilizaban la reputación del profesor para seleccionar sus clases, también brindaban altas valoraciones a sus profesores.

En este sentido, Babad (2001) afirma que el proceso de selección de cursos es separado y secuencial y atañe distintas decisiones de acuerdo a la influencia del contexto y este se puede modificar el año siguiente. El autor considera que a menudo las decisiones de los estudiantes se ven influenciadas por fuerzas externas (tales como organización de su calendario lectivo, tipo de cursos ofrecidos y el número de cursos requeridos de la carrera) más que por la reputación del profesor.

Perry (1979) enfatiza que existe interacción entre la expresividad y la reputación del profesor, dado que un profesor con mucha expresividad pero

254


con una mala reputación recibe valoraciones más bajas que otros quienes tengan mucha expresividad y una alta reputación.

De todo lo anterior evidenciamos que hace falta mayor investigación para poder llegar a deducciones formales sobre la influencia que pueda tener la reputación del profesor en la valoración que hacen los estudiantes, sin embargo, esto puede verse afectado por el efecto del Dr. Fox o también el llamado influjo de la seducción.

3.6. El efecto del Dr. Fox o de la seducción

El efecto del Dr. Fox o de la seducción se refiere, específicamente, a la influencia que pueda tener un profesor muy entretenido o que se exprese de forma muy convincente, aunque sin contenidos o ningún orden, para seducir a los estudiantes a brindarle una valoración alta. En esta situación, la buena impresión global sobre el docente tendría mayor peso que su competencia docente.

Naftulin, Ware y Donnelly (1973) desarrollaron este estudio de laboratorio con un actor profesional al que se llamó el “Dr. Fox”. Este actor representaba a un profesor muy expresivo y entusiasta pero totalmente desprovisto de contenidos educativos, que una vez finalizada su conferencia, recibió una valoración muy alta por parte de los estudiantes. Lo que el experimento trataba de demostrar es que una audiencia de estudiantes puede ser seducida por la expresividad de un profesor muy carismático, con sentido del humor y con buena expresión. Ware y Williams (1979, 1980) consideraron que el experimento demostró que el entusiasmo y la expresividad del docente pueden mejorar su evaluación, más que los contenidos de la materia. Hemos de 255


recalcar que el experimento obtuvo una gran notoriedad y difusión a pesar de que como experimento su rigurosidad era muy deficiente (falta de grupo de control, se trató de una conferencia y no de un curso, tema no familiar a los estudiantes, etc.)

Marsh (1987a) señala que este estudio ha sido fuertemente criticado por su deficiente metodología de investigación y que el tema de la seducción, ha sido reanalizado en estudios posteriores. Abrami, Leventhal y Perry (1982) estiman que el efecto del Dr. Fox a menudo es exagerado. Marsh (1991b) (ver también Abrami, Leventhal y Perry, 1982a) encontró que en una clase universitaria, cuando el instructor manipula su expresividad afecta solamente la valoración que tiene que ver con el entusiasmo, que es el componente que lógicamente está más relacionado con esa manipulación. Marsh y Ware (1982) lo explican de manera semejante y argumentan que, cuando los estudiantes no tienen ningún incentivo para aprender, la expresividad tiene mucho más efecto; pero si saben de antemano que van a tener una prueba posterior a la charla, la expresividad es menos importante y el efecto casi desaparece, además afecta únicamente la valoración del entusiasmo del profesor, pero no otra dimensión de la eficacia docente. Aleamori (1987, 1976) también encontró que los estudiantes no son fácilmente engañados y podían discriminar entre varios aspectos de la habilidad docente, de esa manera ellos podían dar altas valoraciones en la dimensión manipulada pero no en otros elementos docentes.

Para demostrar que la manipulación experimental de las dimensiones de eficacia docente está relacionada únicamente con ese componente en particular,

Land (1985); Land (1981) y Marsh (1987a) manipularon

experimentalmente algunas dimensiones como claridad del profesor. Los autores concluyen en sus estudios que esta dimensión estaba correlacionada con los componentes específicos que están lógicamente relacionados con esa dimensión y no con otra. Cuando manipularon la cobertura de los contenidos, 256


observaron que afecta a las valoraciones de los elementos relacionados con los conocimientos de instructor, la organización y la claridad, obviamente son los elementos que están mas relacionados con esas dimensiones.

En una revisión de los estudios sobre el efecto del “Dr. Fox”, Abrami, Leventhal y Perry (1982) consideran que las encuestas de estudiantes son más sensitivas a la expresividad que a los contenidos de la clase y que estos últimos tienen mayor influencia en su rendimiento. Lo anterior señala que la expresividad no es un elemento de sesgo en las encuestas de estudiantes, sin embargo el Abrami (1989a) en un estudio posterior destaca que la expresividad representa una fuente de sesgo potencial en las encuestas de evaluación de la competencia docente. En este sentido Perry (1990), se refiere al tema afirmando que el efecto del “Dr. Fox” tiene muy poco apoyo en la literatura actual y que no es relevante su estudio.

De todo lo anterior y de las conclusiones de Marsh (1987a), Marsh y Ware (1982) y Abrami, Leventhal y Perry (1982) podemos concluir sobre el efecto del “Dr. Fox”que:

a) El efecto del “Dr. Fox”está relacionado con entusiasmo y la expresividad del docente y que influye en la evaluación que hacen los estudiantes del profesor. No obstante, interviene poco en el rendimiento del estudiante, en cambio actúa más en el rendimiento el contenido de la clase. b) Este efecto solamente tiene relación con aquellos elementos propios de esa dimensión y no afecta a otras dimensiones de la competencia docente. c) Si los estudiantes saben que van a ser evaluados posteriormente a la charla, el efecto del “Dr. Fox” desaparece o disminuye notablemente.

257


Las consideraciones señaladas anteriormente ponen en evidencia que el efecto del “Dr. Fox” o el influjo de la seducción tiene poco peso en las encuestas de estudiantes pues solamente atañe a aquellos elementos propios o particulares relacionados con esa dimensión y que los estudiantes no se dejan engañar cuando saben de antemano que se les va a evaluar una vez terminada la charla.

3.7. La personalidad

Los investigadores apenas han estudiado, si existe alguna influencia entre los rasgos de personalidad del profesor y las encuestas de valoración de la competencia docente, debido a que algunos autores han planteado la hipótesis de que los profesores más amables, simpáticos, populares y amistosos reciben mejor valoración por parte de los estudiantes que aquéllos que no evidencian estos rasgos ante los estudiantes.

Sherman y Blackburn (1975) encontraron que las características de personalidad y la eficacia docente estaban altamente correlacionadas con las encuestas de estudiantes (0.77). En la misma línea Guthrie (1954) advierte que los estudiantes están influidos por las cualidades personales del profesor.

Por otra parte, Erdle, Murray y Rushton (1985) mostraron que las encuestas de estudiantes están relacionadas tanto con conductas docentes como con rasgos de personalidad de los docentes: carisma y orientación personal. Su análisis reveló que aproximadamente la mitad de la relación

entre

personalidad y eficacia estaba influida por la conducta docente. A su vez, Basow (1990) determinó que los efectos positivos de la expresividad docente 258


pueden ser alterados por cambios en las percepciones de los estudiantes de los rasgos vinculados al sexo del profesor. Iguales resultados fueron hallados por Chrispens y Bainum (1991) quienes observaron que un positivo sentido del humor tenía efecto en la valoración de los estudiantes.

Feldman (1986) encontró correlación entre los rasgos de personalidad inferidos en los auto-reportes de los docentes y las valoraciones globales de los estudiantes. De igual forma observó correlación significativa cuando la personalidad del profesor fue inferida por los estudiantes o sus colegas. El mismo autor concluye que no puede distinguir si esa relación es una influencia válida o un elemento de sesgo en las encuestas de estudiantes. Murray (1990) también encontró que los rasgos de personalidad del profesor pueden ser inferidos por sus colegas, además, el autor determinó que la eficacia docente varia substancialmente entre cursos y que los rasgos de personalidad que le ayudan en un curso en particular, pueden no presentarse en otro curso. Ante este planteamiento, podemos deducir que los rasgos de personalidad varían dependiendo de las necesidades del profesor y el tipo de curso al que se enfrente, por tanto, no tiene influencia en las valoraciones que hacen los estudiantes de la competencia docente.

Aleamori y Spencer (1973) realizaron una investigación empleando el CEQ22 y evidenciaron que los estudiantes distinguen muy bien las dimensiones referidas a las diferentes competencias del profesor, pues un profesor que recibe altas valoraciones en la sub-escala de instrucción no es una garantía de altas valoraciones en las otras cuatro (Aptitud general hacia el curso, método de instrucción, contenidos del curso, interés y atención). En una revisión escrita y objetiva de los comentarios de los estudiantes, Aleamori (1976) advirtió que los estudiantes alaban al instructor cercano, amigable, con sentido

22

Siglas en inglés para “Course Evaluation Questionnarie”: cuestionario de evaluación del curso.

259


del humor, pero critican a estos francamente si sus cursos no están bien organizados o sus métodos para estimular el aprendizaje de los estudiantes con pobres.

En las investigaciones de Feldman (1989b) y Tang (1997) se destaca que los estudiantes utilizaron como base para valorar la competencia del profesor las dimensiones referidas a preparación y la organización, estimulación del interés, motivación, respuestas a las preguntas y el trato cortés a ellos. En otras palabras, los estudiantes utilizan diferentes componentes de eficacia para hacer sus juicios sobre la competencia docente, hecho que ha sido puesto en evidencia en las investigaciones desarrolladas por Beatty y Zahn (1990), Benz y Blatt (1995), Costin, Greenough y Menges (1971), Dukes y Victoria (1989), Frey (1978), Grush y Costin (1975), Johannessen (1993), Perry, Abrami y Leventhal (1979), Rodabaugh y Kravitz (1994), Shepherd y Trank (1989), Tollefson, Chen y Kleinsasser (1989), Ware y Williams (1977) y Waters, Kemp y Pucci (1988), quienes indican que los estudiantes son jueces que discriminan muy bien los elementos que constituyen la eficacia docente y que los rasgos de personalidad no influyen fuertemente en las decisiones que ellos toman acerca de la enseñanza recibida.

Para mostrar una visión global sobre la personalidad y otras características del profesor, mencionadas con anterioridad, se puede observar a modo de resumen el siguiente cuadro.

260


TABLA N° 12 RESUMEN DE LAS CARACTERÍSTICAS DE LOS PROFESORES EN LA EVALUACIÓN DE LA COMPETENCIA DOCENTE

Variable de los Profesores

Relación con la Evaluación del Profesor

Sexo

Tiene poco efecto, aunque las mujeres reciben una valoración Feldman, 1992, 1993; Cashin, ligeramente mayor. 1988 Rango Académico

Centra y Creech, 1976; Marsh y Dunkin, 1992. Edad

Feldman, 1983; Kinney y Smith, 1992; Centra, 1993. Número de publicaciones e investigaciones

Relación débil o escasa. Los profesores con más preparación académica son ligeramente mejor valorados. No hay relación. Está influida por la experiencia y el rango académico. Son necesarios estudios longitudinales. No existe conexión, aunque algunos reporta una relación de débil a baja (0.22 – 0.12)

Centra, 1981, 1983; Feldman, 1987; Marsh y Dunkin, 1992. Reputación

Perry 1979; Babad, 2001.

Se ha hallado analogía pero está influenciada por fuerzas externas. Poca investigación.

Relación positiva. Se da sobre todo en los ítems relacionados con el entusiasmo, pero no en otros; desaparece cuando los Marsh y Ware 1982; Abrami, alumnos necesitan aprender y dar cuenta de ello. Perry y Leventhal, 1982. Débil relación con las encuestas, aunque los estudiantes La personalidad diferencian bien las dimensiones de eficacia. Algunas veces Erdle, Murray y Rushton, 1985; varía de acuerdo al tipo de clase. Feldman, 1986, 1989b; Tang, 1997. El efecto del “Dr. Fox”

Tal vez las características del profesor no tengan tanta influencia en las encuestas de estudiantes como aquéllas referidas específicamente al contexto de la clase, como en número de estudiantes, su electividad, dificultad o cantidad de trabajo, entre otras.

261


4.

DE LA CLASE

4.1. Número de estudiantes

El número de estudiantes en la clase ha sido una variable que históricamente ha permanecido constante en los estudios e investigaciones sobre eficacia docente, dado que es una de las variables de contexto que con más evidencia se encuentra. Estos trabajos se han fundamentado en la idea de que la cantidad de alumnos en clase afecta, de alguna manera, a la valoración que ellos hacen del profesor universitario.

Según McKeachie (1990) los primeros trabajos dedicados a este tema aparecen a principios del siglo 20 con Edmonson y Mulder (1924), quienes compararon el rendimiento de las clases con muchos y con pocos estudiantes. En su estudio, los autores encontraron que el logro de ambos grupos era igual pero se detectó que a mediados del semestre existía un ligero avance en las clases pequeñas, aunque las clases con muchos estudiantes evidenciaron este logro al final del curso. Los autores concluyen que no existen diferencias en el rendimiento de los estudiantes con relación al tamaño de la clase, sin embargo, parece ser que los estudiantes preferían las clases con pocos estudiantes pues se encontraban más a gusto en ellas.

Por su parte Cheydleur (1945) (citado por McKeachie, 1990) estudió cientos de clases en un rango de 9 a 33 estudiantes y encontró una consistencia de rendimiento en las pruebas de departamento en las clases pequeñas. En estudios posteriores Macomber y Siegel (1957a, 1957b, 1960) encontraron diferencias estadísticamente significativas que favorecían a las clases pequeñas. Glass y Smith (1979) en su meta análisis, considerado muy 262


controvertido, señala que el peso de la evidencia favorece a las clases pequeñas o con pocos estudiantes.

Otros trabajos similares nos ofrecen información

empírica sobre la

cantidad de estudiantes en clase y su valoración de la competencia docente universitaria, como los de Aleamori y Graham (1974), Goodhartz (1948) y Solomon (1966). Hudelson (1928) considera que el tamaño de la clase influye en el rendimiento de los estudiantes. En su revisión de 59 estudios éste encontró que existe relación entre el tamaño de la clase y el logro académico. Un estudio posterior de Danielsen y White (1976) encontró soporte empírico y relación positiva para apoyar esta afirmación.

Glass, Cahen, Smith y Filby (1982), Glass y Smith (1978), Heilman y Armentrout (1936), Lovell y Haner (1955) y Scottt (1977) en estos trabajos se considera que un reducido número de estudiantes en la clase es mejor para el rendimiento del estudiante y para la calidad docente.

Como se puede observar, existe alguna tendencia empírica que se pronuncia a favor de las clases con pocos estudiantes, debido a que en ellas los estudiantes tienden a mejorar su rendimiento y a puntuar mejor al profesor. Esta relación entre calidad docente y número de estudiantes por clase en la universidad ha sido investigada por Aleamori (1981), Centra (1979), Feldman (1978), Frey (1978) y Marsh (1987a), los cuales concluyen que existe una débil relación con el tamaño de la clase y la calidad docente.

En este sentido se expresan Feldman (1978), Franklin y otros (1991) y McKeachie (1990) entre otros, explicando que la mayoría de autores reportan en sus investigaciones que las clases pequeñas tienden a dar altas valoraciones a sus profesores. Aleamori (1999), tratando sobre esta cuestión, insiste que los profesores universitarios con clases de muchos estudiantes reciben bajas 263


valoraciones, pero argumenta que eso sucede porque los estudiantes generalmente prefieren clases pequeñas, lo que permite una mayor interacción del profesor con los estudiantes. Esta consideración está apoyada por algunos estudios de Aleamori y Hexner (1980), Mateo y Fernández (1996), Fernández, Mateo y Muñíz (1998) y Watkins (1990), quienes destacan que las clases con pocos alumnos valoran mejor a sus profesores.

Por otra parte Aleamori y Hexner (1980) citan siete estudios que destacan la inexistencia de relación entre el tamaño de la clase y la valoración de los estudiantes. Según los autores no hay ninguna evidencia empírica consistente que señale el efecto de esta variable. En el mismo sentido se expresan Lin (1992) y Shapiro (1990) quienes destacan también que no existe relación entre la cantidad de estudiantes en la clase y sus valoraciones de la competencia docente universitaria.

Otros investigadores como Gage (1961), Kohlan (1973), Lovell y Haner (1955), Marsh, Overall y Kesler (1979), Pohlmann (1975), Wood, Linsky y Strauss (1974), Centra y Creech (1976), Feldman (1978, 1984) y Koushki y Jun (1982) han hipotetizado que la relación entre esta variable y la valoración del profesor no es lineal sino curvilínea. Para ello, según Wachtel (1998) han tratado de brindar algunas explicaciones como que los departamentos pueden asignar a los profesores con más rango para impartir clases en grupos grandes. Estos profesores pueden tener más estudiantes en sus clases en virtud de su reputación, por tanto, en las clases grandes los instructores pueden sentir un cambio o un aumento de enseñanza y tratan de prepararlas a conciencia o a la medida de las necesidades de los estudiantes o del tipo de curso, incluyendo mucha ayuda audiovisual. Centra (1988) repite lo mismo, refiriéndose específicamente a que los profesores en este tipo de cursos preparan mejor sus clases.

264


Feldman (1978, 1984) en sus estudios encontró que la mayoría de las investigaciones mostraban índices de correlación negativos, aunque existían relaciones débiles entre el

tamaño de la clase y las valoraciones de los

estudiantes. Por su parte Marsh (1987) analiza algunos estudios de esos años y concluye que el tamaño de la clase no sesga mucho las valoraciones de los estudiantes, pero sí tienen un efecto moderado en ciertas dimensiones de eficacia docente como la interacción con el grupo y el apoyo individual al estudiante; lo cual, es un componente clásico de la clase normal pues los profesores con muchos estudiantes difícilmente se pueden relacionar con todos o brindarles una atención individualizada. En un estudio posterior Marsh, Hu y otros (1997) encontraron que la cantidad de estudiantes en clase correlaciona modestamente con las valoraciones de los estudiantes de los buenos profesores, aunque los autores hacen una aclaración al respecto señalando que el tamaño de esa correlación era pequeño y muchas veces estadísticamente no significativo. Ellos encontraron que los buenos profesores en clases con muchos estudiantes, eran considerados más bajos en términos de interacción con el grupo (r= -.17) y apoyo individual (r=. -.18). Al respecto, Abrami (1989b) en la revisión de la monografía de Marsh (1987) acentúa que todo esto demuestra que la interacción y el apoyo son sensitivos a la cantidad de estudiantes en clase, por tanto, son dimensiones que no pueden ser empleadas en decisiones de tipo sumativo.

Young, Delli y Johnson (1999) y Wigington , Tollefson y Rodríguez (1989 ) estudian la cantidad de estudiantes en clase en tres grupos distintos: pequeños, medios y grandes. Los autores encontraron que las clases pequeñas tienden a valorar mejor que las clases grandes y aquellas clases que emplean la discusión como método de trabajo reciben valoraciones más altas que las clases que usan otros formatos. Además, su estudio también revela que las clases con estudiantes de primer año se valoran menos favorablemente que aquéllas con estudiantes avanzados. No obstante, se pueden señalar algunas 265


excepciones a estos resultados que se observan en las investigaciones de Bejar y Doyle (1978), Feldman (1984), Marsh y Overall (1981).

Neuman (2000) destaca una consideración importante al referirse a las disciplinas de Humanidades. En éstas los profesores tienden a recibir mejores y más altas valoraciones de sus estudiantes que en las disciplinas de Ciencias Naturales (la división de ciencias duras y ciencias blandas23). Esta acotación sobre la existencia de mejores valoraciones en aquellas carreras de ciencias blandas ha sido señalada también en los trabajos de Cashin (1990 a y b), Cashin y Clegg (1987), Craton y Smith (1986) y Feldman (1978). Craton y Smith, (1986) y Feldman (1984, 1978) consideran que a) un curso de alto nivel, tiende a ofrecer una alta valoración al profesor, y b) que las clases pequeñas tienden brindar mejores valoraciones que las clases con muchos estudiantes.

A manera de resumen, se puede observar en la siguiente tabla la posición teórica que los investigadores han mantenido durante los últimos años.

TABLA N° 13 DIVERSAS POSICIONES RESPECTO A LA CANTIDAD DE ESTUDIANTES EN CLASE

POSICIÓN TEÓRICA Clases con muchos puntúan alto Clases con pocos evalúan mejor

AUTORES Cohen, 1981 Young y otros, 1999; Craton y Smith, 1986; Aleamori y Hexner, 1980; Mateo y Fernández, 1996; Fernández, 1998; Watkin, 1990.

23

Biglan (1973a, 1973b) estableció el modelo de las diferencias entre las disciplinas usando tres dimensiones que reflejan similaridades y diferencias en las materia. Las tres dimensiones son el desarrollo del grado de paradigma (duras vrs blandas), la extensión de la aplicación práctica (aplicadas vrs puras) y lo concerniente con el área biológica o social comparado con los objetos inanimados (vida vrs no vida). Desde que se propuso el modelo, las dimensiones duras - blandas y puras - aplicadas han sido particularmente usadas por los investigadores.

266


Existe relación No existe relación Relación curvilínea

Efecto depende de lo que el profesor hace Ciencias blandas evalúan mejor que las duras

Craton y Smith, 1990; Marsh y otros, 1997. Aleamori, 1999; Cohen, 1990; Seldin, 1993; Lin, 1992; Shapiro, 1990. Marsh, Overall y Kesler, 1979; Pohlmann, 1975; Wood, Linsky y Strauss, 1974; Centra y Creech, 1976; Feldman, 1978, 1984; Koushki y Jun, 1982. McKeachie, 1990. Neuman, 2000; Cashin, 1990.

McKeachie (1990) destaca que el efecto de la cantidad de estudiantes en la clase depende de la eficacia relativa del profesor y este efecto aparece desde las primeras investigaciones que se realizaron sobre el tema en debate. En su artículo, muy interesante por cierto, destaca la evolución histórica de las investigaciones que han tratado el tema, desde la perspectiva de lo que el profesor hace en el aula y cómo utiliza su metodología de trabajo.

Mueller (1924), Solomon, Rosenberg y Bezdek (1964), McKeachie (1984) han estudiado el efecto de la disertación y la discusión en clase. Los autores han encontrado que este efecto produce un alto rendimiento en los estudiantes, por tanto, la figura del profesor sigue siendo relevante. En este sentido, estas primeras investigaciones tratan de observar que elementos teóricos y prácticos marcan la diferencia en aquellas clases con pocos o muchos estudiantes, señalando, por una parte, la responsabilidad personal y la actividad del estudiante. Por otra, en el menor de los casos, que el profesor pueda conocer la personalidad de cada estudiante y adaptar su instrucción a las necesidades individuales de los estudiantes.

A todas luces, en toda esta controversia, parece plausible que el efecto del número de estudiantes en el aprendizaje depende de lo que el profesor hace. De esa manera, este efecto también depende de la eficacia relativa de la disertación y de la discusión, y no es sorprendente que, a partir de las primeras 267


investigaciones sobre el tema, aparezcan comparaciones entre ambos elementos. Claro está que hacen falta estudios descriptivos acerca del comportamiento del profesor en las aulas universitarias en clases de diferentes tamaños, pero parece probable que en grupos grandes los profesores dediquen normalmente menos tiempo a la discusión y a escribir y más al tratamiento del tema o a su disertación.

Finalmente, como hemos podido observar en la literatura de investigaciones empíricas, parece ser que existe una ligera evidencia que demuestra la existencia de un pequeño o a veces insignificante efecto del número de estudiantes en clase y la valoración que hacen de la competencia docente universitaria. No obstante, se ha señalado que en clases con muchos estudiantes el profesor puede relacionarse menos con los estudiantes y eso hace que se adapten menos a las necesidades individuales de los estudiantes, por ello pueden recibir una menor valoración pero solamente en los aspectos relacionados con la comunicación.

Las clases de ciencias duras son menos valoradas que las de ciencias blandas y los profesores en cursos con pocos estudiantes son mejor valorados que aquellos que deben atender clases con muchos estudiantes. Si se ha observado y analizado que tal efecto depende más de lo que el profesor hace en el aula, su metodología o su competencia, que del número de alumnos que tenga en la misma. Aunque, evidentemente, todo esto reviste de un debate contradictorio a favor y en contra, dado que muchos investigadores destacan que los buenos profesores son asignados a clases con muchos estudiantes y son muy bien valorados.

Fedlman (1984) destaca que en los estudios sobre la cantidad de estudiantes en clase y la valoración del profesor, se puede destacar lo siguiente:

268


El tamaño de la clase tiene una relación negativa y más bien baja con la evaluación del profesor, pero esa relación se observa en algunos aspectos de la eficacia docente. Además, las mejores valoraciones son otorgadas por los cursos superiores y con pocos estudiantes. ¾

No tiene relación apreciable con cómo se evalúa al profesor en otros aspectos o en los juicios globales (criterios). Influye solamente en aquellos elementos previsibles relativos a comunicación.

¾

A veces hay relación curvilínea, explicado por: a) algunos cursos son escogidos por el prestigio del profesor, lógicamente ellos reciben más estudiantes y son mejor valorados, b) se selecciona a los profesores especialmente aptos para ese tipo de clases y c) uso de métodos apropiados para atender a ese tipo de clase. ¾

El número de estudiantes en clase no tiene un efecto significativo en la valoración que los estudiantes hacen de la docencia universitaria y los autores etiquetan esos reclamos de mitos o falsas ideas (ver Aleamori, 1981, 1987, 1999; Braskamp y Ory , 1994; Cohen, 1990; Seldin, 1984, 1993). No obstante, es importante exponer y clarificar que esos mitos o falsas ideas, generan mucha resistencia por parte de los profesores hacia las valoraciones de estudiantes.

4.2. Optativa u obligatoria

Otro elemento considerado de sesgo en las valoraciones de estudiantes de la competencia docente es el carácter de la clase: optativa u obligatoria. Parece ser que algunos investigadores han identificado cierta tendencia a valorar mejor al profesor en aquellos cursos que son tomados por los estudiantes sin ninguna presión sobre su currículo académico o de manera optativa. Para Aleamori y Hexner (1980) este hecho supone cierta predisposición hacia la 269


asignatura y la voluntariedad en su elección. En este sentido Scherr y Scherr (1990) advierten que los cursos electivos son promediados significativamente más alto que aquéllos en donde los cursos eran requisitos de la carrera. Wachtel (1998) repite lo mismo al mencionar que los investigadores han encontrado que los profesores de clases electivas reciben mejores valoraciones que los profesores de las clases obligatorios de la carrera

Ting (2001) en su estudio sobre la satisfacción, el esfuerzo comparado y la obligatoriedad, encontró que, comparado con los cursos electivos, los estudiantes en los cursos de educación general muestran baja satisfacción con el rendimiento del docente y con el diseño del curso, además se consideran así mismo menos diligentes. Los estudiantes en los cursos de requisito también presentan una baja satisfacción con el docente y el diseño del curso igual que en los cursos electivos, pero no hay diferencias con su propio esfuerzo en el estudio.

Aún más, Feldman (1978), Bramdenburg (1977, 1978), McKeachie (1973, 1979), Marsh (1987), Pohlmann (1975) y Scherr y Scherr (1990) ponen en evidencia que existe una moderada pero positiva relación entre la electividad de la clase y las valoraciones de los estudiantes, pero que puede verse afectada más por el interés previo del estudiante que por la materia misma.

Rindermann y Schofield (2001) señala que existen diferencias entre los cursos impartidos por un solo instructor y los cursos de la misma materia pero con diferente instructor. Los estudios de Hogan (1973), Bausell y otros (1975), Gillmore y otros (1978) Marsh (1982) y Hanges, Shneide y Nile (1990) demostraron una alta estabilidad de juicios específicos del estudiante con el mismo instructor en el mismo curso o materia. Los autores encontraron que la media de la correlación en diferentes cursos impartidos por el mismo instructor 270


es de r= 0.50. Mientras que en cursos iguales ofrecidos por el mismo profesor la media de correlación se incrementó en r=0.72. No obstante, para los cursos iguales pero enseñados por diferentes profesores, la correlación bajó a r= 0.16. Es obvio que podemos interpretar los resultados encontrados como que el efecto del profesor en la evaluación del curso es mucho más fuerte que el efecto de la materia. Feldman (1978) revisando los estudios de

Bausell,

(1975), Hogan, (1973) y Seiler y otros (1977) encontraron que cuando el mismo instructor enseñaba el mismo curso había una estabilidad de r= 0.72, mientras que si se evalúa el mismo instructor pero en diferentes cursos se obtiene una correlación de r= 0.41 y si son diferentes instructores en los mismos cursos la correlación era de r=0.12

Bausell (1975) y Marsh (1982) encontraron que la evaluación del profesor se mantenía estable cuando el tema cambia ( r = 0.54) mientras la evaluación de las condiciones externas se mantiene estable con diferentes instructores y con temas idénticos (r = 0.45).

Por su parte, otros investigadores como Heilman y Armentrout (1936) y Hildebrand, Wilson y Dienst (1971), en épocas diferentes, encontraron en sus estudios que no existen diferencias entre las valoraciones de estudiantes y el carácter de sus cursos, ya sea requeridos u optativos. Esta conclusión induce a reflexionar si la obligatoriedad o no de un curso es un factor de sesgo por sí mismo o intervienen en ello otras variables de contexto del alumno, como el interés previo por la materia o, como destaca Centra (1988), la calidad del profesor motiva al estudiante a matricular determinadas asignaturas, independientemente de su carácter obligatorio o no.

En este sentido, podemos añadir que por la naturaleza de esta variable y las distintas posiciones teóricas sobre el efecto de sesgo en las valoraciones de estudiantes de la competencia docente, se observa claramente que no existe 271


tendencia clara y determinante por parte de los investigadores que explique formalmente este efecto o relación. Por tanto, la situación del carácter de la materia es todavía un componente que requiere de mucho debate y estudio empírico.

4.3. Dificultad de la clase Los diferentes estudios desarrollados sobre la dificultad del curso han tratado de comprobar la hipótesis de si aquellos profesores que exigen poco a sus estudiantes en sus clases son mejor valorados que los que exigen mucho. Los que apoyan este pensamiento expresan que si un profesor quiere salir bien valorado por sus estudiantes lo único que debe hacer es reducir las exigencias del curso y con ello sus estudiantes harán una mejor evaluación de su trabajo.

Aunque esto a todas luces parezca evidente y muy cierto, los resultados empíricos demuestran que la relación es totalmente contraria o inversa, dado que Marsh (1980, 1982, 1984), Marsh y Overall (1979b) y Centra y Creech (1976) han demostrado que los profesores mejor valorados por sus estudiantes son aquellos en cuya asignaturas o clases, se exige un esfuerzo mayor para poder aprobar. Brady (1989) en un estudio experimental demostró que entre dos profesores altamente valorados, los estudiantes se encuentran muy satisfechos con el más exigente, lo que muestra que los alumnos distinguen bien, qué profesores les ayudan en su transformación y cuáles no, por ello valoran mejor a aquellos profesores que hacen de sus clases un continuo reto a la imaginación y a sus posibilidades. No obstante, hay que señalar que esta relación no es alta (0.30 o menor) pero el hecho de que contradiga lo que se podría suponer es un dato a favor de estas evaluaciones.

272


Arnett y otros (1989) encontraron que el juicio del estudiante no varia en relación con la dificultad de la materia lo que demuestra que los estudiantes entienden que unas materias son más fáciles que otras y no juzgan a los profesores según la dificultad de la materia. Ting (2001), utilizando los modelos jerárquicos lineales, expresa que el nivel de dificultad del curso no tiene un gran efecto en la valoración de los estudiantes del profesor. Además, añade que estas variables están muy relacionada con otras como: el año de matrícula, cantidad de estudiantes en clase y tipo de curso. El propio autor destaca que el nivel de dificultad del curso no tiene efecto en la medida de la satisfacción, pero sí tiene un impacto positivo en la propia evaluación del esfuerzo del estudiante. Los estudiantes se perciben que estudian fuerte en los cursos más difíciles y menos que en los que tienen poca dificultad. Al respecto Marsh, Hu y otros (1997) destacan que se han detectado modestos efectos de esta variables en nuestro tema de estudio, pero el hacer más fácil o más difícil una clase no es determinante de una alta valoración de la docencia universitaria.

En este sentido, parece ser que los profesores más exigentes en sus cursos y que hacen trabajar más a sus estudiantes logran estén más satisfechos con ellos, que con aquellos que debilitan sus cursos para obtener una mejor nota en la evaluación de su enseñanza. En este sentido, Marsh y Hau (1997) manifiestan que los buenos profesores tienden a ser considerados en cierto modo como los más difíciles y demandantes en la clase.

4.4. Cantidad de trabajo La cantidad de trabajo que el profesor asigne a sus estudiantes ha sido señalada como una de las razones más determinantes para cuestionar o negar la validez de este tipo de evaluaciones. Marsh, Hau y otros (1997), Marsh 273


(1987a), Marsh y Dunkin (1992) y Marsh y Roche (1997, 2000) han estudiado a fondo esta variable y señalan que los resultados reflejan ambigüedad. La cantidad de trabajo algunas veces es vista como un factor que se relaciona con la eficacia docente y en otras como un factor de sesgo.

Generalmente, se suele expresar o suponer que aquellos profesores que asignan grandes cantidades de trabajo a sus estudiantes van a ser penalizados por ellos, otorgándoles bajas calificaciones en sus evaluaciones. Por el contrario, si hay una baja cantidad de trabajo en un curso fácil que no requiera muchas horas de trabajo fuera de clase, se puede seducir a los estudiantes para que brinden una mejor valoración.

Marsh y Roche (2000) y Marsh (2001) rechazan esta hipótesis que plantea la cantidad de trabajo como un elemento de sesgo potencial, demostrando que la cantidad de trabajo (dificultad del curso, ritmo, cantidad e trabajo, horas de trabajo fuera de la clase) está positivamente relacionadas con los SET y no negativamente, como implican las hipótesis de sesgo. Aún más, los estudios han demostrado todo lo contrario, pues los estudiantes valoran mejor a aquellos profesores que les exigen más.

Dudley y Shawer (1991) encontraron diferencias significativas en los cursos de mercadeo en los que no había trabajo en casa y los que tenían tareas relevantes para hacer en la casa, en los últimos, aumentaba considerablemente la valoración del docente; un aspecto importante a destacar es que estos resultados no pueden ser generalizados a todas las áreas de estudio.

Este hecho es resaltado por Marsh (1987a) quién cita estudios en los cuales se han encontrado una correlación positiva entre la cantidad de trabajo y la dificultad y las valoraciones de estudiantes, recalcando que los cursos más difíciles tenían una mejor valoración por parte de los estudiantes. Este 274


argumento rechaza que la cantidad de trabajo es un contaminante de las valoraciones de estudiantes. No obstante, el nivel del curso y la edad del estudiante pueden ser factores contrarios en los cursos más difíciles. El autor destaca que hay que entender claramente que la cantidad de trabajo y la dificultad del curso no son la misma cosa. Refiriéndose al mismo tema, Franklin (1991) considera que esas dos variables son distintas: él encontró que la dificultad, pero no la cantidad de trabajo, tenía una pequeña pero positiva correlación con la valoración que hacen los estudiantes de la competencia docente. Wachtel (1998) afirma que los cursos con una gran cantidad de trabajo son promediados generalmente altos, pero no en Ciencias y Matemáticas. Es concebible que el ritmo del curso o la percepción de esto pueda tener un efecto en las valoraciones de estudiantes. No obstante, Marsh, Hau y otros (1997) utilizaron el SEEQ con 844 estudiantes de una universidad de Hong Kong y no encontraron diferencias significativas en la cantidad de trabajo y la dificultad del curso.

Para poder explicar esta variable, Marsh y Hocevar (1991), Marsh y Dunkin (1992) y Marsh y Roche (2000) proponen una teoría muy racional sobre la cantidad de trabajo que el profesor asigna a sus estudiantes como un importante aspecto de la eficacia docente. Los autores destacan que si el ritmo de la clase es muy rápido, los estudiantes no podrán entender ni absorber los conocimientos, lo que puede no ser tolerado por los estudiantes y crearles disconformidad. A la inversa, si el éxito les llega demasiado fácil, como resultado de la poca cantidad de trabajo, los estudiantes pierden interés y no valoran ese aprendizaje. Los estudiantes valoran su aprendizaje y logro más alto cuando involucra un substancial cambio en su nivel académico y compromiso. Este aspecto ha sido reportado como un componente no lineal en los SET, dado que esto suele aumentar hasta un nivel óptimo y a partir de ese punto crítico tiende a descender.

275


De acuerdo con las recientes publicaciones de Marsh (2001), la cantidad de trabajo es un elemento que debe ser dividido en dos factores: buenas y malas horas. Cada uno esta constituido por varios ítems y debe ser analizado separadamente para aumentar la utilidad de las evaluaciones en la mejora del esfuerzo instruccional. Al respecto Franklin y Theall (1996), y Gillmore y Greenwald (1994) enfatizan la importancia de distinguir entre buenas horas (horas dedicadas al trabajo del curso consideradas por los estudiantes) y las malas horas.

En su investigación, Marsh (2001) reporta que la buena cantidad de trabajo está substancial pero positivamente correlacionada con la valoración del profesor y el aprendizaje percibido. En contraste, la mala cantidad de trabajo esta negativamente correlacionada con los elementos anteriores. El autor destaca que esta diferencia es quizá el hallazgo más importante de su estudio. Gillmore y Greenwald (1994) y Greewald y Gillmore (1997b) también apoyan esta afirmación. Marsh (2001) resalta que este factor en otros estudios analizados está definido por total de horas, el cambio y el esfuerzo necesario para el éxito. La utilización de las horas confunde los efectos positivos de la buena cantidad de trabajo. Mientras que el esfuerzo necesario para el éxito es aparentemente visto por los estudiantes como un esfuerzo provechoso, en la cual se denota una correlación de 0.86.

En conclusión, podemos expresar que la interpretación

de las

correlaciones entre los SET y el sesgo potencial, tal como la cantidad de trabajo, se mantiene todavía como un debate muy acalorado que no ha podido llegar a conclusiones definitivas. No obstante, de acuerdo con el efecto de buena y mala cantidad de trabajo se puede decir que la primera está positivamente correlacionada con la valoración global y con los factores específicos de los SET, mientras que la mala cantidad de trabajo está negativamente correlacionada con los mismos factores. Por tanto, el 276


incremento en la cantidad de trabajo parece ejercer una influencia positivamente valorada por los estudiantes en los SET.

Como se ha podido observar en el transcurso de nuestra exposición, existe una gran diversidad de variables del curso24 que pueden estar relacionadas con las evaluaciones que los estudiantes hacen de la competencia docente universitaria y que los investigadores han destacado en sus estudios sobre el tema. Sin embargo, a todas luces se evidencia que no existen resultados substanciales que indiquen si ese efecto es tan grande que invalide la valoración del profesor y se desestime la opinión del estudiante.

TABLA N° 14 RESUMEN DE LAS CARACTERÍSTICAS DE LA CLASE EN LA EVALUACIÓN DE LA COMPETENCIA DOCENTE

Variables de la Clase

Relación con la Evaluación del Profesor

Cantidad de estudiantes

Relación negativa y baja; solamente en los ítems que Feldman, 1984; Marsh, 1980, lógicamente están relacionados con el número de alumnos 1983; McKeachie, 1990; Marsh, (interacción, atención individual y apoyo) Hau y otros, 1997; Fernández, Mateo y Muñíz, 1998. Optativa u obligatoria

Se ha encontrado una positiva pero moderada relación que se Scherr y Scherr, 1990; Feldman, ve afectada por el interés previo del estudiante 1978; Marsh, 1987. Dificultad

Relación moderada baja (0.30) y generalmente negativa; se Marsh, 1980; Ting, 2001; Marsh y evalúa mejor a los profesores más exigentes. Hau, 1997. Cantidad de trabajo

Relación positiva, a mayor cantidad de trabajo mejor Marsh y Dunkin, 1992; Marsh y valoración del profesor. Roche, 1997, 2000; Marsh 2001.

24

No hemos descrito todas las que aparecen en la literatura, sino solamente aquéllas que nos interesan para nuestra investigación.

277


5.

OBSERVACIONES Hemos expuesto algunos enfoques particulares de las investigaciones

relacionadas con las características del contexto de estudiantes, el profesor y el curso y la forma en que estos aspectos influyen en la valoración que hacen los estudiantes de la competencia docente. Sobre este tema, hemos considerado algunas de las más importantes investigaciones y, como se ha podido observar, los investigadores manifiestan diferentes criterios sobre el efecto que tienen estos elementos.

Una vez analizada la amplia gama de información referida por la literatura, podemos añadir que las características del curso tienen poca influencia negativa en la valoración de los estudiantes; no obstante, hay que ser precavidos en la emisión de juicios, debido, principalmente a que en algunas variables no existen suficientes investigaciones al respecto. No obstante, cabe destacar una investigación de Cranton y Smith (1986), quienes confirmaron, en la revisión de los estudios previos, que las características de contexto del curso unas veces afecta fuertemente a algunos departamentos universitarios, pero, en cambio, en otros departamentos no se encontró ninguna influencia significativa. Los autores concluyen que no se puede establecer un amplio campus de normas y que tales efectos deben ser estudiados cautelosamente. En este sentido, nosotros consideramos que sería apropiado e interesante realizar estudios que analizaran estas características, considerando las diferentes áreas universitarias de forma individual.

En una revisión de las características del docente parece ser que tiene un débil o nula relación con las encuestas de estudiantes, pues los autores más relevantes sobre este tema de investigación no han encontrado efectos 278


significativamente altos en las particularidades referentes al rango, la experiencia, el sexo o la cantidad de investigaciones de un profesor universitario. Se considera que la opinión del estudiante se encuentra en algún modo distante de las características de contexto del docente.

Ahora bien, observando las particularidades de los estudiantes, es evidente que los autores han encontrado algunas relaciones o efectos moderados con respecto a la nota esperada, la benevolencia del docente y el sexo del estudiante, pero estas características y efectos se ven influenciados a su vez por otros elementos del contexto como el interés previo, la motivación o la percepción de éxito del estudiante. Lo cual señala que no son elementos independientes, sino que, en alguna forma, están ligados a otros aspectos intrínsecos del estudiante. Es evidente que la opinión del estudiante en relación con la edad y los años en la universidad se comporta consistentemente a través de los años y que estos confirman o mantienen su opinión varios años después de haber emitidos sus criterios con respecto al profesor.

Una vez conocidas las dimensiones, criterios y variables que inciden en la evaluación de la competencia docente, nuestra mayor preocupación de investigación es determinar si la evidencia señalada anteriormente con respecto a las características de contexto de la evaluación de la competencia docente, se comporta de manera similar cuando se aplican análisis y metodologías de investigación más novedosas. De ello trataremos totalmente en los capítulos de la segunda parte.

279


280

Capítulo 6

INDAGACIONES GENERALES Y METODOLÓGICAS AL ESTUDIO EMPÍRICO

Indagaciones generales y metodológicas al estudio empírico

Índice capítulo 6

INDAGACIONES GENERALES Y METODOLÓGICAS AL ESTUDIO EMPÍRICO.........................................................................283 1.

INTRODUCCIÓN

285

2

CONTEXTUALIZACIÓN Y OBJETIVOS DEL ESTUDIO EMPÍRICO 286 2.1. Objetivos generales............................................................................................... 287 2.2. Objetivos específicos ............................................................................................ 287

3.

METODOLOGÍA 288 3.1. Consideraciones metodológicas............................................................................ 288 3.1.1. Aportes, ventajas y principales críticas a las metodologías propuestas ........ 289 3.2. De los modelos causales y AMOS........................................................................ 292 3.2.1. Especificación del modelo ............................................................................ 293 3.2.2. Identificación del modelo.............................................................................. 296 3.2.3. Estimación de los parámetros........................................................................ 298 3.2.4. Evaluación del modelo.................................................................................. 301 3.2.5. Diferentes propuestas sobre los índices para el ajuste del modelo................ 306 3.2.6. AMOS en el análisis de la competencia docente: otros índices de ajustes .. 309 3.2.7. ¿Por qué usar AMOS 4.0?............................................................................. 310 3.3. Los modelos jerárquicos lineales .......................................................................... 311 3.3.1. Breve aproximación histórica ....................................................................... 312 3.3.2. La lógica y la estructura multinivel o anidada .............................................. 316 3.3.3. El modelado de estructuras jerárquicas......................................................... 322

284


1.

INTRODUCCIÓN

La segunda parte de esta investigación se centra en el estudio empírico y en una serie de apartados subsecuentes mutuamente interrelacionados, que tienen como propósito ir desarrollando una secuencia de elementos metodológicos y teóricos, para elaborar un instrumento de medida de la competencia docente, y a su vez examinar su fiabilidad y validez. Una vez analizadas estas propiedades psicométricas, se utilizarán los modelos jerárquicos lineales para conocer la influencia que tienen las características de los estudiantes, los profesores y el cursos en este tipo de evaluación.

En todo este entorno de actividades nos dedicaremos primeramente a señalar los objetivos del estudio empírico y su contexto de aplicación en la Universidad de Costa Rica, sede de Guanacaste. Posteriormente describiremos de forma muy breve la técnica metodológica empleada, la fundamentación filosófica y numérica de los modelos causales y jerárquicos lineales, su aplicación, desarrollo histórico y la estimación de parámetros.

Posteriormente se tratará acerca de los elementos psicométricos empleados en el análisis y estudio del instrumento de medida, su conceptualización teórica, aplicación y muestra. En este apartado se utiliza el análisis factorial exploratorio, a fin de reducir la información y determinar aquellos ítems con mayor carga factorial que puedan ser utilizarlos como predictores de competencia docente. Luego con los modelos de ecuaciones estructurales, se determina la existencia de un constructo de competencia docente universitaria. 285


El tercer apartado reúne la modelización jerárquica lineal en tres niveles: instrumento, estudiantes, profesores y curso. Con esta metodología se analizan las características de cada uno de los niveles desarrollando, uno o varios modelos jerárquicos lineales para determinar la influencia de ciertas características mencionadas con los implicados. Luego se analizará el peso o efecto que tienen los factores identificados en el constructo competencia docente. Una vez determinada la significatividad de cada uno, se cruzará la información con las características de los estudiantes, profesor y curso para determinar la influencia de éstas en cada nivel.

Antes de desarrollar esta serie de actividades del estudio empírico, hemos de definir previamente los objetivos que van a amalgamar y a determinar todas las tareas posteriores.

2

CONTEXTUALIZACIÓN EMPÍRICO

Y

OBJETIVOS

DEL

ESTUDIO

El estudio empírico que presentamos proviene de una aplicación desarrollada en la Universidad de Costa Rica, la mayor universidad pública de este país. La muestra recogida pertenece a la sede de Guanacaste, una de las sedes universitarias que se ubican fuera del área metropolitana y que facilitan el acceso a la universidad a los estudiantes de las provincias.

La decisión de utilizar este nivel educativo corresponde, en primer lugar, a consideraciones de carácter teórico suficientemente justificadas dentro del marco de referencia y que desarrollamos en los primeros capítulos de esta investigación. En segundo lugar, ser parte de su cuerpo docente facilita ciertas 286


relaciones con los profesores, directores y administradores de la Sede de Guanacaste.

2.1. Objetivos generales

Los objetivos generales del estudio empírico que desarrollaremos en los apartados siguientes están dirigidos principalmente a formular, justificar y validar un modelo causal, que explique coherente y plausiblemente el constructo de competencia docente universitaria. El mismo será utilizado como variable dependiente, en el análisis y estudio de los determinantes del estudiante, el profesor y la clase que influyen en la evaluación de los profesores universitarios. Para poder concretar esta idea nos fundamentaremos en los siguientes objetivos específicos.

2.2. Objetivos específicos

¾ Definir y especificar teóricamente el constructo de competencia docente.

¾ Identificar las dimensiones o factores más utilizados como criterios de medida de la competencia docente universitaria.

¾ Seleccionar las variables medidas para representar cada uno de los constructos propuestos en el modelo.

Estimar y evaluar el grado de ajuste del modelo propuesto de competencia docente a los datos utilizados, para validar el constructo. ¾

Construir una escala que permita medir el constructo propuesto y estudiar sus propiedades psicométricas. ¾

287


Definir teóricamente las variables más importantes que caracterizan a los estudiantes, profesores y curso en este tipo de evaluación. ¾

Determinar, a través de los modelos jerárquicos lineales en dos y tres niveles, la influencia que ejercen las características de los estudiantes, profesores y curso en la evaluación que hacen los estudiantes de sus profesores universitarios. ¾

Valorar las características específicas de AMOS y EQS en el estudio estructuras de covarianza, para conocer la profundidad del análisis desarrollado por ambos programas informáticos. ¾

Ciertamente, no desconocemos los resultados de las investigaciones que se han realizado sobre eficacia docente y los pocos resultados que se han obtenido. Tal vez las metodologías no fueron determinadas claramente, quizás solamente se han empleado estudios correlacionales y no otras metodologías más desarrolladas. En fin, con esta investigación queremos aportar un pequeño elemento más al gran debate que implica el estudio de la evaluación docente universitaria.

3.

METODOLOGÍA

3.1. Consideraciones metodológicas

Nosotros estimamos que uno de los elementos fundamentales, en una propuesta empírica de esta naturaleza esta fuertemente relacionada con el tipo de metodología utilizada para analizar los datos. Por tanto, buena parte de la riqueza y profundidad en los resultados obtenidos permanece íntimamente ligada a ella. 288


En este sentido, podemos afirmar que la producción de avances sustantivos en la investigación educativa ha de permanecer ligada al análisis profundo de la literatura existente y a la utilización de modelos analíticos apoyados en posiciones científicas rigurosas. Desde esta perspectiva, se puede confiar substancialmente en que el acercamiento al fenómeno de estudio será lo más exacto y preciso posible en ese momento determinado. Por esa razón, será trascendental, entre otras cosas, probar modelos teóricos, validarlos, proponer diferentes alternativas de ellos, observar y contextualizar sus resultados. Ciertamente, lo anterior plantea que debe existir una combinación equilibrada entre la teoría y el método para producir un avance substancial en el saber científico y en el estudio de la evaluación de las instituciones educativas universitarias.

Apoyados en este pensamiento, el presente estudio trata de acercarse al análisis de la competencia docente universitaria desde dos técnicas muy complejas y rigurosas: los modelos de ecuaciones estructurales y los modelos jerárquicos lineales. Ambas posturas metodológicas ofrecen un enfoque científico y exacto para profundizar en la exploración de nuestro tema en cuestión.

3.1.1. Aportes, ventajas y principales críticas a las metodologías propuestas

La utilización de los modelo causales y de los modelos jerárquicos lineales, se fundamentan principalmente en una teoría previa, indudablemente esto nos remite directamente al análisis minucioso de la literatura existente sobre el tema de competencia docente universitaria. Desde el primer acercamiento, la metodología exige el dominio teórico, la toma de decisiones y 289


la selección de variables o indicadores relevantes, entre otros aspectos. Todo ello ubica al investigador en un camino muy preciso que le brinda una serie de elementos necesarios para la posterior aplicación de los modelos. Esta aproximación es uno de los principales aportes que brinda esta metodología, porque exige y obliga al investigador a un dominio profundo de la disciplina de estudio.

Los modelos causales posibilitan, entre otras cosas, la estimación de los parámetros estructurales y la obtención de distintos índices para conocer el ajuste del modelo propuesto a los datos, de modo que aportan información suficiente, coherente y exacta, para juzgar el grado de ajuste del modelo y en consecuencia, su validez. Además, no sólo representan una relación matemática, sino, como argumenta Page (1990), también reflejan una relación teórica causa-efecto, que se especifica en función de la teoría subyacente. En este sentido Bizquerra (1989) afirma que su principal ventaja es pasar de una teoría expresada verbalmente a un modelo expresado matemáticamente.

De todo esto se deduce que la utilidad de estos modelos radica en describir de manera compleja y profunda, las posibles relaciones causales entre una serie de variables propuestas, para explicar científicamente un fenómeno dado, en nuestro caso la competencia docente universitaria. El uso de la metodología en este estudio permite aumentar la capacidad explicativa de nuestra escala, confirmando su eficacia estadística. Obviamente, esto nos proporciona además, la validación del constructo competencia docente tal y como nosotros lo planteamos.

Por otra parte, algunas de las críticas que han recibido los modelos causales tienen relación con el argumento que plantea, su inoperancia en la creación o formulación de una teoría, pues, necesariamente, deben partir de ella para brindar las explicaciones causales sobre la influencia de unas 290


variables sobre otras. Otro aspecto destacado también, arguye la inexistencia de un modelo único para explicar un fenómeno dado, debido a que pueden existir diferentes modelos causales de un mismo suceso de estudio. No obstante, pensamos que en esos dos argumentos radica la riqueza de esta metodología, porque permiten observar la realidad, ya de por sí abstracta y compleja, a partir de una teoría previa y desde diferentes vértices, que muestran explicaciones plausibles alternativas debido a que la realidad no es estática, sino cambiante.

La otra línea metodológica incluida en nuestro análisis, los modelos jerárquicos lineales, permiten la observación de los fenómenos sociales por medio de un orden jerárquico previamente establecido. La ventaja, de este tipo de organización en los datos hace posible que se pueda examinar la realidad de estudio a diferentes niveles y entre los niveles. En otras palabras, podemos analizar todas las variables implicadas de forma individual, colectiva y cruzada, ello nos aporta diferentes tipos de información relacionada con la estimación de los parámetros fijos, aleatorios, de varianza y covarianza.

Estas estimaciones no se pueden realizar conjuntamente en ningún otro tipo de análisis estadístico, de ahí la gran riqueza que aporta esta metodología. Además, ofrecen la posibilidad de estudiar los residuos por sujetos, por colectivos y entre ambos, lo que reduce enormemente el índice de error en la estimación y facilita ampliamente la identificación del residuo correspondiente.

En un estudio como el nuestro, esta metodología aporta estimaciones relacionadas con las características de los individuos, su significatividad y peso en el modelo. Además, simplifica al máximo el cruce de información para estudiar la relación entre los factores de competencia y los determinantes de los estudiantes, profesores y clase. Analizar todo este tipo de relación tan compleja, como la que propone este estudio, sería imposible desarrollarla sin la 291


utilización de los modelos jerárquicos lineales. Por esa razón, la metodología es apropiada y se adapta a este análisis en particular.

La principal crítica que ha recibido tiene relación con uno de los supuestos fundamentales para la estimación: la linealidad de las variables. Muchos investigadores señalan que la gran mayoría de las variables en las Ciencias Sociales, no cumplen este supuesto y que por tanto, es imposible una estimación de esta índole. Sin embargo, los diferentes estudios encontrados demuestran todo lo contrario. Al respecto puede verse los trabajos de Sammons, Nuttall y Cuttance (1993), Woodhouse (1998), Fielding (1999), Hill y Goldstein (1998), Plewis (1998), Fielding (1998), Langford, Leyland, Rasbash y Goldstein (1997), Goldstein (1997), Pan y Goldstein (1997), Goldstein y Rasbash (1996), Heath, Yang y Goldstein (1996), Albander y Goldstein (1992), Baxter-Jones, Goldstein y Helms (1993) y Goldstein y Healy (1995).

3.2. De los modelos causales y AMOS

El concepto de ecuaciones estructurales25 se refiere a un conjunto de estrategias cuyo objetivo es elaborar modelos causales que sean explicaciones plausibles de los fenómenos con el objetivo de validar o rechazarlos empíricamente. No pretende, bajo ninguna directriz, crear una doctrina, dado que es un proceso secuencial que tiene como punto de partida la teoría sobre un tema de estudio. A partir de ella, se formulan los modelos causales; por tanto, no es un método para descubrir causas, sino para validar las relaciones

25

Para Williams (1985) a este tipo de modelos también se les denomina modelos estructurales, sistema de ecuaciones simultáneas o modelos de ecuaciones estructurales. Pedhazur (1982) afirma que este último término tiene un sentido más genérico en cuanto a las distintas técnicas analíticas de causalidad.

292


hipotéticas entre las variables basándonos en unas hipótesis previas. Bizquerra (1989) señala que supone esquematizar la realidad seleccionando las variables relevantes que mejor explican el fenómeno. Si el modelo no está bien formulado o fundamentado, en la teoría, todo el análisis posterior que se haga carece de validez.

Según algunos autores, como Fuentes (1985), Austin y Calderón (1996), Steiger (1990), la metodología para validar un modelo causal se puede resumir en varios pasos, que están contenidos generalmente en los siguientes:

1.

Especificación del modelo

2.

Identificación del modelo

3.

Estimación de parámetros

4.

Evaluación del modelo

3.2.1. Especificación del modelo

Para el primer componente de este proceso, especificación del modelo, se elabora una representación gráfica fundamentada en la teoría, donde se propone la relación existente entre las diferentes variables que lo componen; se esquematiza la propuesta teórica mediante un diagrama de paso, a partir del cual, se formulan las ecuaciones estructurales que van a describir la posibles relaciones entre las variables. Esta fase supone esquematizar la realidad, seleccionando aquellas variables relevantes que mejor expliquen el fenómeno de estudio, formulando las hipótesis que van a servir de base al modelo estructural. Fundamentalmente, este paso consiste en definir a través de qué vías, determinadas variables explican a otras.

293

Indagaciones generales y metodológicas al estudio empírico Tipos de variables

En este tipo de análisis existen dos tipos de variables, que se denominan: exógenas y endógenas. Las primeras son aquellas que no pretenden ser explicadas causalmente, pueden considerarse constructos hipotéticos, e influyen directa o indirectamente en la segunda. Las endógenas son variables dependientes que vienen explicadas por las otras variables del modelo, pueden ser exógenas o endógenas. De hecho, su variabilidad es atribuida a causas externas a la misma variable. Parámetros estructurales

En este margen, se establece la correspondencia entre la teoría, por un lado, y su expresión formal, por el otro estos elementos, que representan estas relaciones, se denominan parámetros estructurales y se emplean para estimar cada una de las relaciones propuestas entre las variables que componen el diagrama de paso. Para cada unión, corresponde un parámetro de estimación.

La mayoría de los teóricos, (ver por ejemplo: Darden, 1981; Dolan, 1996; Duncan, 1975; Hayduk, 1996; Jöreskog, 1969, 1970; Kenny, 1979; Werts y Linn, 1970) se inclinan a considerar que el modelo general LISREL viene definido formalmente por tres ecuaciones, a saber:

Modelo de ecuación estructural:

η = βη + Γξ +ζ Modelo de medida para “Y” (variable observable dependiente o endógena):

Υ=Λyη+ε

294


Modelo de medida para “X” (variable observable independiente o exógena)

Χ=Λxξ+δ Los modelos de ecuaciones estructurales establecen las relaciones causales entre las variables latentes. El análisis factorial confirmatorio permite estimar variables latentes a partir de las variables observables. En el modelo LISREL se estiman simultáneamente los dos elementos anteriores, estableciendo relaciones entre las variables latentes, que son estimadas a partir de variables observables por medio de los modelos de medida.

Estos modelos cuentan con ocho matrices de parámetros, sobre los cuales se proporciona información, habiéndole señalado de antemano cuáles son los parámetros libres y cuáles los fijos. Este elemento fijo, tiene que ver con restricciones impuestas sobre el modelo y con el problema de la identificación.

Para Dolan (1996); Hayduk (1996); Jöreskog y Sorbom (1991, 1993 ) y Page y otros (1990) las ocho matrices de parámetros son: Lambda “Y” ( Λ y), Lambda “X” ( Λ x), Beta ( β), Gamma ( Γ ), Phi ( Φ ), Theta - Epsilon ( Θε ) y Theta - Delta ( Θδ) Como se pude observar, en el análisis causal se estiman los valores de estos parámetros, que indican cada una de las relaciones existentes entre las distintas variables del modelo. En este punto, cabe resaltar que el programa AMOS26 (Análisis of Moment Structures27) suministra también estos ocho parámetros, pero desde dos ángulos: a) con la denominación de LISREL, si es necesario para el investigador, pero ha de solicitarse al programa, y b) como coeficientes de correlación, que viene dado por defecto.

26 27

Desarrollado por J.L. Arbucle (1997) Ver Camerón y otros (1997)

295

Indagaciones generales y metodológicas al estudio empírico 3.2.2. Identificación del modelo

Los investigadores coinciden en que esta fase, es una de las operaciones más importantes y complejas del desarrollo de los modelos causales; si no queda claramente establecido y fundamentado, todo el proceso que seguirá puede carecer de sentido.

Bentler (1980, 1986, 1988) considera que en este contexto los modelos causales cobran vida y si el modelo no está identificado, no puede procederse al ajuste. Por tanto, habrá que modificarlo cuantas veces sea necesario hasta lograr la identificación del modelo, que se logra cuando se llega a obtener una solución única. Esta es una condición necesaria para la identificación del modelo, en la cual los grados de libertad, afirma Bentler (1986) deben ser iguales o superiores a cero (gl > 0).

Bizquerra (1989) explica que los grados de libertad (gl) vienen dados por la diferencia entre el número de ecuaciones (e) y el número de parámetros estructurales (π). En este sentido la ecuación sería:

gl

= e − π

El número de ecuaciones (e) viene dado por:

e =

V (V + 1 ) 2

Siendo (V) el número de variables observables, tanto endógenas como exógenas. La expresión anterior es, precisamente, el número de elementos distintos que tiene la matriz de varianza- covarianzas entre las variables observables. 296


La ecuación de (π) sería la suma de todos los parámetros a estimar, que viene dado por:

π = λ + δ + φ + ⋅⋅⋅ Aunque esta condición necesaria se produzca, ello no significa que el modelo esté identificado, pues pueden darse una serie de casos: a) el modelo de regresión de una sola ecuación está siempre identificado, b) los modelos recursivos no saturados tienen ecuaciones simultáneas sin efectos recíprocos, c) los saturados tienen un V = 0, lo que indica que están identificados por una sola solución.

Claro está, para que el modelo esté identificado, se exigen dos condiciones, por un lado que el número de parámetros a estimar ha de ser igual o inferior al número de variables observables de que se disponen. La otra condición es que cada ecuación del modelo sea diferente de las demás o de cualquier combinación lineal entre ellas.

Una consideración importante es que cuando todos los parámetros han sido identificados, también lo estará el modelo completo; pero, si un parámetro no ha sido identificado, el modelo completo no lo estará. La mayoría de los teóricos (como: Dolan, 1996; Hayduk, 1996; Jöreskog, 1969, 1970) se inclinan en diverso grado a considerar que basta que uno solo de los parámetros no esté identificado, para que el modelo total no lo esté.

La identificación del modelo también depende de las restricciones que sobre él se hagan como lo mencionábamos anteriormente: se pueden restringir

297


algunos parámetros a un determinado valor, los cuales no serán estimados posteriormente por el programa.

Ahora bien, la identificación puede plantearse de la siguiente forma. Un modelo específico, con una estructura: Λ

y,

Λ

x

, β , Γ , Φ ,ψ , θ

ε

,θ

δ

entre otras cosas, genera una única Σ matriz de covarianza obtenida a partir de los parámetros estimados, pero, podría haber varias estructuras que generen la misma matriz Σ . Evidentemente si dos o más estructuras generan la misma matriz Σ se dice que las estructuras son equivalentes. De esa forma, si en estructuras similares, un parámetro tiene el mismo valor, se dice que está identificado.

3.2.3. Estimación de los parámetros

Una vez identificados los modelos estructurales y de medida, se debe elegir el procedimiento de estimación del modelo que hemos propuesto. A este respecto, existen varias opciones, tanto para el procedimiento de estimación como respecto al programa informático a utilizar. Por una facilidad en el acceso al programa, nosotros empleamos AMOS28 4.0 en el diseño de la estructura y en todos los cálculos que se realizaron. Para Hox (1995), este programa ha ido ganando una popularidad creciente en los últimos años, debido a la sencillez del interfaz para el usuario. Además, por su capacidad de análisis se ha comparado recientemente con LISREL29 y EQS30.

De los programas informáticos, el más empleado y el pionero, como lo manifestamos anteriormente, ha sido LISREL (Linear Structural RELations)

28

Arbuckle 1993, 1994, 1995, 1997. Desarrollado por Jöreskorg y Sorbom (1988a y 1988b) 30 Bentler 1988, 1992, 1993. 29

298


de Jöreskorg y Sorbom (1988a, 1988b, 1993) el cual es un modelo flexible para varias situaciones de investigación (sección- cruzada, experimental, cuasi – experimental y estudios longitudinales). LISREL ha encontrado aplicaciones a lo largo de todos los campos de estudio y se ha convertido en sinónimo de la modelización de ecuaciones estructurales. En las versiones de los programas informáticos LISREL, EQS31 y AMOS 4, entre otros32, se pueden encontrar diferentes procedimientos básicos para la estimación de parámetros, los cuales se pueden utilizar de acuerdo con la

necesidad del análisis de los datos y de los modelos. Algunos de estos métodos de estimación de parámetros son: variables instrumentales (IV), mínimos cuadrados en dos etapas (TSLS), escala libre de mínimos cuadrados (SFLS), asintóticamente libre de distribución (ADF), mínimos cuadrados generalizados (GLS), mínimos cuadrados no ponderados (ULS) y el método de máxima verosimilitud (ML).

Los primeros tres métodos no iterativos son más rápidos pero menos precisos que los restantes, que son iterativos: lo cual indica que proceden a partir de un conjunto de estimaciones iniciales por aproximaciones sucesivas.

De todos estos métodos, quizá uno de los procedimientos que se ha convertido en una técnica ampliamente utilizada en la mayoría de los programas informáticos, es el método de estimación de máxima verosimilitud (ML), que en palabras de Hayduk (1996), es el más eficiente y no sesgado cuando se cumplen los supuestos de normalidad multivariante. No obstante, este método es lo suficiente robusto como para no verse seriamente afectado por ligeras oscilaciones respecto de la distribución normal multivariada.

31

Este programa tiene supuestos menos exigentes sobre la normalidad multivariante de los datos. De los cuales se pueden nombrar los programas informáticos: PROC CALIS de SAS (Hatcher, 1996); COSAN (Fraser, 1980) o LVPLS (Wold, 1981).

32

299


Wang y otros (1996) afirman que, debido a la sensibilidad del ML en la no normalidad, se han creado una serie de técnicas alternativas que resultaron en la aparición de otros métodos como ULS, GLS y AGL. En otras palabras, la diferencia entre los métodos y el ML, es que este último se basa en el supuesto de que las variables siguen una distribución normal multivariada mientras que los otros métodos no se fundamentan en ese supuesto.

En los últimos años la técnica AGL, ha recibido una atención particular debido a su insensibilidad a la no normalidad de los datos. Sin embargo, su única objeción, es la necesidad y exigencia de aumentar significativamente el tamaño muestral.

Respecto al tamaño muestral, en los restantes métodos de estimación Carmines y McIver (1983); Marsh y otros (1988), Ding (1995) junto a otros autores, recomiendan que este debe estar comprendido entre 100 y 200 observaciones, sin importar cuál fuera el tamaño de la muestra original. En la misma línea se expresa Hoelter (1983) al señalar, que el tamaño a ser considerado crítico debe rondar los 200, debido principalmente a que si pasamos de 400 a 500, el ML se hace más sensible y se reducen casi todas sus propiedades de análisis. Tomamos de Hoelter (1983) y Tanaka (1987) las palabras que advierten que en una muestra mayor de 500 observaciones, el método de máxima verosimilitud, casi no detecta ninguna diferencia, haciendo

que todas las medidas de calidad de ajuste indiquen un ajuste muy pobre. Sin embargo, estas indicaciones en el tamaño de la muestra, difieren o no han de ser consideradas si se emplea el AGL, dado que su primer requisito se fundamenta en una muestra mayor, para compensar la dependencia sobre los supuestos de distribución mediante otros métodos.

300


De todos los métodos de estimación de parámetros mencionados, los investigadores aconsejan, siempre que sea posible, el de máxima verosimilud. En nuestro estudio hemos utilizado este método de estimación, para atender las recomendaciones que hacen los diversos teóricos sobre el tema.

Los parámetros estimados son los coeficientes estructurales del sistema de ecuaciones y corresponden, aproximadamente, a los coeficientes β en una ecuación de regresión, los cuales pueden ser interpretados, para efectos de análisis, como pesos. Serían la magnitud de influencia que una variable “causa” provoca en la variable “efecto”. Por esa razón, una vez que se obtienen los resultados, han de analizarse cuidadosamente, para poder examinar aquellas relaciones causales que más destacan por su peso y relevancia teórica.

3.2.4. Evaluación del modelo

Cuando se han estimado los parámetros se procede a la fase siguiente, que es la evaluación del modelo.

Inicialmente han de observarse las

estimaciones infractoras33 y cuando el modelo está establecido para ofrecer

estimaciones aceptables, se procede con la evaluación de la calidad del ajuste a diversos niveles. Consiste en comprobar si el modelo se ajusta o no, a los datos observados. Hart y otros (1999) refiriéndose al ajuste advierte que “...cuanto mejor ajuste pueda conseguirse con pocos coeficientes, mejor será el contraste del modelo y más confianza podemos tener en que los resultados no sean producto del sobreajuste de los datos” (pág. 637).

33

Bentler (1990) y Dillon (1987) consideran que se trata de coeficientes estimados que exceden los límites aceptables. Los ejemplos más normales son: a) varianzas de error negativas o no significativas para cualquier constructo; b) coeficientes estandarizados que sobrepasan o están muy cerca de 1,0; 3) errores estándar muy elevados asociados con cualquier coeficiente estimado. Otra posibilidad es fijar la varianza de error a un valor positivo muy pequeño (0.05)

301


Las medidas de bondad de ajuste se pueden verificar con varios indicadores, de acuerdo con diferentes criterios. El primer grupo de ellos lo constituyen los valores de los parámetros estimados, los coeficientes de correlación múltiple al cuadrado, los coeficientes de determinación, entre otros. El segundo grupo son, propiamente, las medidas de bondad de ajuste que se encuentran en los programas informáticos. Los textos de Hart (1999), Bollen (1989), Jöreskorg y Sorbom (1993), Ding (1995), Arbucle (1997) ofrecen una excelente revisión de las medidas de calidad de ajuste y su aplicación en múltiples situaciones.

En cuanto al primero de los grupos, AMOS 4.0 ofrece en los resultados de sus estimados: los pesos de las regresiones, los pesos estandarizados de las regresiones, los interceptos, las varianzas, las correlaciones múltiples al cuadrado para cada variable latente y para las observables, las covarianzas, la correlación, los pesos totales de las variables latentes sobre las observables, los efectos totales, los efectos totales estandarizados, los efectos directos e indirectos, la matriz de varianza covarianza y la correlación de los estimados, y los ratios críticos entre las diferencias de los parámetros.

De todos estos estimados, la correlación múltiple al cuadrado para las variables latentes endógenas y las observables es muy empleada, dado que este valor indica la intensidad de relación especificada en el modelo para cada variable. En otras palabras, sería la cantidad de variabilidad de una variable determinada que queda explicada por el modelo.

Otro indicador es el coeficiente de determinación total, es la correlación múltiple al cuadrado para todas las variables conjuntas e indica la intensidad de las relaciones especificadas en el modelo global. En los modelos con variables latentes, es una medida generalizada de cómo las variables “X” conjuntamente sirven para estimar la o las variables “xi” (ξ 302

).


Todas esta medidas, mencionadas someramente, ofrecen una visión de su comportamiento y calidad en el modelo que se ha propuesto. Ahora bien, los coeficientes que determinan la calidad oscilan entre 0 y 1. Cuanto mayor es el valor mejor es el modelo, afirma Page (1990). No obstante, aunque no se ha fijado ningún limite que defina lo que se consideran correlaciones elevadas, los valores que exceden de 0.90, según Bentler y Chou (1987) siempre deberían ser examinados con cautela. Así mismo, son indicio claro de que el modelo propuesto no se ajusta a los datos, si los parámetros son superiores a uno o las varianzas son negativas.

El segundo de los grupos corresponde a las medidas de bondad de ajuste que están contenidas en los programas informáticos, al igual que en los párrafos anteriores, nos referiremos a ellos sucintamente. La primera de estas medidas que se ofrecen es el Ji- cuadrado χ

2

. Esta

es una medida del ajuste del modelo absoluto, que es sensible para comprobar el tamaño y la no normalidad en la distribución de las variables de entrada de los datos. No obstante, los investigadores no se basan solamente en este criterio, sino que tienen en consideración varias medidas ajuste para evaluar el ajuste total de un modelo a los datos.

La utilización de esta medida se ofrece más como bondad de ajuste que como test, por eso los valores grandes de χ

2

corresponden por lo general a

ajustes pobres y los pequeños a buenos ajustes. No hemos de olvidar, que una consideración importante al respecto en un texto clásico, Jöreskorg (1967) se refiere al tema en el contexto del análisis factorial “...ha sido una visión ampliamente aceptada que un modelo es solamente la mejor aproximación, y que, afortunadamente, puede ser empleado sin que sea verdadero. Este punto de vista implica que los modelos nunca serán completamente correctos y por 303


consiguiente pueden ser rechazados en contextos estadísticos si han sido probados con una muestra grande. Consecuentemente, el rechazo de un modelo es puramente un contexto estadístico particularmente cuando la muestra es grande, por eso significa necesariamente que el modelo sea inservible...”

Hu y Bentler (1999), al igual que otros investigadores, recomiendan que para el ajuste de los datos se tomen en consideración otros índices de igual importancia como: el índice de Tucker y Lewis (TLI), índice ajuste comparado (CFI), el error de aproximación de raíz media cuadrada (RMSEA), entre otros. Para los dos primeros, los valores han de estar por encima de 0.95 para ser considerados como un ajuste excelente y para el último de los índices, los valores deben estar por debajo del 0.06.

De momento, las medidas de ajuste general, comúnmente empleados por LISREL, son: el índice de bondad de ajuste (GFI), el GFI ajustado a los grados de libertad (AGFI) y la raíz media cuadrática residual (RMR).

El valor de GFI generalmente oscila entre 0 y 1, siendo la unidad o su cercanía el mejor ajuste. Éste señala lo contrario si este coeficiente se acerca a cero. Una consideración importante que debemos tener en cuenta, nos la señala Hatcher (1996) quien afirma que este coeficiente es independiente del tamaño de la muestra y es menos sensible que el ji-cuadrado a las desviaciones de normalidad, por tanto, se puede confiar más en su ajuste que en el de jicuadrado.

El índice ajustado de bondad (AGFI), en función de los grados de libertad y al igual que el coeficiente anterior oscila entre 0 y 1, siendo los valores cercanos a la unidad los que nos indican un buen ajuste y los bajos, lo contrario. 304


La raíz de la media cuadrática residual (RMR) es la raíz cuadrada media de los cuadrados de las diferencias entre los valores de las varianzas y covarianzas de los parámetros estimados o, también, el promedio de la varianza-covarianzas residuales, en cuanto difieren de sus estimados. Es decir, una medida de discrepancia entre las covarianzas observables y las covarianzas de los parámetros estimados. Arbucle (1997) considera que un RMR pequeño o cercano a cero es lo mejor y más recomendable. Su cercanía a cero indica que el ajuste es perfecto.

El índice RMR nos sirve para comparar el ajuste de modelos alternativos para los mismos datos. De igual forma, puede ser empleado también el GFI , pero también lo utilizamos para comparar el ajuste de modelos para datos diferentes.

Los índices anteriores son medidas que se refieren al ajuste global del modelo, pero no indican nada sobre la adecuación o no de cada una de sus partes. Si queremos una valoración más detallada del ajuste, se han de inspeccionar los residuales normalizados a través del Q-plot y los índices de modificación. Estos ayudan a interpretar el ajuste del modelo y a detectar los

desajustes. Un residual normalizado superior a 1.96 indica que el modelo no se ajusta en esta casilla, al nivel de significación del 0.05.

El Q-Plot es una gráfica que representa los residuales normalizados, donde una nube de puntos por encima de la pendiente de 45° representa un buen ajuste y los malos están por debajo de esa recta.

Los índices de modificación señalan la disminución mínima esperada en χ

2

si se liberara un parámetro determinado, manteniendo fijos todos los

305


demás. De este modo, el modelo sobre el que se habían impuesto algunas restricciones queda algo más relajado.

Finalmente, se puede disponer de otras ayudas a la interpretación que vienen dadas por los errores típicos, la matriz de residuos y los valores t de cada parámetro. El valor t se obtiene dividiendo cada parámetro por su error típico; los valores obtenidos menores que 2 no son significativos.

3.2.5. Diferentes propuestas sobre los índices para el ajuste del modelo

Como se ha podido observar en todo este amplio tema del ajuste en los modelos causales, no existe un criterio único y uniforme que se pueda utilizar para determinar las cantidad y tipos de ajuste, a considerar para establecer que el modelo es correcto, dado que los investigadores emplean múltiples consideraciones al respecto. Además, es el componente de los modelos causales que más continuamente se refresca, debido a la aparición permanente de nuevas medidas. No obstante, Browne y Mels (1992) recomiendan unas mínimas medidas en el caso del programa informático AMOS 4.0, que son: el valor mínimo de la función de discrepancia C (CMIN), el “p value”, valor mínimo de la función de discrepancia F (FMIN), el estimado de la población de discrepancia o F0 , el PCLOSE o “p value”, el error de aproximación de la raíz media cuadrática (RMSEA) y finalmente índice esperado de validación cruzada

o

ECVI.

Pero

son

solamente

recomendaciones

subjetivas,

fundamentadas en la experiencia de los autores.

Hart y otros (1999), refiriéndose al programa informático LISREL, insisten en que se han de buscar diversas medidas para evaluar los múltiples componentes de un modelo, aunque se espera que todas las medidas indiquen 306


acuerdo sobre el nivel de aceptabilidad del modelo. Generalmente, según los autores, se aplican algunos criterios generales que facilitan la decisión sobre la aceptabilidad del modelo: a) ji- cuadrado (al menos p > 0.005, quizá 0.10 o 0.20) b) índices de ajuste incremental (NFI, TLI) mayores que 0.90. c) bajos valores de RMSR y RMSEA, d) índices de parsimonia que representan el modelo propuesto como más parsimonioso que los modelos alternativos.

Referente al ji-cuadrado Jöreskorg (1967), en un texto clásico advierte que el valor de ji-cuadrado χ

2

no es un buen criterio para considerar que el

modelo que no tiene un p > a 0.005 debe ser desechado, pues a medida que se incrementa la muestra a partir de 200 observaciones, todo valor de ji-cuadrado tiende por lo general a un valor p= 0.000. Green y otros (1997) refiriéndose a lo mismo, consideran que la sensibilidad estadística de este indicador se ve afectada por muchos factores, como por ejemplo el tamaño de la muestra; por ello han de considerarse varias medidas de ajuste para evaluar el modelo. Al respecto algunos investigadores recomiendan tomar en cuenta el ji-cuadrado normado, que ofrece un coeficiente relativo. Al analizar ji-cuadrado normado, nos encontramos que realmente es difícil encontrar un acuerdo completamente preciso que ponga de manifiesto un valor máximo que señale el desajuste del modelo. No obstante Marsh y Hocevar (1985) y Wheaton (1977), citado por Carmines y McIver (1981), recomiendan que los valores máximos están comprendidos entre 2 y 5, aunque, el uno como mínimo señala un buen ajuste de este índice.

Al tomar en cuenta los índices de ajuste incremental, Hu y Bentler (1999), al igual que otros investigadores sugieren que un buen ajuste de los datos supera el valor de 0.95 en el índice de Tucker y Lewis o TLI y en el índice de ajuste normado o NFI. Entre otras cosas Arburcle (1997) propone tener en consideración además de los anteriores, los desarrollados por Bollen

307


(1986) el IFI o índice de ajuste incremental y el índice de ajuste relativo (RFI), señalando que valores cercanos a uno ofrecen un buen ajuste.

Para considerar un buen ajuste, también han de observarse las medidas de ajuste absoluto referentes a RMSR y RMSEA, los cuales son valores que se refieren a la media de los residuos de la varianza y a la discrepancia por el grado de libertad, medida en términos de población. Hu y Bentler (1999) y Browne y Cudeck (1993) recomienda para RMSR un valor no superior al 0.05 y Rigdon (1986b) advierte que los exponentes suelen ser aceptables entre los rangos que van de 0.05 a 0.08, para el RMSEA. No obstante, en última instancia no se deben aceptar valores superiores a 0.1, dado que superan con creces los coeficientes considerados como límite del índice. AMOS 4.0 proporciona una medida de ajuste del RMSEA, que es el PCLOSE, el cual señala la prueba que H 0 : RMSEA =≤ 0.05

Los índices de parsimonia relacionan la calidad de ajuste al número de coeficientes estimados, su objetivo es demostrar si el ajuste se ha conseguido debido a un sobreajuste por tener muchos coeficientes. Para examinar este valor el PNFI y PGFI han de estar cercanos a uno, aunque, el uso de estos coeficientes es limitado debido a que son estimadores que se emplean en la comparación entre modelos.

De la misma forma, el criterio de AIC permite una medida comparativa entre modelos con diferentes números de constructos, aunque depende substancialmente de un ji-cuadrado bajo para un mejor ajuste. Browne y Cudeck (1989) consideran que el BCC impone mayores penalizaciones para el modelo complejo que el de AIC y los autores sugieren que el BCC puede ser una medida superior a las medidas aplicadas normalmente.

308


3.2.6. AMOS en el análisis de la competencia docente: otros índices de ajustes

Este programa informático, cuenta con otros índices para el ajuste del modelo, además de los ya mencionados anteriormente. Cabe señalar que todas las medidas de ajuste en AMOS 4.0 reportan para cada modelo específico dos modelos adicionales llamados el modelo saturado y el modelo independiente. Arbucle (1994, 1997) señala que el primero de ellos es el más general de todos, es un modelo vacío en el sentido de que este garantiza el ajuste perfecto de cualquier base de datos con que se cuente. Cualquier modelo de AMOS es una versión con restricciones del modelo saturado. El segundo, modelo independiente, está en el extremo opuesto, pues se asume que las variables

observadas están incorrelacionadas unas con otras, lo que significa que los estimados o las restricciones tienen la media ajustada a cero. Estas severas e implausibles restricciones son las que se podrían esperar que suministren un pobre ajuste de nuestra base de datos. Esto significa que, para cada uno de los modelos que se especifiquen se pueden tener restricciones que son equivalentes con el modelo independiente. En este sentido, el modelo saturado y el modelo independiente han de ser vistos como los dos extremos entre los cuales nosotros proponemos el nuestro. Para el propósito de evaluación y ajuste del modelo se ofrece los siguientes índices de ajuste: medidas de parsimoniosidad, la muestra mínima en la función de discrepancia, medidas basadas en la población de discrepancia, medidas de información teórica, comparación con el modelo de fondo, medidas de ajuste de parsimoniosidad y diversas medidas más. El detalle de todos estos índices de ajuste y la posición de los autores acerca del valor mínimo de ajuste puede ser visto en el anexo N° 1.

309

Indagaciones generales y metodológicas al estudio empírico 3.2.7. ¿Por qué usar AMOS 4.0?

Hemos considerado diferentes razones que nos han motivado a emplear AMOS 4.0 como uno de los programas informáticos, que tienen relevancia en el desarrollo de los modelos causales y en nuestra validación de constructo. Facilidad en el acceso al contar con el programa en nuestro ordenador personal. ¾ Agilidad en el manejo de la interfaz y en la interpretación de los resultados. ¾ Es un programa que en los últimos años se le ha comparado a LISREL y EQS, dado que ofrece todas sus alternativas de análisis y otros elementos más de manera muy simple. ¾

Al respecto, también hemos considerado algunos fundamentos que la empresa Smallwater34 y la Universidad de Texas35 utilizan para recomendar el programa. Amos está pensado para la enseñanza y sus aplicaciones, por tanto, su utilización es totalmente interactiva y las opciones de demostración lo hacen fácil para observar y evaluar. ¾ El interfaz gráfico de manejo del programa es muy simple y de muy fácil manejo, por tanto, no se manipulan las ecuaciones o las matrices con nombres griegos. Presenta así, una nueva forma de ver y estudiar los “Path Diagram”. ¾ Amos lee los datos del modelo específico en forma de “Path Diagram”o de ecuaciones. Aun el modelo más complejo puede ser simple de interpretar con solo señalar el icono correspondiente. ¾ Los modelos parsimoniosos o varios modelos juntos pueden ser fácilmente especificados en conjunto. ¾ Se pueden lograr simulaciones Monte Carlo y salidas sofisticadas con unos pocos elementos. ¾ Los métodos para datos ordinales-categóricos son todavía sujeto de investigación en curso, no obstante AMOS cuenta con ¾

34 35

Ver al apartado de la bibliografía que se refiere a referencias http:// www. Ver al apartado de la bibliografía que se refiere a referencias http:// www.

310


un amplio desarrollo al respecto. Mientras en LISREL y EQS están limitados, en el método asintóticamente libre de distribución (ADF), con un máximo de 25 variables observadas y necesitan de tamaños formidables de la muestra de al menos 2,000-5,000 observaciones por el grupo, en AMOS esta tendencia es más discreta. ¾ Uno de los problemas de AMOS es que no cuenta con correlaciones policóricas que EQS y LISREL sí poseen.

Básicamente, este programa informático cuenta con una serie de recursos que facilitan el acceso a los modelos causales, a partir de una nueva perspectiva que considera la construcción gráfica del modelo para sus interacciones matemáticas. Por ello, en los últimos años, algunos investigadores como Camerón y otros (1997); Hu y Bentler (1999); Hox (1995, 1995b)36 recomiendan el uso y lo comparan a LISREL y EQS, como programas con tecnología avanzada para el desarrollo y análisis de los modelos causales.

3.3. Los modelos jerárquicos lineales

En la vasta literatura revisada, no está muy difundido el uso de los modelos jerárquicos lineales como metodología para analizar y estudiar la competencia docente universitaria, desde la perspectiva de los estudiantes. Este hecho quizá se debe principalmente a lo novedoso del procedimiento, que se ubica dentro de las metodologías emergentes en el ámbito estadístico (ver Raudenbush y otros 1992a, 1993a, 1993b; Wheeler y otros, 1992; Ting, 2001 ).

Pese a esto, consideramos que los modelos jerárquicos lineales nos ofrecen una oportunidad muy amplia para conocer en profundidad las

36

Ver también Miles (2000); Kline (1998), Rigdon (1994, 1996).

311


diferentes variables que integran el complejo fenómeno que envuelve nuestro tema de estudio, en donde la interacción de los diferentes implicados (alumnos, profesores y cursos) hacen necesario este procedimiento de análisis dentro de una estructura multinivel o anidada.

3.3.1. Breve aproximación histórica

El estudio de los fenómenos sociales apoyados en el enfoque multinivel es un problema influenciado por varias corrientes de pensamiento, que han permitido su investigación desde diversos ángulos y enfoques. Snijders y Bosker (1999) afirman que son dos las corrientes que han ejercido un impulso conceptual en este desarrollo y crecimiento: el modelo de análisis contextual y el de efectos mixtos.

El primero de ellos, basado en las ciencias sociales, focaliza los efectos del contexto social en el comportamiento individual. Dentro de este movimiento, se pueden destacar algunas posturas teóricas de autores como Robinson (1950), que trata sobre la falacia ecológica, referida a la confusión entre los efectos acumulados e individuales, Davis, Spaeth y Huson (1961), quienes recalcan la trascendencia que tiene examinar la distinción que existe en la regresión dentro del grupo y entre grupos, Burstein, Linn y Capell (1978) que determinan el estudio de la regresión con el intercepto y la pendiente en un nivel, pero como resultado de un nivel superior. Hox (1995) insiste también en que fueron fundamentales las aportaciones ideológicas de Stinchcombe (1967), Hummel (1972) y Erbring y Young (1979) porque postularon un común denominador en sus teorías, referido a que uno o más procesos psicológicos mediaban entre las variables individuales y las de grupo. En este sentido, los procesos de comunicación y la estructura interna de los grupos vienen a ser un

312


elemento importante que debe de ser examinado bajo una estructura jerárquica anidada.

Asimismo, el segundo grupo, el de efectos mixtos, es un modelo estadístico en el análisis de varianza y regresión, que asume la existencia de coeficientes fijos y al azar o aleatorios. Dentro de este área, existe un amplio bagaje de literatura que puede ser examinada en Longford (1987); Breslow y Clayton (1993) Searle, Casella y McCulloch (1992), los últimos han sido recomendados por varios autores destacados por la extensa cobertura histórica de su texto.

A nuestro juicio, los diversos acercamientos y posiciones racionales mencionadas evidencian una clara preocupación por entender y estudiar los acontecimientos sociales desde un punto de vista que observa tanto las características individuales como grupales y la interacción que pueda existir entre ambas. Es indudable que se trata de buscar explicaciones plausibles integradoras de los diferentes efectos que pueda tener las características de los sujetos y el grupo en las acciones de la vida cotidiana.

Según Bryk y Raudenbush (1992), todos los esfuerzos y aproximaciones teóricos llegan a ser esquematizados en la literatura estadística por Lindley y Smith (1972) y Smith (1973), con la formulación de un modelo general para tratar los datos con estructura jerárquica lineal, en donde se elabora un marco general para datos anidados con una estructura compleja de error. Además, estos autores introducen el término modelos jerárquicos lineales, como un aporte a este tipo de estimación. Para Bryck y Raudenbush (1992) el concepto “expresa un rasgo importante en la estructura de los datos que es normal en una amplia variedad de aplicaciones” (pág. 3). Por esa causa, ellos consideran

conveniente utilizar esta expresión. 313


Si observamos con detenimiento el desarrollo y empleo de la expresión de estos modelos, se nota que han sido llamados de diferentes formas, variando mucho entre los autores y sus respectivas especialidades. A través de los años, han aparecido diferentes calificativos como: modelos lineales multinivel37 en Bock (1989) y Goldstein (1987a,1995); modelos de efectos mixtos y aleatorios38 en Elston y Grizzle (1962), Laird y Ware (1982); modelos de coeficientes aleatorios o al azar39 por Longford (1993); modelos de coeficientes de regresión aleatorios40 en Rosenberg (1973). Por nuestra parte, utilizaremos la propuesta de Bryck y Raudenbush (1992) debido a que este concepto acoge los términos anteriores y además porque es el más empleado en la investigación educativa.

Ahora bien, aunque la propuesta de Lindley y Smith (1972) y Smith (1973) fue muy relevante, el estudio y el ajuste de estos modelos no fue operable hasta que Dempster, Laird y Rubin (1977) desarrollaron el algoritmo EM, con el que se hace posible la estimación del componente de covarianza de los datos (ver también: Jennrich y Schluchter, 1986). Posteriormente, Dempster y otros (1981) demuestran la aplicación de este enfoque en los datos con estructuras jerárquicas anidadas.

Desde esa época hasta la fecha, han sido formulados una gran variedad de procedimientos alternativos, como el de Longford (1987), con el método de MV completo o restringido, basado en el algoritmo "scoring" de Fisher, o el de Goldstein (1987a) de mínimos cuadrados iterativos generalizados. Otros métodos estadísticos y algoritmos también permitieron un uso práctico de los tipos de modelos de regresión con coeficientes aleatorios anidados, como: 37

En inglés “multilevel linear models” En inglés “mixed- effects models y random models” 39 En inglés “random coefficient models” 40 En inglés “random coeffecient regresión models” 38

314


Aitkin, Anderson y Hinde (1981); Laird y Ware (1982); Mason, Wong y Entwisle (1983); Raudenbush y Bryk (1986) y De Leeuw y Kreft (1986).

Con el desarrollo de estos algoritmos y con las posibilidades de cómputo estadístico que ofrecen los nuevos ordenadores, y que han facilitado enormemente la realización de ciertos cálculos matemáticos, muy difíciles de lograr sin la ayuda y el apoyo de la informática, se generan una serie de sofisticados programas que permiten el ajuste de los modelos. Dentro de esta variedad de paquetes estadísticos, se encuentran: VARCL de Longford (1988); HLM de Bryk y otros (1988); ML2 de Rabash y otros (1989); GENMOD de Mason, Anderson y Hayat (1988) y últimamente MlwiN 1.10 de Rabash y otros (2000a y 2000b). Exposiciones detalladas sobre este tema se pueden consultar en Kreft y De Leeuw (1998); Plewis (1997) siendo especialmente recomendable el de Hill y Goldstein (1998).

Por otra parte, el interés en los modelos jerárquicos lineales ha crecido mucho y es posible observar algunos esfuerzos institucionales como en el Reino Unido41, Canadá42, Australia43 y Harvard44 en Estados Unidos, donde impera un fuerte interés por fomentar su crecimiento. Es factible encontrar buena y mucha información en algunos sitios de internet, específicamente en aquellos relacionados con los profesores45 de estos centros de enseñanza e investigación, que cuentan con importante bibliografía y resúmenes de los trabajos más relevantes sobre este tema.

41

Multilevel Models Project http://www.ioe.ac.uk/multilevel. Ver http://www.medent.umontreal.ca/multilevel 43 Ver http://www.edfac.unimelb.ed.au/multilevel 44 El lector puede revisar su respectiva página weeb: http://www.fas.harvard.edu/~stats/survey-soft/hierarchical.html 45 Sin afán de ser exhaustivos recomendamos algunas páginas en donde hemos encontrado información actualizada y muy relevante sobre este el tema de estudio: http://www.ssicentral.com/hlm/hlm00157.htm ; http://stat.gamma.rug.nl/index.html http://www.calstatela.edu/faculty/ikreft/quarterly/quarterly.html ; http://www.ioa.pdx.edu/newsom/mlrclass/ho_randfixd.doc ; http://www.soc.surrey.ac.uk/sru/SRU23.html; hhtp://www.lrzmuenchen.de/~wlm/wlmmule.htm 42

315


Si nuestro lector requiere de una mayor especificación sobre el desarrollo histórico de los modelos jerárquicos lineales, puede recurrir a los textos especializados de Longford (1993), Kreft y de Leew (1998) y Hüttner y van Den Eeden (1995), siendo este último especialmente recomendable por su extensa bibliografía.

Finalmente, Goldstein y otros (1994) proponen que la potencia de los modelos jerárquicos lineales es enorme y está comenzando a aplicarse en campos tan diversos como la epidemiología, estudios de área, desarrollo y evaluación de programas socio-sanitarios y sobre todo en educación, que es nuestro tema de aplicación e interés; en donde la modelización de los datos permite profundizar en el análisis de los problemas educativos bajo una perspectiva jerárquica.

3.3.2. La lógica y la estructura multinivel o anidada

La lógica de los modelos jerárquicos lineales, se fundamenta en la idea de que considerables grupos de datos, incluyendo los datos de observación recogidos en las ciencias humanas y biológicas, tienen una estructura jerárquica o anidada. Hox (1995c) afirma que, en términos generales, un individuo interactúa con su contexto social, lo que significa que las personas están influenciadas por los grupos que componen la sociedad y por las acciones que ese grupo realiza para llevar adelante a esa sociedad. En este sentido, podemos afirmar que los individuos y el grupo permiten ser conceptualizados como un sistema jerárquico, con características específicas que pueden ser definidas en niveles separados, lo que permite el estudio de poblaciones con estructuras complejas.

316


Para entender la lógica de estas propuestas, hemos de imaginarnos que toda sociedad se agrupa en niveles jerárquicos, de esa manera un individuo pertenece a un barrio, ese barrio a un pueblo, ese pueblo a una provincia, esa provincia a un comunidad autónoma y así sucesivamente. La sociedad se va construyendo y organizando por medio de diferentes niveles jerárquicos o anidados, donde cada unidad se agrupa en un nivel determinado, con características independientes que interactúan con uno u otro nivel.

Si tratamos de observar los datos de una comunidad estudiantil, podemos considerar que existen varios niveles jerárquicos en ella. Tomando a los estudiantes y la escuela, se podría explicar la presencia de dos niveles: el primer nivel correspondería al estudiante y la escuela al segundo. Evidentemente, las características de cada grupo pueden ser estudiadas en diferentes niveles jerárquicos y como resultado, se consigue analizar las características propias de cada nivel de análisis.

Ampliando esa primera aproximación a la lógica que consideran estos

modelos, Plewis (1998) expone dos ejemplos más, uno en tres niveles y el otro en cuatro. En el primer ejemplo, se ha de observar que los estudiantes pertenecen a una familia y estas a su vez están insertas en la comunidad, ahí observamos los tres niveles: los estudiantes, sus familias y la comunidad. En el segundo ejemplo, los estudiantes asisten a una clase dentro de una escuela que depende de una autoridad de educación, aquí se determinan cuatro niveles: estudiantes, clases, escuelas y autoridades locales de educación.

El empleo de los niveles nos permiten analizar los resultados por estudiante, por la suma de sus efectos individuales, por clase, por escuela, por distrito o por estado. Cada uno de estos efectos se puede observar desde diferentes ángulos, como una colección cambiable de los efectos (p.e. todos los efectos del nivel de la escuela) determinados en una distribución de 317


componentes de variación. De hecho puede haber también coeficientes de regresión en algunos o todos los niveles. Una vez que un modelo se especifique, las inferencias se pueden establecer con los datos disponibles son muchas y es posible estudiar los efectos en cualquier nivel y la interacción entre ellos. Gibbons y Hedeker (1997) destacan que esto es muy útil cuando hay que analizar los problemas en áreas muy pequeñas, para las cuales hay una cantidad de información muy limitada.

Si nos ponemos a reflexionar sobre la cantidad de niveles de agrupación que debemos considerar para construir un modelo, en principio y de acuerdo con la mayoría de los teóricos (ver: Leyland y Goldstein, 2001; Raudenbush y Bryk 2002; Raudenbush, 1999; Kasim y Raudenbush, 1998; Kreft y De Leeuw, 1998; Goldstein y Rasbash, 1996; Goldstein, 1995; Rodríguez y Goldman, 1995; Goldstein y otros 1993; Longford, 1993) no hay un límite establecido para ello que nos lo indique directamente, pero en la práctica raramente se utilizan más de cuatro o cinco niveles; debido principalmente a las complejidades técnicas que se deben de enfrentar y a la significación desmedida que implica una subdivisión mayor de niveles. Por ello es muy común encontrar estudios de dos o tres niveles, como los de Leyland y otros (2000); Rowan, Raudenbush, y Cheong (1993), Raudenbush y Bhumirat (1992), Bryk y otros (1998a), Selner-O'Hagan, y otros (1998), Sampson y otros (1997), Barnett y otros (1993), Fuller y otros (1993); Raudenbush (1997) y Kindlon y otros (1996).

Hox (1995c) insiste que en realidad el límite es algunas veces borroso y arbitrario, la asignación de las variables no es siempre tan obvio y simple

como se piensa. Blalock, (1990) por su parte, destaca que en los problemas multinivel, las decisiones acerca de los miembros del grupo y su operalización involucra un amplio rango de asunciones teóricas y de problemas específicos. Cuando el número de variables tiene tamaños diferentes, existe un enorme 318


número de interacciones cruzadas entre niveles. Idealmente, la teoría multinivel puede especificar qué variables pertenecen a cada nivel y qué efectos son directos del individuo o del contexto y, por lo tanto, requieren la especificación de algún proceso dentro de los individuos que causan esas diferencias individuales, que influyen en ciertos aspectos del contexto.

Ahora bien, una vez que se establezcan las agrupaciones, incluso si su establecimiento es al azar, se ha de observar que cada nivel se distingue plenamente. Esta diferenciación implica que el grupo y sus miembros se ven influenciados unos de otros. Si no se hace caso de esta relación, se podría pasar por alto la importancia de los efectos del grupo y también invalidar muchas de las conclusiones y hallazgos encontrados debido especialmente, a que este método permite, no sólo el análisis de cada nivel, sino también el análisis de la interacción entre los niveles y sus características. Bryk y Raudenbush (1992) hablando sobre este tema advierten que la falta de profundidad en el análisis de los niveles y sus interacciones ha llevado a la acumulación de sesgo, a reducir la precisión del cálculo y a problemas con la unidad de análisis, lo que ha “fomentado el empobrecimiento de la conceptualización” (pág. 3), y a observar algunos problemas como

irresolubles. Además los autores plantean que con el empleo de los modelos jerárquicos lineales, se ha logrado enfrentar los problemas con la “unidad de análisis” y con las “medidas de cambio” y ahora se puede plantear la hipótesis sobre las relaciones existentes en cada nivel y entre los niveles, a su vez también evaluar la cantidad de varianza de cada nivel.

En un planteamiento similar, Plewis (1998) concluye que los modelos multinivel tienen como objetivo balancear y entender tanto a los individuos como a su contexto social por tanto, muchos estudios e investigaciones presentan problemas de jerarquía en los datos. Por ende, un investigador puede considerar o analizar las diferencias en la implementación de un tratamiento, 319


estudiando las características de los sujetos y relacionándoles con algún tratamiento específico.

Un ejemplo muy destacado por los autores lo constituye un estudio realizado en escuelas elementales en los años 70. Bennett (1976) encontró que los niños que de métodos formales de enseñanza en lectura exhibían un mejor progreso, que aquellos que no estaban sujetos a estas prácticas. Para poder llegar a tales resultados, los investigadores analizaron los datos utilizando las técnicas tradicionales de regresión múltiple, las cuales consideraron como unidades de análisis, exclusivamente a los niños y no observaron su contexto en agrupaciones, por ejemplo dentro de profesores y éstos en clases. De todas formas, los resultados obtenidos por la investigación eran estadísticamente significativos, lo que demostraba diferencia en la aplicación del método tradicional de lectura.

Posteriormente, en un estudio con los mismos datos, Aitkin (1981) demostró que, cuando en el análisis se considera el agrupamiento de los niños en clases y se delimita la unidad de análisis,

las diferencias entre ellos

desaparecen. Este re-análisis es el primer ejemplo trascendental sobre la aplicación de los modelos multinivel a las ciencias sociales y sobre la importancia que tiene analizar los datos en estructuras jerárquicas.

En la actualidad, estos modelos se aplican a una amplia gama de ramas del saber, relacionadas con la educación (Rowan y otros, 1993; Bryck y otros, 1998a; Rowan y otros, 1991, Duncan y Raudenbush, 1998), la psicología (Barnett y otros, 1993, 1995),g la sociología (Raudenbush y Sampson, 1999; Sampson y otros, 1997), y la medicina (Fletcher y otros, 1991; Pebley y otros, 1996; Leyland, Langford, Rasbach y Goldstein, 2000; Albander y Goldstein, 1992), entre otros. Snijders y Bosker (1999) consideran que estos modelos pueden agruparse por razones menos relacionadas con características de los 320


individuos, tales como la asignación de pacientes a diversas clínicas, la organización de un padrón electoral donde se distribuyen por barrios, pueblos y ciudades, experimentos en ensayos clínicos realizados en varios centros o grupos de individuos, elegidos aleatoriamente.

En este entorno, hemos expuesto un breve enfoque sobre la concepción teórica de los modelos multinivel y su forma particular de observar el contexto que nos envuelve. A nuestro juicio, podemos añadir dentro de estos planteamientos algunos aspectos claves que han sido constantemente recomendados y señalados por los más prestigiosos investigadores, como Kreft y de Leeuw (1998); Raudenbush (1998), Raudenbush y Bryk (2000), Bryk y Raudenbush (1992), quienes sugieren, además, algunos elementos pertinentes para considerar esta metodología y que resumimos en los siguientes párrafos: a) Los modelos multinivel pueden explicar el contexto social más allá de lo que lo hacen las técnicas estadísticas tradicionales, de esa manera se introduce un grado de realismo que a menudo está ausente en otros modelos de nivel único como la regresión múltiple. Muchos datos no tienen ningún significado sin el reconocimiento de una estructura jerárquica. b) Gran parte de la población de interés de los científicos sociales tiene jerarquía o estructura anidada. Muchas de ellas se encuentran claramente formadas como: estudiantes en escuelas, familias en pueblos y éstos en estados. Los modelos multinivel pueden analizar ambientes, ya sea por nivel o por su interrelación con otros niveles y de forma simultánea. c) Las técnicas de modelos multinivel pueden ser aplicadas con gran precisión, en medidas con datos repetidos y con datos multivariados. Además, pueden ser especialmente valiosas en situaciones donde existen datos perdidos. d) El rango de posibilidades del software multinivel puede ser ajustado, fácil e inmediatamente, para construir nuevos modelos y para analizar desde diferentes puntos de vista la interacción entre las variables propuestas.

321


En fin, los modelos jerárquicos lineales se aplican a una serie de procesos complejos que albergan diferentes aéreas de estudio, en nuestro caso, nos dedicaremos específicamente a su desarrollo y aplicación en las ciencias sociales, por ser parte integral del debate que hemos planteado desde los párrafos anteriores.

3.3.3. El modelado de estructuras jerárquicas

En las ciencias sociales, como en cualquier otra rama equivalente, se hace muy difícil medir los fenómenos directa y palpablemente, no obstante, para ello se utilizan una serie de valiosos indicadores que permiten una aproximación más exacta a la incógnita de estudio. En este tipo de problemas de estructura anidada, Raudenbush y Bryk (2002) afirman que los modelos jerárquicos lineales ofrecen una serie de ventajas y posibilidades muy

profundas para entender el fenómeno en toda su complejidad.

Dentro de esta gama de perspectivas que plantea la metodología, es posible estimar tres tipos de parámetros: a) los efectos fijos, b) los componentes aleatorios y c) los componentes de varianza covarianza. Claro está, como destacan Bryk y Raudenbush (1992), en todo el proceso de estimación cada uno depende del otro, debido a que no son elementos aislados sino que interactúan conjuntamente.

El valor que se denomina “efectos fijos” es aquél que se asume como medida sin error y representa a la gran media general de los valores obtenidos en una muestra determinada. Esta estimación es la más simple de las tres implementadas e involucra un solo efecto fijo, la media total es estimada como el peso del puntaje de las medias de la muestra. La mayoría de las veces es determinado por ANOVA de un solo factor. 322


El estimador de los coeficientes al azar depende de la certeza de la media o el de regresión y en su forma más simple, se sujeta a los dos niveles del modelo, lo que sugiere dos estimadores alternativos para la media general, que permiten determinar específicamente cuánto se apartan unos de otros de la media general.

El cálculo del componente de varianza covarianza se puede realizar por medio de diferentes estimadores como el de máxima verosimilitud completo de Longford (1987) y Goldstein (1986); el método restringido de máxima verosimilitud Mason (1983) y Raudenbush y Bryk (1986) y la propuesta de Dempster (1981) de estimación bayesiana.

Para aclarar un poco estos estimadores, tomamos un ejemplo de Plewis (1998) con estudiantes de 16 años, donde se quiere conocer la relación entre el logro educativo (la respuesta) y la renta de la casa (la variable explicativa).

En este sentido, el modelo tradicional de regresión se especifica como:

LOGRO = a +b RENTA + ei (a)

Con ei como el término residual para los estudiantes i, cuyo interés está en la renta de b, o sea el efecto de la renta en el logro. En modelos de esta clase, los coeficientes a y b generalmente se llaman efectos fijos.

Como está este modelo no se puede reconocer que los estudiantes pertenecen a escuelas y parte de las diferencias que se detecten se pueden deber a las escuelas y no a la renta. Es posible que el mal rendimiento varíe de escuela a la escuela, después de tener en cuenta el efecto de la renta en el logro. La implicación de esto es que el logro de los estudiantes dentro de 323


escuelas es más semejantes en promedio, que el logro entre diversas escuelas, lo que nos puede conducir a algunos resultados interesantes sobre el efecto de escuelas. El problema de no hacer caso del efecto de la escuela en el modelo 1 es que el coeficiente del error estándar de la regresión, b, es demasiado bajo. Por lo tanto, la especificación que hemos hecho es incompleta y potencialmente engañosa porque falta el contexto institucional. Este modelo de regresión tradicional no se ajusta al objetivo planteado.

Por esto debemos extender el modelo b:

Logro = aj + b renta + eij

(b)

Como se observa, tenemos dos subíndices, uno para cada uno de los dos niveles i para los estudiantes y j para las escuelas. También, tenemos aj para representar la variabilidad en el intercepto de escuela a escuela; que se refiere al efecto de la escuela, que tratamos como efecto al azar representándolo como variación. Por lo tanto ahora sí tenemos un modelo de niveles múltiples.

La distinción entre los efectos fijos y al azar es importante al modelar los niveles múltiples, porque podríamos representar el efecto de la escuela en el logro en el modelo 2 como un conjunto de las variables simuladas, donde la renta determine una parte de las diferencias encontradas.

Este modelo simple de dos niveles permite que el intercepto al igual que la pendiente varíe de escuela a la escuela, debido a que las escuelas pueden influenciar la relación de la renta en el logro, con algunas escuelas que lo refuerzan y otras que lo reducen.

Ante esta nueva posibilidad, debemos reescribir nuevamente el modelo: 324


LOGRO = RENTA aj + bj + eij (c)

En este nuevo modelo, tenemos dos efectos al azar, el que ya conocíamos aj y ahora bj que representa la variabilidad en la pendiente de escuela a la

escuela. Ahora el modelo es más complicado y nos ofrece mayor información sobre la incidencia que tiene la renta en el logro de los estudiantes.

La complejidad de los modelos se puede observar en el siguiente gráfico expuesto por Plewis (1998).

GRÁFICO N°1 COMPLEJIDAD DE LOS MODELOS

Una lectura apropiada de la tabla es la siguiente:

el aumento de

complejidad del modelo en cada una de sus rectas de regresión evidencia explicaciones cada vez más realistas e interesantes sobre los problemas que enfrentan los investigadores. El panel (a) ilustra el modelo de regresión simple. 325


El panel (b), se determinan los interceptos y la varianza, pero las pendientes son constantes. El panel (c), corresponde al último modelo, donde los interceptos y las pendientes varían de escuela a escuela, lo que nos permite consideraciones y explicaciones más cercanas al problema de interés.

Sobre este aspecto, Goldtein y otros (1993, 1994) añaden que la estimación de los parámetros permite: Obtener estimaciones estadísticas eficientes de los coeficientes de regresión. ¾ Utilizando los datos en niveles jerárquicos, se puede conocer los errores estándar, a intervalos de confianza y con pruebas de significación correctas. Éstos serán generalmente más precisos que los obtenidos por los métodos tradicionales sin estructura anidada. ¾ Permiten explorar el segmento ante el cual las diferencias en la media entre las escuelas se debe a otros factores como prácticas organizacionales o a las características individuales del alumno. ¾ También es posible analizar si la escuela marca una diferencia para los diversos tipos de estudiantes. Por ejemplo, para ver si la variación entre las escuelas es mayor en aquellos estudiantes que tienen notas inicialmente altas que para los estudiantes con notas iniciales bajas y si esas diferencias son mayores en algunos individuos que en otros. ¾

Una vez conocidas algunas de las particularidades de los modelos causales y de los jerárquicos lineales, podemos adentrarnos en los análisis de la competencia docente universitaria. En los capítulos siguientes, se analizará

detalladamente las propiedades psicométricas de nuestro instrumento de medida, validaremos el constructo competencia docente por medio de los modelos causales y para finalizar, utilizaremos los modelos jerárquicos lineales para conocer la influencia que tienen las características de los estudiantes, profesores y clase en la evaluación de la docencia universitaria.

326

Capítulo 7

FIABILIDAD Y VALIDEZ: ANÁLISIS Y RESULTADOS

Fiabilidad y validez: análisis y resultados

Índice del capítulo 7 FIABILIDAD Y VALIDEZ: ANÁLISIS Y RESULTADOS .................327 1.

CONSIDERACIONES TEÓRICAS SOBRE EL INSTRUMENTO DE MEDIDA...329 1.1. Concreción del instrumento de medida...................................................................... 333 1.2. Características iniciales.............................................................................................. 334 1.3. Particularidades de los estudiantes, profesores y clase .............................................. 340

2.

RECOGIDA DE INFORMACIÓN ................................................................................341 2.1. Fundamentos genéricos del diseño de investigación.................................................. 341 2.2. Criterios de muestreo ................................................................................................. 343 2.2.1. Procesamiento de datos ...................................................................................... 344 2.3. Características de la muestra...................................................................................... 344 2.4.1. De los estudiantes............................................................................................... 345 2.3.2. Los profesores .................................................................................................... 348 2.3.3. De la clase .......................................................................................................... 351

3.

ESTUDIO DE LAS CARACTERÍSTICAS TÉCNICAS DEL INSTRUMENTO ....354 3.1. Análisis de fiabilidad general de la escala ................................................................. 354 3.1.1. Índices de homogeneidad de los ítems ............................................................... 356 3.2. Análisis de fiabilidad por departamentos ................................................................... 357

4.

ANÁLISIS FACTORIAL EXPLORATORIO ..............................................................358 4.1. Análisis factorial exploratorio.................................................................................... 358 4.1.1. Observación de la matriz de correlaciones......................................................... 360 4.1.2. Valoración de la significación de las pruebas de Bartlett y K.M.O. .................. 363 4.1.3. Las comunalidades ............................................................................................. 365 4.1.4. Retención de los factores y rotación................................................................... 367 4.2. Definición operacional de los factores extraídos ....................................................... 374 4.2.1. Factor I entusiasmo ............................................................................................ 375 4.2.2. Factor II interacción ........................................................................................... 375 4.2.3. Factor III evaluación .......................................................................................... 376 4.2.4. Factor IV organización y recursos...................................................................... 378 4.2.5. Factor V presentación y dominio ....................................................................... 379 4.2.6. Factor VI valoración global o ítems criterio....................................................... 380 4.3. Estudio de la consistencia interna de los factores extraídos....................................... 382 4.3.1. Índices de homogeneidad de los ítems ............................................................... 383 4.4. Validez criterial.......................................................................................................... 383 4.4.1. Criterio interno ................................................................................................... 383 4.4.2. El criterio y todos los factores............................................................................ 384

5. ANÁLISIS FACTORIAL CONFIRMATORIO PARA DETERMINAR LA VALIDEZ DE CONSTRUCTO ................................................................................................385 5.1. Validación empírica del modelo de medida............................................................... 385 5.1.1. Modelo de medida con la variable exógena ....................................................... 387 5.1.2. Modelo de medida las variables endógenas ....................................................... 393 5.2. Validación empírica del modelo estructural .............................................................. 399 5.2.1. Especificación del modelo.................................................................................. 399 5.2.2. Identificación...................................................................................................... 402 5.2.3. Estimación de parámetros y evaluación ............................................................. 404 5.2.4. Ajuste del modelo............................................................................................... 411 6.

SÍNTESIS Y CONCLUSIONES DEL ANÁLISIS DE LA ESCALA..........................418 328


1.

CONSIDERACIONES TEÓRICAS SOBRE EL INSTRUMENTO DE MEDIDA

El marco conceptual de cómo definimos la competencia docente universitaria se apoya en las investigaciones referentes a la eficacia docente y su relación con la mejora de la instrucción, en autores como Marsh (1984, 1997, 2001); Pozo (2000); Brennan (2000); Escudero (1999); Tejedor (1990); Murray (1983); Seldin (1990); Abrami, d'Apollonia y Cohen (1990), Cashin (1988), Cohen (1987), Feldman (1989a, 1989b, 1997, 1998), McKeachie (1979, 1990, 1997), García Ramos (1996, 1997), De la Orden (1990), entre otros. Esta posición investigadora se fundamenta en el paradigma de proceso-producto (eficacia) y en la creencia acerca de que el docente tiene una pequeña influencia en el rendimiento de los estudiantes.

Estos temas han sido sujeto de mucha otra investigación durante los pasados 50 años. Las variables que señalaron los investigadores como indicativas de la competencia docente han sido estudiadas por su relación con el aprendizaje de los estudiantes e incluye medidas sobre: la habilidad académica del profesor, años de educación, años de la experiencia en la enseñanza, medidas sobre la materia y conocimiento de la enseñanza, certificación de estatus y el comportamiento en la sala de clase. Nosotros, para iniciar, nos referiremos exclusivamente a esta última línea de investigación.

Construir una medida válida de la docencia universitaria requiere de una continua interrelación entre la teoría, la investigación y la práctica. Al respecto, durante los últimos treinta años, se han constituido numerosos instrumentos teóricos de acuerdo con una estructura multidimensional, contenida en ítems que permiten valorar diferentes dimensiones, tales como: organización, preparación, 329


habilidades para comunicar claramente y estimular a los estudiantes, interacción con los estudiantes, justicia en la nota, y muchas otras más. Sin embargo, como afirman Marsh y Roche (1997), pocos de estos estudios han sido evaluados, extensivamente, en términos de potenciales de sesgo y validez.

Aunque la percepción de los estudiantes de la calidad de la instrucción está más o menos acordada como de naturaleza dimensional (ver el debate de: Abrami & D’Apollonia, 1991;McKeachie, 1997; Marsh, 2001), existe poco consenso en el desarrollo relacionado con el número de ítems y la naturaleza de las dimensiones. Consecuentemente, estas dos razones evidencian una falta de acuerdo sustancial, que no ha podido ser resuelto consistentemente por los investigadores, lo que complica la construcción de estos instrumentos al tratar de definir cuántos ítems y qué dimensiones se deben emplear para elaborar un instrumento de evaluación de la competencia universitaria.

Considerando estos dos problemas, el número de ítems y el contenido en los instrumentos de valoración de la docencia universitaria por parte de los estudiantes (S.R.T.47), podemos manifestar que las discrepancias en el número de ítems ocurren porque los evaluadores difieren del lugar que ocupan y en su importancia, para enfatizar la diversidad de aspectos que componen la enseñanza universitaria. Por ejemplo, el feedback de los cuestionarios de estudiantes pueden estar diseñados para un reducido rango de aplicaciones, tales como evaluar solamente el rendimiento musical, las prácticas o las clases clínicas. Esta restricción de los “S.R.T.” como medida característica, no es compartida por la mayoría de los cursos ofrecidos en el campo universitario. Otros, por su parte, pueden ser diseñados para evaluar dimensiones comunes.

47

Llamado en ingles “Student Ratings of Teaching”

330


Para Abrami, D’Apollonia y Cohen (1990), la selección de los ítems también afecta los propósitos del feedback requerido de los estudiantes: pues el solicitar esa información atiende a dos propósitos: (a) evaluar al instructor para aumentar el ejercicio, (evaluación sumativa) (b) proveer al profesor de información para la mejora de su enseñanza (evaluación formativa). Los “S.R.T.” pueden estar diseñados para un solo propósito o para ambos.

Por otra parte, Cashin y Downey (1992) y Scriven (1981) destacan que la naturaleza multidimensional de los “S.R.T.”, ha sido muy discutida, dado que consideran que para la información sumativa es posiblemente mejor usar formularios cortos en vez de largos. Todo esto es un rompecabezas para nosotros, especialmente porque el instructor nunca podría considerar buena o aceptable, una evaluación de su rendimiento con solo con cuatro o cinco ítems. Además, porque este tipo de evaluación juega un gran papel en las decisiones de los administradores universitarios para aumentos de sueldos, promociones u otros, y basado en decisiones fundamentadas en cuatro o cinco ítems podría resultar inadecuado, máxime cuando es medido desde el punto de vista de los estudiantes. Nunnally (1978) afirma que, en la medida de la teoría predictiva, los cuestionarios largos podrían tener un rendimiento más fiable, y su estimado de fiabilidad ser más preciso que los cuestionarios con pocos ítems. Además, March (1994) considera que usando pocos ítems en un cuestionario, se podría entorpecer el enfoque de la validación de un constructo.

No obstante, algunos investigadores mantienen la opinión de que instrumentos con pocos ítems pueden ser fiables. Cashin y Downey (1992) señalan que el uso de pocos ítems se puede considerar en una medida sumativa para tomar decisiones sobre el empleo de profesores. Marsh (1994, 1997, 2001) propone como medida sumativa de su instrumento tomar de referencia el peso medio de los ítems globales y específicos.

331


Ahora bien, Feldman (1976a, 1983, 1984), March (1997, 2001), Jackson (1999), Tejedor (1993), De Miguel (1998) y otros más, han identificado ciertas dimensiones y factores relacionados con: organización, comunicación, relaciones con los estudiantes, criterios de evaluación, claridad, entusiasmo, entre otros. Podemos decir que, en general, todas estas características docentes están incluidas en muchos cuestionarios, y, como ya se ha indicado, un profesor podrá ser bien evaluado en algunas de estas características, aunque bien podría ocurrir que no lo sea en ninguna.

Más aún, algunos autores desde perspectivas muy críticas,

manifiestan que estas evaluaciones llevan implícitas una posición teórica, un solo punto de vista, y no tienen en cuenta que existen diferentes estilos docentes, y que el modelo de evaluación propuesto, puede o no ser adoptado por el docente evaluado. (Véase al respecto: Fernández, 1999; Centra, 1987; D’Apollonia, 1997).

Desde nuestro punto de vista, consideramos que la gran gama de estudios en el campo de investigación sobre la evaluación de la docencia universitaria indica que la competencia docente está muy relacionada con la organización que el docente hace del curso y de las relaciones que mantiene con los estudiantes. Dentro de estos aspectos se hace necesaria la definición de metas claras en la clase pero que estén relacionadas con las necesidades de los estudiantes, los contenidos, los recursos de instrucción y con los criterios de evaluación. Además, un profesor competente les comunica claramente sus expectativas, brinda la oportunidad de exponer sus conocimientos, motiva, es entusiasta y les suministra un feedback frecuente a los estudiantes acerca de su progreso en clase.

La calidad de la competencia docente se puede definir, según nuestro cuerpo investigativo, como el grado de acuerdo en el cual los estudiantes valoran, positiva o negativamente, la acción del docente. En otras palabras, la relación o coherencia de los estudiantes con las diferentes dimensiones identificadas con la

332


docencia efectiva nos señala una imagen del nivel de competencia alcanzado por el docente universitario. 1.1. Concreción del instrumento de medida

Para disponer de una aproximación a este tipo de instrumento, decidimos comunicarnos con el Centro de Evaluación Académica de la Universidad de Costa Rica, con el fin de obtener una copia de los instrumentos que utiliza la institución para evaluar la competencia docente. Respondiendo a nuestra petición, los directores encargados nos facilitaron varios instrumentos que pueden observarse en el anexo N° 2.

Con este instrumento y con el análisis de las propuestas teóricas detalladas en los capítulos anteriores, decidimos iniciar la construcción de nuestra propuesta con once dimensiones y 55 ítems que consideramos importantes para la consecución de los objetivos propuestos.

Una vez elaborada la primera propuesta decidimos contrastarla con la opinión de los profesores participantes, por ello enviamos un correo electrónico a los profesores de la Sede de Guanacaste de la Universidad de Costa Rica (ver anexo 3) donde se solicita entre otros aspectos su apoyo para analizar nuestro proyecto. En esta primera aproximación recibimos respuesta solamente de dos profesores quienes nos enviaron sus consideraciones, preguntas, planteamientos y otros, sobre el instrumento. Cabe destacar que estas personas permanecieron con nosotros hasta las aplicaciones finales a los estudiantes. Pensando que eran muy pocos los que respondieron decidimos realizar tres veces más el mismo proceso. No obstante, el total de respuesta fue de un 18% del total. La apatía de los profesores puede ser explicada, principalmente, por las malas experiencias que tienen los docentes con este tipo de estudios en las evaluaciones que se han 333


aplicado y el poco tiempo que dedican los docentes a responder correos electrónicos. Creemos que este porcentaje pudiera haber sido mucho mayor, si se hubiera entregado y conversado personalmente con los docentes, así ellos se hubieran sentido más comprometidos con el proyecto.

Seguidamente, se estudiaron las propuestas, inquietudes, preguntas y otros aportes que nos enviaron los profesores interesados en corregir el instrumento y hacerlo más representativo para nuestra Sede. Todo lo anterior nos llevó a replantearlo, eliminando algunas dimensiones e ítems que los docentes consideraban que estaban fuera de contexto o que no eran relevantes para evaluar. También por recomendación de éstos, redactamos nuevamente aquellos ítems que no se entendían o que presentaban serias dudas, pero que era importante tenerlos en cuenta. Esto nos llevó a la redacción de una nueva versión del cuestionario, el cual fue enviado a dos especialistas. El juicio de los expertos era casi igual a la opinión de los profesores, y varió, únicamente, en el replanteamiento de algunos ítems.

1.2. Características iniciales

Nosotros consideramos, como ya lo hemos mencionado en el apartado anterior, que la evaluación de la docencia universitaria ha de estar inserta dentro de un marco de referencia más amplio que involucre todas las piezas que integran una institución. Por lo tanto, ha de ser una parte, un apéndice del entramado proceso de evaluación institucional, en donde la medida de la docencia universitaria, necesariamente comparta responsabilidades, aciertos y desaciertos con las demás secciones o partes de la institución, teniendo en cuenta una concepción determinada de calidad, entendida, según De la Orden (1 992), como un sistema de coherencia entre los distintos elementos que componen el sistema 334


(necesidades y valores sociales, contexto, input, proceso y producto), tendiendo a considerar indicadores de tipo relacional entre tales componentes. A nuestro juicio, podemos observar la calidad de la enseñanza basado en varias dimensiones como: planificación general, métodos y recursos, exposición, amplitud, métodos evaluativos, interacción, apoyo, entusiasmo y la valoración global del profesor y del curso. Las dimensiones empleadas han sido identificadas por los investigadores y por el gran cuerpo de literatura que tiene el tema en debate. Como indicadores de tales dimensiones se pueden determinar: preparación y organización de la clase, dominio de temas, contexto a sus ideas, entre otros. El detalle de tales elementos se puede observar en la siguiente tabla.

TABLA NO 15 DIMENSIONES, NÚCLEO TEÓRICO E INDICADORES

Estructura

Subdimensión

Indicadores

Organización y estructura

Planificación general del curso Métodos y recursos empleados

Exposición, claridad de contenidos.

Preparación y organización de las clases Utilización instrucción

de

métodos

y

recursos

de

Dominio de los temas Claridad y orden. Contexto a sus ideas y conceptos Tratamiento a los temas

Amplitud

Justicia e imparcialidad a la hora de evaluar y calificar. Relación y definición de los criterios de evaluación. Feedback de la evaluación

Método evaluativo

335


Criterio global del profesor

Relaciones con los estudiantes

Valor del aprendizaje

Valor del curso (profesional, dificultad, cantidad de trabajo) Expectativa e interés

humano,

Estimula y provoca la participación, el diálogo, la reflexión y debate.

Interacción

Escucha dudas y críticas Apoya a los estudiantes

Apoyo.

Actitud activa y dinámica Entusiasmo e interés mostrado en clase

Entusiasmo

General con el profesor y el curso

Valoración global

La selección de estas dimensiones responde a dos criterios: uno porque, como se desprende de la revisión de la literatura sobre el tema en la primera parte de este estudio, hay dimensiones que tienen un peso determinante en la medida de la competencia docente por parte de los estudiantes.

El otro criterio que hemos tenido en cuenta para seleccionar esas variables ha venido por la naturaleza y el contenido del instrumento facilitado por el centro de evaluación académica de la Universidad de Costa Rica.

Podemos ver que la estructura está formada por 34 ítems, ordenados en nueve núcleos teóricos que, a su vez, permiten valorar tres aspectos de la competencia docente universitaria: organización y estructura del curso, relaciones con los estudiantes y el criterio global. Cada uno de los núcleos teóricos ha sido identificado por uno o varios indicadores y se procedió a asignar diferentes ítems que tuvieran relación directa con las dimensiones propuestas, con el objetivo de

336


operacionalizar nuestra propuesta.. El desglose de este apartado se puede observar seguidamente.

TABLA NO 16 INDICADORES E ÍTEMS DEL INSTRUMENTO

Indicadores

Ítems

1- Evidencia que ha preparado las clases con anticipación 4- Los objetivos de curso se definen Preparación de clases anticipadamente. 3- Realiza un resumen del tema anterior, antes de iniciar cada clase. 9- Cumple con el desarrollo de los temas de acuerdo con el programa del curso 10Emplea variedad de ayudas audiovisuales (multimedia, diapositivas, Utilización de métodos y recursos videos, etc) de instrucción 13- Utiliza variedad de recursos de enseñanza (demostraciones, lecturas, trabajo en grupo, etc). Dominio de los temas 12- Muestra dominio de los temas tratados -----------------------------------------14- Es ordenado al exponer los contenidos de la clase. 16- Explica con claridad. Exposición (claridad y orden) 18- Resume y enfatiza los aspectos claves de cada lección. 7- Contrasta varias implicaciones en los Amplitud temas que explica. 8- Brinda un contexto global a sus ideas y conceptos 19- El o los procedimientos de evaluación al alumno reflejar sus Justicia e imparcialidad a la hora permiten conocimientos de evaluar y calificar 22- Elabora evaluaciones (exámenes, quices, tareas, asignaciones, otros) para sintetizar efectivamente la materia del curso. Relación y definición de los 24- Es justo e imparcial a la hora de criterios de evaluación. evaluar y calificar (exámenes, quices, tareas, asignaciones, otros) 26- Devuelve las evaluaciones ya calificadas dentro de los diez días hábiles siguientes a su realización o entrega. 28- Genera una retroalimentación en los exámenes, calificaciones y materiales, que me ayudan comprender aún más la materia de clase.

337


Dificultad, cantidad de trabajo. Expectativa e interés Retroalimentación de la valoración de clase Estimula y provoca la participación, el diálogo, la reflexión y debate.

Escucha dudas y críticas

29- Comparado con otros, la dificultad de este curso fue 30- Relacionado con otros, la cantidad de trabajo que se asigna en este curso es 31- Tengo expectativas de obtener una nota de 32- Has aprendido en este curso, algo que consideras de valor para tu desarrollo profesional o humano. 2- Brinda la oportunidad de exponer dudas y preguntas, respondiéndolas con claridad. 5- Acepta críticas a sus objetivos de clase, planteamientos y otros, por parte de los y las estudiantes. 6- Se interesa por los y las estudiantes que demuestran problemas en aprender, los temas de estudio, al mismo ritmo que la clase. 17- Mantiene buenas relaciones con los estudiantes

11- Se encuentra disponible en el horario que estableció para horas de consulta extra clase. 15- Trata de acercarse y conversar con los estudiantes antes y después de clase. Entusiasmo e interés mostrado en 20- Refleja entusiasmo en la presentación clase de la clase o de los materiales. 21- Tiene una forma de enseñar que facilita la comprensión de la materia -----------------------------------------------23- Cuando explica mantiene mi atención en la clase. Actitud activa y dinámica 25- Se mantiene activo y dinámico cuando dirige este curso 27- Asiste regularmente a Clases y si falta lo justifica Apoyo a los estudiantes

Ítem Criterios Generales

33- Considera usted que este curso ha sido. 34- En general usted diría que su profesor es

Nosotros consideramos que, a modo abreviado, las características de este cuestionario se pueden sinterizar en los siguientes aspectos (ver anexo cuatro): Cuestionario global: 34 ítems, con un ítem de control, el criterio, el cual es común en este tipo de instrumentos.

¾

¾

Perfil de las dimensiones: 338


1) Planificación general del curso y de la clase: se refiere a la preparación de la clase, la definición de los objetivos y al ajuste con el desarrollo de los temas de estudio. 2) Utilización de métodos y recursos de instrucción: es determinada por la variedad de recursos de instrucción como: multimedia, lecturas, vídeos u otros. También considera aquellas técnicas pedagógicas tales como: demostraciones, trabajo en grupo, etc. 3) Dominio de los temas: esta dimensión se define por el dominio en los temas de clase, el orden de exposición de los contenidos, el orden y su claridad. 4) Amplitud en el tratamiento de los temas se refiere al contexto que brinda a sus ideas y conceptos y al tratamiento de los temas que hace a los temas. 5) Método evaluativo está contemplado como la justicia en imparcialidad a la hora de evaluar y calificar al estudiante, la relación y definición de los criterios de evaluación con lo visto en clase, al tipo de feedback en la evaluación. 6) Interacción con los estudiantes: si el docente estimula y provoca la participación, el diálogo, la reflexión y el debate en clase, escucha las dudas y las críticas, si mantiene buenas relaciones con los estudiantes. 7) Apoyo: se refiere concretamente a su disponibilidad para atender a los estudiantes antes y después de clase. 8) Entusiasmo mostrado en clase; cómo se muestra el docente con los estudiantes, se mantiene una actitud activa y dinámica, si manifiesta su entusiasmo al impartir la clase, evidenciando con ello que se siente a gusto. 9) Valoración global: este es el criterio final que resume la opinión general de los estudiantes sobre el profesor y el curso. ¾

Tipos de ítems: generales

¾

Escala aditiva global tipo Lickert (1932)

339


Puntuación de los ítems: escala de cinco puntos. Uno es considerado el menor puntaje y cinco el mayor.

¾

¾

Formulación de los ítems en sentido positivo.

Asimilación de dimensiones para uso formativo. En sentido sumativo, únicamente mantener como referentes la escala global.

¾

1.3. Particularidades de los estudiantes, profesores y clase

Una vez que se definieron los ítems en las sub-dimensiones propuestas se tomó en consideración incluir ciertas características de los estudiantes y el curso, para utilizarlas posteriormente en la aplicación de los modelos jerárquicos lineales, con el fin de obtener un detalle acerca de la influencia de estos factores en la evaluación de los estudiantes de la competencia docente universitaria. Por otra parte, también se solicitó al profesor participante información escrita sobre sus condiciones laborales, situación académica y otros aspectos, que luego fueron contrastados con el respectivo permiso del profesor, en la oficina de personal de esta Universidad. Este elemento puede observarse en el anexo cinco de esta investigación.

Un resumen de las características de los implicados puede verse en la siguiente tabla.

340


TABLA NO 17 CARACTERÍSTICAS DE LOS ESTUDIANTES, PROFESORES Y CURSO

Contexto del estudiante

Contexto del profesor

Contexto de la clase

- Disciplina académica - Año de carrera - Edad del estudiante - Sexo - Regularidad en la asistencia a clases - Departamento del estudiante - Expectativa de nota - Interés por el curso - Departamento del profesor - Edad - Sexo - Rango académico - Salario. - Investigaciones publicadas - Obligatoriedad del curso - Cantidad de estudiantes en el aula - Dificultad - Cantidad de trabajo

La profundización teórica de este apartado, referente a las características de los estudiantes, los profesores y la clase, se encuentra en el capítulo dedicado a la aplicación de los modelos jerárquicos lineales en la competencia docente.

2.

RECOGIDA DE INFORMACIÓN

2.1. Fundamentos genéricos del diseño de investigación.

Como todo trabajo de investigación, ha de permanecer dentro de ciertos cánones formales de procedimiento para su elaboración. En nuestro caso podemos ubicar este trabajo según Sierra (1994) y Arnal, Del Rincón y Latorre (1994) dentro del tipo de investigación no experimental, correlacional y ex – post341


facto, debido a que reunimos o recolectamos los datos a partir de hechos ya ocurridos. Desde el punto de vista estrictamente metodológico los modelos jerárquicos lineales y las ecuaciones estructurales corresponden a técnicas multivariadas del análisis de datos que se fundamentan en el análisis de regresión, siendo el propósito general de la primera la predicción y en la segunda más explicativa que predictiva.

Nosotros abordamos la problemática de los factores que inciden en la competencia docente, como un componente relevante en la eficacia de los centros educativos, proponiendo en primer lugar un modelo lógico hipotético- deductivo que integra diferentes factores que explican el constructo competencia docente y posteriormente las características relevantes del estudiante, profesor y curso que afectan o inciden en la evaluación que los estudiantes hacen de sus profesores universitarios.

La recogida de los datos o el momento en que se reúne la información es de tipo transversal, también denominada trans-seccional, ya que sólo se considera la información dada por los estudiantes y profesores a través de los cuestionarios cumplimentados en un instante de tiempo determinado.

Para reunir la información pertinente sobre la opinión de los estudiantes de la competencia docente, se construye un instrumento multidimensional y se utiliza para todo el análisis posterior de los datos. El mismo está fundamentado en un cuestionario único construido ad-hoc para la investigación, que incluye entre otros aspectos algunas de las dimensiones consideradas por los investigadores como predictores de competencia docente, de las que se pueden mencionar: la organización, claridad, interacción y comunicación con los estudiantes y justicia en la evaluación. Dentro de este instrumento también se solicita información al estudiante sobre su edad, sexo, grupo, rama profesional, cantidad de estudiantes en la clase y otros elementos más. Al profesor se le pide información escrita 342


acerca de algunas características personales y de trabajo como: sexo, edad, salario, nombramiento, rango académico, entre otros. Como es normal en este tipo de investigaciones, es determinante examinar la fiabilidad y la validez a partir de las inferencias de las puntuaciones obtenidas.

2.2. Criterios de muestreo

La muestra se obtiene de una aplicación a los estudiantes realizada por los administrativos y profesores de la Universidad de Costa Rica, Sede de Guanacaste, quienes utilizaron el instrumento multidimensional que describimos anteriormente. Respondieron al cuestionario 374 estudiantes seleccionados aleatoriamente de la población total de esa Sede Universitaria. Para delimitar la muestra48, se empleó el paquete estadístico Stats v 1.1, con un universo de 30.00049 estudiantes, un error máximo aceptable del 6%, un porcentaje estimado de muestra de 50% y un nivel de confianza del 95%.50

Por razones de distancia y por el carácter participativo de nuestra investigación el tipo de muestreo con los profesores es de carácter no probabilístico, concretamente incidental, debido a que la respuesta de éstos dependía enteramente de su voluntad de participación. No obstante, hemos de destacar el apoyo del director de la Sede, del Colegio Científico y de los directores de departamento, quienes nos facilitaron diferentes elementos de comunicación para motivar a los profesores.

48

Para mayor detalle sobre los procedimientos muestrales leer Arkin y Colton (1962); Sierra Bravo (1992) Población total de la Universidad de Costa Rica en todo el país. 50 Sierra Bravo (1992), León Montero (1997) y Arkin y Colton (1962), recomiendan que para poblaciones finitas, con un margen de confianza de 95.5%, P=0.5, con un margen de error muestral de + 5%, es necesario encuestar un total de 248 personas, para lograr la representatividad de la investigación. 49

343

Fiabilidad y validez: análisis y resultados 2.2.1. Procesamiento de datos

Todos los cuestionarios fueron sometidos a una etapa de crítica manual para determinar si habían sido completados en su totalidad, si faltaba información o si había anotaciones al margen de los ítems sobre aspectos que los estudiantes no entendieran. Luego, se procedió a la codificación de los cuestionarios, revisando nuevamente la totalidad y procediendo a la digitación. Para ingresar los datos al microcomputador, se utilizó el Excel y el paquete estadístico SPSS/Windows, versión 10. Con este último paquete, se estudiaron las propiedades psicométricas del instrumento y se tabularon los datos.

Tanto la revisión como la codificación y la digitación, se llevaron a cabo en forma simultánea, de tal manera que conforme tomábamos los cuestionarios de los distintos estudiantes y profesores, se revisaban y digitaban en el ordenador, con el fin de ir creando nuestra base de datos.

2.3. Características de la muestra

La muestra se estratifica en función de las características determinadas con anterioridad de los estudiantes, profesores y cursos. Éstas hacen referencia a: sexo, carrera o departamento, rama académica, años en la universidad, asistencia al curso, nota esperada, edad, rango del profesor, cantidad de estudiantes y carácter de la asignatura o tipo de departamento, entre otras.

344

Fiabilidad y validez: análisis y resultados 2.4.1. De los estudiantes

La distribución de la muestra quedó establecida en: hombres 50.80 % (190), mujeres 49.20% (184), con una media de edad de 19.9 años. Se puede observar que no hay diferencia substancial entre la cantidad de estudiantes correspondiente a un sexo determinado, esto nos evidencia que la muestra es muy equilibrada por sexos.

Gráfico N° 2 Sexo de los estudiantes

Mujeres 49,80%

Hombres 50,20%

Relacionado con los años de universidad el grupo con mayor representación es el de primer año con un 39.4%, seguido los de segundo y tercer año con 17.7% y 14.9%, respectivamente. Los años superiores están representados en una pequeña proporción de 3.8% para los de cuarto y 3.6% los de quinto. Esto evidencia que en la muestra hay mayoría de estudiantes de primer año. Ver gráfico No 2.

345


Gráfico N° 3 Años en la universidad y estudiantes

17

Cinco

18

Años

Cuatro

71

Tres

81

Dos

187

Uno 0

50

100

150

200

Estudiantes

Por pertenencia a un departamento específico el 57% de los estudiantes es de Ciencias Sociales, el 36%, de Ciencias Básicas y un 7% del Departamento de Artes Filosofía y Letras. Esto evidencia que en la muestra existen más estudiantes de los dos primeros departamentos. Ver tabla siguiente.

TABLA N° 18 ESTUDIANTES POR DEPARTAMENTOS

Departamento

Estudiantes

%

Artes, Filosofía y Letras Ciencias Sociales Ciencias Básicas

27 212 135

7% 57 % 36 %

Total

374

100 %

Al considerar la asistencia al curso un 87.1% de los estudiantes manifiesta que su asistencia es mayor a 81%, lo que evidencia que estos estudiantes 346


permanecen en casi todas las clases planificadas para el semestre. Un 8.8% asiste regularmente a clases entre un 61% y un 80%. Los que asisten poco a clase se ubican en un porcentaje que ronda entre el 1.6% y 1.1.%. Esta información se a continuación.

TABLA NO 19 NIVEL DE ASISTENCIA AL CURSO

Asistencia

Estudiantes

%

Menos de un 19%

5

1.3 %

Entre un 20 y 40%

4

1.1 %

Entre un 41 y 60%

6

1.6 %

Entre un 61 y 80%

33

8.8 %

Más de un 81%

325

87.1 %

Total

374

100 %

En relación con nota esperada por los estudiantes, el mayor grupo, 47.7%, desea obtener una nota de ocho. Mientras el 42.2% confía en alcanzar una nota superior a nueve y en el 6.7% únicamente quieren ganar el curso, con cualquier tipo de calificación. Un porcentaje mínimo de la muestra, 0.8% no tiene ninguna expectativa de nota. Ver el siguiente gráfico.

347


Gráfico No 4 Expectativa de nota de los estudiantes

180 160 140 120 100 80 60 40 20 0

Ninguna

cinco

siete

ocho

+nueve

En una síntesis del análisis anterior de esta muestra de estudiantes, podemos manifestar que el estudiante medio tiene 19.9 años, está matriculado en primer año, con una expectativa alta de nota, con una presencia en la clase de más de un 81% y está matriculado en el Departamento de Ciencias Sociales.

2.3.2. Los profesores

Los profesores colaboradores en esta investigación están compuestos por un 41% de mujeres y el 59% de hombres, con diferentes puestos académicos cuya edad está comprendida entre los 31- 40 años en el 35.3% de los casos y un 51-60 años en el 32%. El detalle se puede observar en la siguiente tabla.

348


TABLA N° 20 EDAD DEL PROFESOR

Valor

Frecuencia

% acumulado