REALIZACIÓN DE PRUEBAS PRESENCIALES DE EVALUACIÓN OBJETIVA “ONLINE” A UN NÚMERO ELEVADO DE ESTUDIANTES

Javier Sarsa Garrido
Facultad de Educación. Universidad de Zaragoza. --  jjsg@unizar.es --

Enrique García Pascual
Facultad de Educación. Universidad de Zaragoza. -- egarcia@unizar.es --

RESUMEN

Es obvio el esfuerzo que conlleva al profesorado la medición y evaluación de un conjunto numeroso de estudiantes utilizando cualquier metodología. Lo más común es reservar aulas capaces, separar al alumnado en grupos, coordinar al profesorado para estar en varias aulas, evitar la copia entre alumnos –a menudo minimizada proponiendo varios modelos distintos del examen-, distribuir y recoger los exámenes, y sobre todo, realizar el sacrificado proceso de la calificación. Todo ello convierte la tarea de la evaluación en una etapa poco agradable para la mayoría de los docentes. En este artículo se propondrá una alternativa real basada en las TIC (ordenador y redes), concretamente mediante el uso de un entorno virtual de evaluación en el aula presencial, que soluciona o ayuda al profesorado en varios de los aspectos planteados. A priori la idea de examinar a los estudiantes mediante pruebas objetivas (teóricamente justas), que hagan muy difícil la copia, que se recojan y después sean calificadas automáticamente por el ordenador, resulta muy atractiva para el profesorado. Sin embargo, esta metodología necesita seguir una serie de recomendaciones con el fin de que la experiencia resulte exitosa y repetible. El presente artículo expone un estudio del caso real de evaluación sumativa “online” a 170 estudiantes utilizando la plataforma WebCT. Se estudian aspectos habituales en el proceso de evaluación tales como la organización del alumnado, la seguridad, la calificación, la revisión, etc., particularizados al contexto de la evaluación objetiva presencial “online”.

ABSTRACT

Obviously teachers need to do a great effort to asses and evaluate a large number of students using any methodology. As a rule we have to book several enough capacity classrooms, to split the students in groups, to coordinate the teachers for being in different classrooms, to avoid copying –often minimized providing several models of the exam, to distribute and collect the exams and, above all, to carry out the hard process of grading them. All of this converts the assessment task in a not very pleasant duty for most of the teachers. This article will propose a real alternative based on ICT (computer and networks), concretely trough the use of an assessment virtual system inside the physical classroom, that can help the teachers to solve some of these referenced aspects. A priori the idea of assessing the students trough test (justly in theory), avoiding copy among students, automatically distributed and collected and after that automatically graded by the computer, appears very attractive for the teachers.  However, this methodology must follow a set of advices, in order to achieve a successful and repeatable experience.  This article shows a real assessment case involving 170 students using the WebCT platform. The most common aspects of the assessment process are evaluated such as student’s organization, security, grading, revision, etc., all of them particularized to an online objective assessment in a physical context. 

INTRODUCCIÓN

Tal y como se plantea en este artículo, la evaluación mediante pruebas presenciales “online” representa a día de hoy un mecanismo alternativo para la evaluación sumativa de los estudiantes. En un momento en que los alumnos siguen existiendo principalmente en la forma presencial -aunque cada vez con mayor fuerza a distancia a través de las aulas virtuales-, todavía es, la evaluación sumativa, una de las etapas más habituales y relevantes en la calificación final. La presencia es el único mecanismo que certifica la identidad de una persona. En el caso de la no presencialidad, garantizar la verdadera identidad de los evaluados es y será un problema de difícil solución, incluso con las prometedoras tarjetas inteligentes (Cánovas y otros, 2001). Y si se pretende obviamente una evaluación justa (que conduce finalmente a la obtención de títulos), ¿cómo alcanzar esta justicia sin siquiera ser capaces de garantizar que la persona que está contestando es la que dice ser?

Por otro lado, la evaluación presencial a grupos numerosos de alumnos requiere un gran esfuerzo al profesorado. Se trate de pruebas comunes de ensayo o de pruebas objetivas, la preparación, administración y calificación de las mismas consume demasiado tiempo, si se realiza de forma manual. Pensemos simplemente en un examen final para una asignatura de 500 alumnos matriculados, como es el caso que nos ocupa (si bien separados en dos cuatrimestres). En el esquema tradicional habrían de asignarse varias aulas para la realización del examen, fotocopiar y distribuir uno o más modelos de examen, designar varios profesores para la vigilancia -que además podría ser intensa-, recoger los exámenes, calificarlos y publicar los resultados. De todas estas fases, es sin duda la calificación la que más dedicación exige, cuando el esfuerzo podría invertirse de forma más fructífera (Mentruyt). El trabajo requerido crece además proporcionalmente al número de alumnos a evaluar.

A este respecto, la evaluación objetiva utilizando el ordenador e Internet presenta múltiples ventajas para el profesorado; aunque es verdad que también algunos inconvenientes. En cuanto a las ventajas:

•	Obviamente la prueba “online” no necesita ser impresa ni fotocopiada, ya que se realiza a través de Internet y, por supuesto, tampoco debe ser repartida en el momento del examen. No obstante, por si puntualmente se produjeran problemas técnicos, es conveniente llevar uno o varios modelos impresos del examen.

•	La vigilancia del examen es casi innecesaria, porque las pruebas serán distintas, generadas aleatoriamente, aunque equivalentes, para cada alumno. De esta forma, la copia entre estudiantes resulta muy difícil. La mera presencia de un profesor produce el efecto disuasorio deseado y resulta necesario a la hora de verificar la identidad de los alumnos presentados.

•	Las pruebas no necesitan ser recogidas. Esto evita al profesor multiplicar su vigilancia durante el movimiento que se suele producir en la entrega del examen, donde siempre muchos alumnos preguntan algo. Los exámenes se envían a través del ordenador y quedan almacenados electrónicamente.

•	La calificación del examen la realizará el ordenador central en el momento que deseemos, pudiendo elegir cuándo se harán públicas las calificaciones a través de Internet. En todo caso, se suele colocar una copia en papel de estos resultados en algún tablón de anuncios.

Entre los posibles inconvenientes, la preparación de un banco de ítems amplio requiere un esfuerzo inicial bastante alto, pero que, una vez construido, permite la reutilización en posteriores ocasiones. Sobra decir que para una calificación totalmente automatizada es necesario que todos los ítems sean de tipo objetivo, lo que quizás dificulta, incluso impide, la valoración de algunas competencias de alto nivel.

Algunas de éstas y otras ventajas de la evaluación a través de Internet son mencionadas por varios autores (Jones, 2000; Mentruyt).

PROCESOS PREVIOS A LA EVALUACIÓN PRESENCIAL “ONLINE”

Requerimientos

Una de las primeras preguntas que surge es si el centro dispone de la infraestructura necesaria para llevar a cabo la prueba. En realidad, en cuanto a equipamiento, sólo es preciso disponer de un aula de ordenadores conectados a Internet, si bien, cuanto mayor sea su número menor será el tiempo total requerido para examinar a todo el conjunto de estudiantes. Unos días antes de realizar la prueba debemos solicitar a los servicios de mantenimiento informático, que estén operativas para la fecha en cuestión el mayor número de máquinas posible. Entre 30 y 50 ordenadores es un número razonable para poder efectuar la prueba con un conjunto numeroso de estudiantes (por ejemplo 250). Por otro lado, es poco probable que se presenten todos ellos.

El software es el punto clave. Aunque actualmente existe un amplio abanico de productos para la evaluación a través de Internet, sus posibilidades no son, ni de lejos, las mismas. Algunos sistemas de gestión del aprendizaje (en inglés LMS o Learning Management Systems) incorporan funciones de evaluación integradas dentro del propio entorno virtual de enseñanza. El uso de un LMS significa que todos los pasos de la evaluación van siempre asociados a cada usuario -ya que se identifica previamente en el sistema-. La experiencia que se describe está realizada sobre la plataforma WebCT 3.8 que ofrece una solución completa de campus virtual. En cualquier caso, es obvio que el software de evaluación que se use debe permitir la autenticación (identificación inequívoca mediante usuario y contraseña) del alumno.

Confección de los ítems

Sin entrar en las reglas de redacción de los ítems, descritas a fondo en la literatura (Cortada, 1968; Rodríguez Cruz y García González, 1987), interesa conocer algunos aspectos relativos a este punto. La confección de los ítems depende, por supuesto, de las capacidades de la herramienta de evaluación elegida. WebCT soporta diferentes tipos de ítems, aleatoriedad en la presentación y la asignación de un porcentaje del valor de la pregunta (sea positivo o negativo) independiente para cada opción.

Cuando se combinan distintos tipos de ítems (elección única, elección múltiple, respuesta corta, asociación y calculado según fórmula, son los que ofrece WebCT) el estudiante debe conocer claramente cuál es el modo de respuesta. Es decir, resulta conveniente explicar en el enunciado de cada pregunta si debe marcar una opción, si puede marcar varias, si debe rellenar el espacio en blanco y cómo, etc. Esto es especialmente necesario remarcarlo cuando la mayoría de las preguntas son del mismo tipo pero algunas difieren.

El hecho de que la batería de preguntas presente distintos tipos de ítem no es inconveniente, o al menos no lo ha sido en nuestra experiencia, puesto que la prueba realizada ha sido un test de potencia, en el que el alumno tenía tiempo suficiente para pensar y contestar a todas las preguntas. Sin embargo, en los test de velocidad, en los que los estudiantes deberán contestar rápidamente al máximo número posible de preguntas, la heterogeneidad en los tipos de ítems puede ser perjudicial.

WebCT permite que las opciones del ítem se presenten al estudiante al azar. Esta aleatoriedad es sumamente conveniente para evitar la copia y la memorización de las preguntas. 

Como es frecuente en las pruebas de tipo test la corrección del azar en las respuestas se realiza mediante una puntuación negativa. Cuando los ítems son de elección única podemos usar la fórmula 100/(n-1) %, que expresa el porcentaje sobre el valor total de la pregunta que hay que restar si ésta se falla. Es decir, para una pregunta de 4 opciones se restaría 100/(4-1) %, es decir, el 33.33 % del valor de la pregunta; esto es, 0.33 si la pregunta vale 1 punto. En el caso de WebCT se indicaría un -33.33 en las opciones incorrectas (distractores) y un 100 en la correcta. Una corrección del azar más suave emplearía la fórmula 100/n %. Si existen más de 5 opciones de repuesta, realizar la corrección del azar es prácticamente indiferente.

El cálculo resulta ser más complicado cuando la respuesta correcta es múltiple (es decir, hay que seleccionar varias opciones). Afortunadamente en este caso la corrección del azar es mucho menos importante, puesto que hay mucha menor probabilidad de acierto por azar. Aun así, nosotros hemos optado por una ponderación tal que las opciones correctas suman 100/nc % (donde “nc” es el número de opciones correctas) y las incorrectas restan 100/((n-1)*ni) % (donde “n” es el número de opciones totales y “ni” es el número de opciones incorrectas).
	
Con el fin de construir pruebas extensas y originales se debería construir un banco de ítems amplio (200 o más inicialmente, para después ir incrementando año tras año). A mayor número de ítems en el banco mayor originalidad presentarán los diferentes enunciados. Por otro lado, después de cada prueba interesa revisar si algún ítem del banco no es adecuado, con el fin mejorarlo o desecharlo. 
	
Es muy conveniente clasificar las preguntas del banco en categorías o temas, de forma que el sistema nos permita seleccionar varias de cada tema. El banco de ítems debería contener una muestra suficiente de cada uno de los temas del dominio evaluado. Por ejemplo, un banco de 200 preguntas clasificadas en 10 temas podría tener aproximadamente 20 ítems por tema. Si se da un título a las preguntas habrá de ponerse cuidado en que el mismo (cuando lo puedan ver los alumnos) no dé ninguna pista acerca de la respuesta correcta. Por ello, si la herramienta de evaluación lo permite, es mejor que no se muestre al estudiante.

Creación de la prueba

Una recomendación clásica de la teoría de realización de test objetivos es que cuantos más ítems posea prueba y cuanto más completamente esté representado el dominio mejor. Para obtener el máximo partido del banco de preguntas la herramienta de evaluación nos tendrá que permitir escoger un subconjunto de ítems de cada uno de los temas o categorías del dominio. WebCT es capaz de seleccionar al azar los ítems del subconjunto de preguntas alternativas (generalmente este subconjunto suele corresponder a un tema). 

Existirán por tanto, en la distribución del examen a los estudiantes, dos tipos de aleatoriedad: una aleatoriedad externa, a nivel del ítem, y una aleatoriedad interna, a nivel de las opciones. Es decir, por la aleatoriedad externa serán seleccionados diferentes ítems de un mismo tema para cada alumno; mientras que por la aleatoriedad interna, las opciones del ítem aparecerán en distinto orden para cada alumno. Esta doble incertidumbre es suficiente para que los estudiantes no puedan copiarse unos de otros siempre y cuando el banco de preguntas de partida sea suficientemente grande, y sea más difícil la memorización de los ítems.

Presentación y duración de la prueba

WebCT ofrece varias opciones de presentación de las preguntas; quizás la más adecuada sea presentarlas todas de una sola vez, una a continuación de otra, en una misma página Web. Esta opción es la más parecida a la realización de la prueba en papel y resulta más familiar a los alumnos.

La duración del examen podrá variar según el número de preguntas, su tipo, su dificultad y su extensión. En general, para preguntas no muy extensas bastaría con un minuto por ítem. 

Configuración de la seguridad de la prueba

La seguridad, entendida ésta como la imposibilidad de que el alumno cometa algún tipo de fraude, depende de dos factores generales: la correcta configuración del examen (definido aquí) y la aplicación de un mínimo control durante la realización (definido más adelante). Se da por supuesto que la plataforma de evaluación permite la realización de la prueba previo proceso de autenticación del alumno.

Algunas de las condiciones relativas a la seguridad que WebCT permite asignar son:
	
•	Limitar la  disponibilidad de la prueba a una fecha y un rango horario. 
	
•	Impedir el envío de respuestas una vez agotado el tiempo de realización del examen.

•	Proporcionar al examen una contraseña de acceso que se dará a conocer en el aula cuando entren los alumnos.

•	Adicionalmente podrán definirse los criterios de visibilidad del examen. El examen podrá estar oculto para los alumnos que no cumplan los criterios de grupo, especialidad, cuatrimestre, etc. (WebCT permite un sólo criterio). 

•	Se definirá una máscara que sólo dé acceso al examen a un rango de direcciones IP (generalmente este rango incluirá a todos los ordenadores del aula, aunque para realizar el ensayo de la prueba se puede hacer más tarde).

•	Especificar que se envíe a nuestro correo electrónico una copia de cada envío de examen, en previsión –poco probable- de que alguna catástrofe suceda a la plataforma central. En nuestro cliente de correo organizaremos los exámenes en una carpeta creada a tal efecto.

Aunque algunas de estas condiciones pueden resultar redundantes, nunca está de más un “extra” de precaución en este sentido.

Ensayo de la prueba

Unos días antes de la realización de la prueba será conveniente probar el examen. Para ello se empleará un alumno ficticio con los mismos parámetros que tienen los estudiantes convocados; se definirá una fecha de disponibilidad temporal, contraseña de acceso y criterios de visibilidad provisionales para que podamos acceder. Posteriormente, entrando en el sistema como el alumno ficticio, se realizará el examen comprobando que el examen se administra correctamente.

Acabada la prueba, y entrando en la plataforma nuevamente como profesor, se modificarán la disponibilidad, la contraseña de acceso y los criterios de visibilidad, dejándolos configurados perfectamente de cara al día del examen. Hay que prestar especial atención a este proceso si no queremos cometer errores que provoquen que el examen se haga público a los alumnos antes del día del examen o por el contrario no les aparezca una vez se presentan en el aula.

Comunicaciones a los estudiantes (distribución de alumnos e instrucciones)

Es obvio, que cuando el grupo es muy numeroso, no habrá un puesto informático para que todos los estudiantes realicen el examen simultáneamente. Esto obliga a segmentar el conjunto de alumnos convocados en grupos. Para ello es necesario disponer de: el listado completo de los estudiantes, la duración máxima del examen para un alumno y el número de ordenadores disponibles.

Se realizará la distribución de alumnos señalando sobre el listado completo varios segmentos con un número de alumnos igual al número de ordenadores disponibles. A cada uno de estos segmentos se les asignarán periodos consecutivos de duración igual a la del examen, pero separados cinco minutos entre sí. Toda esta información se comunicará a los estudiantes con suficiente antelación (en nuestro caso se publica a través de la forma virtual de la asignatura)

Por ejemplo, para un examen de media hora de duración (de 30 ítems aproximadamente), en el que disponemos de 20 ordenadores y 98 alumnos convocados hacemos estas divisiones en el listado:

	Desde 	la A...     hasta  Cebrián	9:00 a 9:30		(20 alumnos)
	Desde Dante 	  hasta  Giménez     	9:35 a 10:05		(20 alumnos)
	Desde Gómez  hasta  Martínez	10:10 a 10:40		(20 alumnos)
	Desde Montero hasta  Sarriá		10:45 a 11:15		(20 alumnos)
	Desde Serna	  hasta   la Z...		11:20 a 11:50		(18 alumnos)

Si en lugar de 20 hubiéramos dispuesto de 35 ordenadores todos los alumnos podrían haber terminado en una hora y 40 minutos.

Aunque ya se debería haber hecho al principio del curso, se explicará a los estudiantes que existe una evaluación objetiva a través del ordenador. Al principio esto producirá una gran expectación e inquietud. Conviene tranquilizarles y ofrecerles una hoja (o publicarla en Web) con instrucciones de realización del examen (forma de acceso al examen, aula de ordenadores, criterio de puntuación, tiempo disponible, etc.). Es muy importante recordar a los alumnos que sin su usuario y contraseña personales no podrán acceder a realizar el examen y que conviene probarlas antes (todo esto no sirve de mucho si el usuario no es capaz de identificarse en el sistema).

PROCESOS DURANTE LA EVALUACIÓN PRESENCIAL “ONLINE”

Seguridad el día de la prueba

Uno de los mayores problemas de seguridad cuando se plantea una prueba con un conjunto numeroso de estudiantes es garantizar la identidad de los presentes. En nuestro caso, existe un control de firmas. Al entrar en el aula de ordenadores el alumno deberá poner su nombre y su firma en una hoja (desde este momento se considera presentado). La presentación del DNI, de momento, no es necesaria.

Este control evita en gran medida que el estudiante tenga la tentación de realizar el examen desde otro ordenador externo. Sin embargo, se pueden tomar precauciones adicionales (WebCT permite abundantes, como hemos mencionado en el apartado “configuración de la seguridad de la prueba”). 

Adicionalmente, cuando los estudiantes entran al aula, se les comunicará la contraseña de acceso que se definió en la configuración de la prueba.

Organización y distribución del alumnado

Los alumnos comenzarán a llegar al aula, firmarán en la hoja de control de firmas, se sentarán cada uno en un puesto de ordenador y se les dirá la contraseña de acceso al examen. A partir de aquí nos limitaremos a resolver las posibles dudas.

Si lo deseamos podemos optar por dejar entrar a los alumnos conforme otros vayan saliendo (esto no supone un problema) o bien, esperar a que acabe el primer turno para dejar entrar al siguiente. Generalmente, dependiendo del examen, varias personas terminan sin agotar el tiempo, otros estudiantes convocados no se presentan, con lo que quedan puestos libres que podrían ser utilizados y quizás terminar antes la prueba.

Recogida de exámenes

Este proceso no existe, puesto que los alumnos los envían al LMS a través de Internet. WebCT -si se ha definido así- enviará además una copia del examen al correo electrónico especificado.

Posibles problemas

Es posible que, bien por azar o bien de forma deliberada, se produzca algún problema técnico durante la realización del examen. WebCT guarda el examen tal y como se dejó cuando se produjo el problema y el alumno puede retomarlo disponiendo del tiempo que tenía. Esto resulta muy adecuado cuando algún ordenador “se cuelga” o el propio estudiante lo reinicia a propósito. 

En casos más graves, e infrecuentes, como que se vaya la luz del centro, o no funcione la conexión a Internet de ningún ordenador, habrá de resolverse la prueba mediante los mecanismos tradicionales. Por tanto, es una buena precaución llevar dos o tres modelos de examen en papel que podrán fotocopiarse si hace falta. Estos modelos pueden ser generados directamente y de forma aleatoria desde la herramienta de evaluación.

PROCESOS POSTERIORES A LA EVALUACIÓN PRESENCIAL “ONLINE”

Calificación

La configuración del examen, en WebCT, permite definir el momento de la calificación y publicación de los resultados. Dado el supuesto de que todas las preguntas son de forma objetiva y por tanto, el ordenador es capaz de resolver las puntuaciones, las calificaciones podrían hacerse públicas inmediatamente, desde el momento en que todos los estudiantes han terminado el examen.

Curiosamente, en una encuesta a mano alzada entre nuestros estudiantes, manifestaron su preferencia de que las calificaciones aparecieran pronto, pero no inmediatamente. Siguiendo su consejo se optó por no seleccionar esta posibilidad y  se dio la orden al sistema un par de días más tarde. En el momento en que se hacen públicas las calificaciones los alumnos pueden consultar su nota en una herramienta de consulta que existe en WebCT con esta misión.

Revisión

La posibilidad de revisión del examen se realizará como es habitual definiendo un periodo de tiempo para los alumnos. La diferencia estriba en que los exámenes se encuentran en formato electrónico. En WebCT, el profesor, con su contraseña de acceso, tiene la capacidad de ver los envíos de exámenes, así como el tiempo que el alumno ha dedicado para hacerlo. Incluso es posible conocer en qué instante se ha respondido o modificado cada una de las opciones contestadas.

Toda esta información puede imprimirse en el momento en que el alumno llega a la revisión. Éste verá cómo ha contestado y en qué instante. Por supuesto, si queremos que nuestro banco de preguntas no se difunda, no deberíamos dejar que los alumnos se lleven consigo su examen.

Estadísticas

Las estadísticas nos permiten realizar un análisis sobre la prueba y sus ítems. No todos los LMS incorporan funciones de evaluación, aunque si lo hacen generalmente proporcionan estadísticas. La herramienta de evaluación de WebCT ofrece detalles sobre la prueba en su conjunto, sus ítems y sus opciones y permite realizar comparaciones. Por ejemplo, la distribución en frecuencias de las opciones señaladas en cada ítem nos permite conocer cuál ha sido la opción más elegida y revisar la adecuación de los distractores.

Otros estadísticos relativos a los ítems, en especial, su poder discriminativo (valor comprendido entre 1 y -1), nos facilita la revisión de aquellos ítems que pueden estar mal confeccionados. Cuanto menor sea el valor de este índice menos poder discriminativo tiene el ítem y, aunque podría estar bien construido, se hace precisa su revisión. (Cortada, 1968; Bergman, 1981:112-114; Kline, 1986:8)

Igualmente es posible realizar comparaciones entre distintos grupos de estudiantes; por ejemplo, entre distintos grupos de clase, cuatrimestres, años, etc. También permite WebCT almacenar las estadísticas de cada pregunta, de forma que se pueda ir creando un histórico de las mismas, con el que a medio plazo, se puedan tomar decisiones de elaboración del examen en base a su dificultad media.

TABLA RESUMEN

Con el fin de sintetizar todas estas fases, la tabla resumen organiza la mayoría de los puntos descritos:

A
N
T
E
S

D
E

L
A

P
R
U
E
B
A	Disponer de un aula de ordenadores conectados a Internet (entre 30 y 50)
Utilizar un LMS que incorpore autenticación y evaluación (como WebCT)
El hecho de que la batería de preguntas presente distintos tipos de ítem no es inconveniente
Las opciones del ítem se presentarán al estudiante aleatoriamente (aleatoriedad interna)
La corrección del azar en las respuestas se realiza mediante una puntuación negativa
Se debería construir un banco de ítems amplio (200 o más inicialmente, para después ir incrementando año tras año)
Es muy conveniente clasificar las preguntas en categorías o temas
seleccionar al azar los ítems del subconjunto de preguntas alternativas del tema (aleatoriedad externa)
Las preguntas se distribuirán todas de una sola vez, una a continuación de otra
Para preguntas no muy extensas bastaría con un minuto por ítem
Utilizar una plataforma de evaluación en la que el usuario requiera autenticación (WebCT p.e.)
Definir la disponibilidad del examen exactamente (fechas y horas)
Impedir enviar respuestas una vez acabada la duración del examen.
Definir una contraseña de acceso al examen (que se comunicará en el aula).
Ensayar la prueba con un alumno ficticio y volver a configurar las opciones.
Definir los criterios de visibilidad del examen de examen sólo para los alumnos que cumplan los criterios de la convocatoria (y no para los que sean de otros grupos, especialidades, cuatrimestres o lo hayan aprobado ya)
Ocultar la herramienta de examen hasta el día de la convocatoria.
Definir el rango de direcciones IP para las que es accesible el examen.
Definir un correo electrónico para que se nos envíe una copia de cada examen.
Unos días antes de la realización de la prueba sería conveniente probar el examen
segmentar el conjunto de alumnos convocados en grupos
ofrecerles una hoja (o publicarla en página Web) con instrucciones de realización del examen 	
E
N	Apuntar y hacer firmar a los alumnos cuando entran al aula de examen.
Comunicar la contraseña de acceso al examen.
Los alumnos se sentarán cada uno en un puesto de ordenador 
Es una buena precaución llevar dos o tres modelos de examen en papel 	
T
R
A
S	Dar la orden de calificar al sistema un par de días más tarde
Imprimir el examen electrónico en el momento en que el alumno llega a la revisión y no dejar que se lo lleven
Verificar los diferentes estadísticos que nos proporciona la plataforma de evaluación, en especial, la distribución en frecuencias de los distractores y el poder discriminativo de los ítems.	

CONCLUSIONES Y FUTURO DE LA EVALUACIÓN POR ORDENADOR

De la experiencia descrita se deduce que no sólo es posible, sino que también adecuada, la evaluación “online” presencial y objetiva a grandes grupos de estudiantes. Mediante esta alternativa se reduce progresivamente el trabajo del profesorado en varias etapas del proceso, especialmente en la de calificación. 

En un momento en que el número de alumnos que escogen la formación a través de entornos virtuales es creciente, la evaluación presencial “online” es una buena forma de garantizar la identidad del examinado. Mientras que en el caso presencial, el desplazamiento no es ningún inconveniente para los alumnos, en el contexto virtual, el alumno se debería desplazar a un aula de examen, siempre y cuando exista este tipo de prueba final.

Respecto a la herramienta, WebCT ofrece gran funcionalidad de evaluación con respecto a sus competidoras. Sin embargo, todavía quedan algunos aspectos a mejorar: por ejemplo automatizar la corrección del azar (mediante la asignación de puntuaciones negativas); permitir seleccionar varios criterios de visibilidad; mejorar el sistema de clasificación de los ítems mediante una categorización multidimensional. Uno de los aspectos que se echa en falta es algún campo relacionado con las taxonomías del conocimiento (p.e. Bloom) que permitiría una categorización de las preguntas escogiendo diversos órdenes del dominio cognoscitivos (conocimiento, comprensión, aplicación, etc.) (Cortada, 1968:85-89,104, refiriéndose a Bloom).

Desde otro punto de vista, muchos autores defienden que la evaluación mediante pruebas objetivas, siempre que se construyan correctamente, equivale en gran medida a lo alcanzable mediante pruebas de ensayo y que ofrece ventajas respecto a ésta.

El hecho de que los exámenes se generen a partir del banco de preguntas mediante un azar controlado (aleatoriedad externa e interna) no es un impedimento. Aunque los alumnos reciban distintos modelos de examen, varios argumentos defienden la idea de una equivalencia entre ellos. Por un lado, el banco de preguntas de partida es el mismo para todos los estudiantes, lo que significa que inicialmente todos cuentan con las mismas posibilidades. Por otro, los ítems son de una dificultad semejante, y aunque así no fuera, las diferencias en su dificultad quedarán compensadas estadísticamente siempre que la prueba tenga un número de ítems aceptablemente elevado.

En conclusión, los profesores participantes en esta experiencia, nos sentimos satisfechos con los resultados, ya que los estudiantes no tuvieron problemas distintos de los de las pruebas tradicionales.  Por eso, aunque nuestra experiencia se refiere a un ámbito restringido, consideramos que nuestra reflexión y análisis puede ser de utilidad para quienes deben realizar procesos de evaluación con grupos numerosos.

BIBLIOGRAFÍA

BERGMAN, J. (1981): Understanding Educational Measurement and Evaluation, Boston, Houghton Miffilin Company.

BLOOM, B.S., ENGLEHART, M.D., FURST, E.J., HILL, W.H. & KRATHWOHL, D.R. (1971): Taxonomy of educational objectives: the classification of educational goals, handbook 1: cognitive domain. Nueva York, David McKay. 16th. print

CÁNOVAS, O, GARCÍA, F. J., GÓMEZ, A. F., MARTÍNEZ, G. (2001): Aplicación de la firma dual para la corrección de exámenes en el entorno Web, boletín Rediris Diciembre 2000-Enero 2001.
http://www.rediris.es/rediris/boletin/54-55/ponencia14.html

CORTADA, N. (1968): Manual para la construcción de test objetivos de rendimiento, Paidós, Buenos Aires.

JONES, J.P. (2000): Promoting Stackeholder Acceptance of CBT. Artículo presentado en Computer Based Testing: Applications for the New Millenium, Association of Test Publishers.
http://www.testpublishers.org/Documents/journal02.pdf

KLINE, P. (1986): A Handbook of Test Construction, Nueva York, Methuen Inc.

MENTRUYT, O.: Acabar con la tragedia de la corrección. 
http://www.monografias.com/trabajos11/test/test.shtml

RODRÍGUEZ, H. M., GARCÍA GONZÁLEZ, E. (1987): Evaluación en el aula, Trillas, México.