Activa JavaScript para disfrutar de los vídeos de la Mediateca.

"EssA" por D.José Luis García Gonzalez

El ajuste de pantalla se aprecia al ver el vídeo en pantalla completa. Elige la presentación que más te guste:

Subido el 13 de agosto de 2008 por EducaMadrid

374 visualizaciones

Ponencia de D.José Luis García Gonzalez: "EssA: Software para valorar textos escritos en inglés por alumando español en sexto de E.P.", que forma parte del Congreso Nacional Internet en el Aula realizado el 26 de junio de 2008 en la sede de Santander.

Más información Transcripción

Descargar la transcripción

en inglés, pero niños españoles. Luego veremos programas, porque la mayor parte de 00:00:00

la investigación sobre este mundo está hecha en los países anglosajones y centrada en 00:00:06

el idioma inglés. Entonces, yo le he querido dar ese enfoque, esa adaptación, aplicado 00:00:13

un poco a lo que estamos enseñando nosotros en España y en la clase de inglés. 00:00:18

Todo esto empezó, precisamente, como eso. Yo trabajaba con los niños historietas, cuentos, 00:00:25

y en un momento dado, una parte de la actividad era hacerlas por escrito. Luego viene la parte 00:00:32

que me toca a mí, revisar esas historias. Es un trabajo bastante laborioso, sobre todo 00:00:39

es decir, voy a buscar determinadas estructuras, determinado vocabulario, quiero ver si lo 00:00:47

están utilizando, si eso aparece en los cuentos. Entonces, yo empecé creando un programa, 00:00:51

que está en el título de la presentación, que se llama ESA, que es el acrónimo en inglés 00:00:58

de English Short Stories Analyzer. En un principio, lo único que hacía era buscar cosas muy 00:01:02

básicas, alguna expresión, alguna estructura y algo de vocabulario. Pero claro, a mí me 00:01:09

quitaba ya toda esa parte del trabajo. Con el tiempo lo fui mejorando un poco y ahora, 00:01:14

por ejemplo, es un proyecto, que va a ser también una futura tesis doctoral, pero que 00:01:22

está abierto también a la comunidad educativa. El programa está colgado en internet y es 00:01:28

accesible libremente a cualquiera. El enlace está en las páginas del Congreso, donde 00:01:32

está la contribución, allí tenéis el enlace. Todo esto empezó en el año 1966. Ellis Page 00:01:39

fue el creador del primer programa, que lo llamó BEC, P-E-G, Project Basic Grade, en 00:01:47

el que él, por una serie de variables, lo que hacía era poner un texto y que el ordenador 00:01:54

de alguna manera lo valorara. Por aquel entonces fue algo pionero y relativamente complejo 00:01:59

y complicado de hacer. Posteriormente se suspendió esa investigación principalmente 00:02:06

porque requiere muchos recursos informáticos. Estamos mezclando estadística, cálculos 00:02:13

complejos. Todo eso hizo que se parara hasta los años finales de los ochenta, principios 00:02:20

de los noventa, que es cuando ya los ordenadores empezaron a ofrecernos posibilidades y potencial 00:02:28

de cálculo matemático. Los colegios anglosajones tienen tradición de hacer una prueba escrita 00:02:34

en muchas circunstancias, es decir, lo que nosotros hacemos aquí en selectividad o 00:02:44

incluso la certificación para los docentes, es decir, en qué lugar o en qué nivel van 00:02:47

a colocar a los alumnos en la universidad, una parte de esas pruebas es un texto escrito. 00:02:53

Entonces, claro, cuando eso lo haces a nivel generalizado te encuentras con miles de textos 00:02:57

y el trabajo es inmenso. Aquí es donde entran los ordenadores, es decir, es un campo que 00:03:02

es abierto, el campo se llama data mining, que es recuperación de la información, y 00:03:07

en esencia lo que consiste es que el ordenador, partiendo de un texto o de un documento escrito, 00:03:13

extraiga determinadas unidades de información que nos permitan clasificarlo o de alguna 00:03:19

manera entenderlo, sin leerlo entero. Como veis, ahí os pongo una serie de posibilidades, 00:03:25

de líneas abiertas de investigación. Se está investigando, por ejemplo, que los 00:03:31

ordenadores hagan índices de palabras, listas de palabras, resúmenes automáticos, es decir, 00:03:35

se le da al ordenador un texto de X páginas, él lo que te hace es un resumen de 5 o 10 00:03:41

líneas. Por ejemplo, traducciones es otra variante, clasificación de textos, que será 00:03:46

lo nuestro, porque evaluar no deja de ser una forma de clasificar un texto, es decir, 00:03:54

lo clasificamos en distintos niveles, ya tenemos la evaluación. Extracción de palabras 00:03:58

clave, que esto es fundamental, es decir, un poco la base de toda esta línea de investigación 00:04:03

son las palabras y, fundamentalmente, las palabras clave. Eso es lo que nos va a permitir 00:04:07

después que el ordenador interprete esa información y la clasifique de alguna manera. La lingüística 00:04:11

computacional es otra rama que ha surgido también a raíz de toda esta tendencia de 00:04:17

la recuperación de la información, y ahora hay muchas investigaciones en relación a 00:04:22

que los ordenadores sean capaces de entender las palabras por su forma y por su función. 00:04:27

Algo que, si pensáis un poquitín, es sumamente complejo, porque el ordenador del significado, 00:04:31

por ejemplo, ahora de momento, tal y como estamos, no lo entiende. En el futuro no lo 00:04:35

sé, pero ahora no lo entiende. ¿Cuál es la base de todo ello? Pues lo que estamos 00:04:40

diciendo, que los ordenadores entiendan lo que es el lenguaje natural, es decir, que 00:04:46

se puedan comunicar como nosotros, que les hablemos, que les escribamos y que sean capaces 00:04:51

de interpretar esa información. Esto es un poco futurista, pero bueno, se va en esa línea 00:04:55

y ya hay pequeños pasos que son muy prometedores. En el caso nuestro, continuando con lo que 00:04:59

os decía, tenéis aquí una captura de la página del programa este que os he comentado 00:05:07

que empezó en el año 1966. Es una captura actual. El programa sigue funcionando. De 00:05:12

hecho, en Estados Unidos sigue siendo utilizado a nivel nacional para valorar pruebas de universidad 00:05:17

e incluso de otro tipo de sectores profesionales. Como veis, es muy sencillito. Lo único que 00:05:25

hace falta es que tenga una zona para escribir, un área para escribir y un botón para decirle 00:05:30

que te valora el texto. Se pueden hacer demostraciones, es decir, se puede ir a la página e introducir 00:05:37

un texto y ver cómo funciona. Lo único que a veces yo no he conseguido porque me dice 00:05:43

que el servidor no funciona. Entonces, pues no lo sé. El programa que os comentaba, lo 00:05:48

tenéis ahí, que es en el que yo estoy trabajando, lo he enfocado al análisis y valoración 00:05:55

de textos narrativos con también, digamos, descripción. ¿Por qué textos narrativos? 00:06:02

Bueno, todos los textos, y como somos de letras o hemos trabajado en literatura, sabemos que 00:06:09

cada género literario tiene sus características. Entonces, no se puede valorar lo mismo un 00:06:16

texto que es poesía, que es prosa, que es una narración, que es una exposición. Cada 00:06:21

texto tiene sus características. Entonces, todo lo que hace este programa está adecuado 00:06:25

a lo que es la narración y algo a la descripción. Los niños tienen que hacer historias o cuentos 00:06:29

que previamente se han trabajado en clase alrededor de unas 100 palabras, que es más 00:06:37

o menos lo que les daría tiempo en una clase. Es decir, ellos se sientan delante del ordenador 00:06:41

y empiezan a componer su historia. La cuestión no es que la preparen previamente o que les 00:06:46

ayuden a prepararla o que se la hagan en casa, sino que ellos se pongan delante del ordenador 00:06:51

y que demuestren que apliquen todos los conocimientos que tienen. 00:06:55

Como veis, se aplica al área de lenguas extranjeras, completamente inglés, está adecuado al currículo 00:07:01

de sexto de primaria, y luego os iré comentando un poco lo que he tenido en cuenta para hacer 00:07:05

el programa, y tiene las unidades de análisis perfectamente delimitadas. Esto es una diferencia 00:07:10

con los otros programas que veremos, que son solísticos, son generales, son globales. 00:07:16

Ellos se les pone un texto y lo valoran globalmente. Lo distribuyen por apartados, pero incluso 00:07:21

consideran el contenido, algo que puede ser todavía un poco pronto para decir que se 00:07:27

está valorando. En el caso nuestro, el programa se centra en lo que es la parte gramatical. 00:07:33

El contenido no lo va a entender, pero sí lo que es la parte gramatical, y las unidades 00:07:38

están perfectamente delimitadas. Estos serían los bloques de contenidos que tenemos oficialmente 00:07:43

que trabajar en el área de lengua extranjera. Son cuatro, escuchar, hablar, conversar, leer, 00:07:49

escribir, conocimiento de la lengua, que es la gramática, y luego los aspectos socioculturales. 00:07:54

El programa entraría en el bloque dos y en el bloque tres, es decir, él valoraría un 00:07:59

poco el aspecto de la escritura y el conocimiento de la lengua. Las unidades de análisis que 00:08:04

considera, pues las tenéis ahí, son las fundamentales. Hay alguna más que no la ha puesto para no 00:08:13

complicar la presentación, pero tiene en cuenta el número de palabras. No es lo mismo 00:08:17

una composición de 50 palabras que una de 120. Las conjunciones coordinadas, verbos 00:08:23

habituales, conjunciones subordinadas, palabras gramaticales específicas. Esto es un poco 00:08:29

un cajón desastre. Son todas esas palabras que vamos en la clase de lengua extranjera, 00:08:34

pero que no ubicamos en ningún sitio. También informa de las repeticiones, la riqueza de 00:08:38

vocabulario, y por último estructuras verbales y gramaticales. Entonces reconocería todas 00:08:46

esas unidades dentro de las estructuras verbales y gramaticales. El programa, pues busca en 00:08:52

el texto, está hecho, por si a alguien le interesa, está hecho con el lenguaje de programación 00:08:58

PHP. Esta parte de la estructura verbal y gramatical está hecho con una funcionalidad 00:09:02

dentro de PHP o de muchos lenguajes que lo incluyen, que se llama Regular Expressions, 00:09:09

expresiones regulares. Es decir, es una herramienta informática que te permite buscar expresiones 00:09:14

que se repiten en un texto. Es muy utilizado, por ejemplo, en los bioinformáticos o en 00:09:20

la biología, por buscar cadenas, secuencias, y yo lo he utilizado aquí para la localización 00:09:25

de estas estructuras. Como veis, utiliza y busca todas las estructuras más importantes 00:09:32

que se dan en el currículo de primaria. Hasta ahí. Si le ponemos un texto preparado para 00:09:38

secundaria, instituto, o digamos, copiado de un periódico, pues el análisis no va 00:09:45

a funcionar, porque solo reconoce hasta sexto, es decir, lo que se da hasta sexto. Entonces, 00:09:50

todos los tiempos verbales, estructuras, vocabulario complejo, que un nativo probablemente domina, 00:09:55

o que podemos ver en un texto, si lo ponemos aquí, pues veremos, diremos, bueno, tendría 00:10:01

que haber sacado un diez, y no se ha sacado un diez. Claro, es que el ordenador ve lo 00:10:05

que se le ha dicho que vea. El resto, pues está muy bien, está ahí, pero él no lo 00:10:09

valora. Entonces, dentro de los tiempos verbales, considera el presente, el pasado y el futuro, 00:10:12

los tiempos continuos, presente y pasado, el futuro inmediato, que es el going to, las 00:10:19

formas contractas, combinaciones verbales de dos palabras, lo veis ahí, es un verbo, 00:10:24

pero con dos palabras, supone una complejidad para el niño, porque él, en realidad, asocia 00:10:30

una palabra en español con una en inglés, dos es una complejidad mayor, verbos seguidos 00:10:35

tanto de infinitivo como de gerundio, que también se ven en primaria, al menos los 00:10:41

básicos, como gustar, tener, etc., y oraciones interrogativas y negativas. Estas serían 00:10:45

las estructuras que busca en el texto y que, posteriormente, él va a valorar. 00:10:52

Tenemos aquí los criterios de evaluación que nos pone el Real Decreto, que se aplica 00:10:58

en educación primaria, y me gustaría comentar unos cuantos de los que habéis subrayado, 00:11:04

porque es importante a la hora de utilizar el programa, es decir, nos dice que se tienen 00:11:09

que trabajar temas conocidos y aplicados en clase previamente, la complejidad tiene 00:11:14

que ser gradual y creciente, a partir de modelos, con ayuda, habla de reproducir, con lo cual 00:11:21

tampoco le estamos diciendo al niño que genere, que cree, que sea la original, pero, en algún 00:11:30

caso, es decir, como las historias han trabajado previamente, las puede reproducir a su manera. 00:11:36

Debo insistir, y siempre a partir de modelos, otro aspecto importante es que empecemos a 00:11:41

trabajar también la circunstancia de que los niños aprendan a valorar sus propios 00:11:48

progresos. El programa tiene una virtud, entre otras, y es que, si se utiliza regularmente, 00:11:54

pues los niños van viendo, de alguna manera, cómo va evolucionando su progreso. Yo, por 00:12:02

la experiencia que tengo ya trabajando con historietas, pues al principio les cuesta 00:12:05

mucho hacer una historieta de 40 palabras, y probablemente no hagan mucho más, pero 00:12:09

a medida que las trabajas en el curso, pues te van superando las 100. Ellos lo verían 00:12:14

gradualmente cómo va avanzando. Y estructuras sencillas, son las que ya hemos visto anteriormente 00:12:19

para primaria. ¿Por qué he repasado estos criterios? Bueno, pues esta es una pantalla 00:12:25

del programa. Si vais a la página web que está en el congreso, vais aquí, veis también 00:12:32

que es un diseño sencillito. En esencia lo que tiene es una zona para escribir, algo 00:12:38

de información debajo y nada más. Cuando el niño escribe el texto, una vez que lo 00:12:42

tiene hecho, que normalmente le lleva media hora, 40 minutos, yo empleo el resto de la 00:12:48

clase, es decir, los 15 o 20 minutos restantes, en que lo revise. Y que lo revise antes de 00:12:52

enviarlo. Primero porque no va a poder volver para atrás. Ya lo pongo yo ahí en inglés. 00:12:58

Es decir, una vez que le das valor al texto no puedes volver a la historia. Y en segundo 00:13:01

lugar porque también es interesante tener un enfoque proactivo. Es decir, no esperar 00:13:05

a que le digan cuáles son los errores, porque el programa no se los va a decir. El programa 00:13:10

solo busca lo que es capaz de hacer. No va a buscar errores, ni le va a decir errores, 00:13:14

ni le va a penalizar errores. Al menos directamente. Si indirectamente, porque claro, si una palabra 00:13:18

la escribe mal y no la reconoce el programa, no se la puede valorar. Pero tampoco le va 00:13:23

a penalizar. Entonces, antes de que lo envíen, que lo revisen. Pueden hacerlo en revisión 00:13:28

entre iguales. Es decir, que se ayuden entre ellos. Pueden utilizar el diccionario, porque 00:13:34

sí es importante que escriban las palabras bien. Si las escriben mal, el programa va 00:13:39

a tener... Bueno, problema no. Simplemente no las va a reconocer. O incluso con cierta 00:13:44

ayuda del docente, del maestro. Es decir, les podemos dar pistas, ayudas. No les vamos 00:13:49

a hacer la composición, pero sí les podemos ayudar. Una vez que la han hecho, dan a valorar 00:13:53

el texto y se encontrarían con esta pantalla, que sería el análisis comentado un poquitín 00:14:00

de lo que ellos han hecho en su texto. Primero les va a decir el número de palabras que 00:14:05

han hecho en su composición. Y en parte también afecta el resultado. Les digo que si el texto 00:14:10

es corto, va a reducir la valoración. Si el texto es más largo, lo va a compensar, 00:14:15

porque puede haber más repeticiones. Pero hay que valorar la longitud. Le va a indicar 00:14:21

también las estructuras verbales y gramaticales. Entonces veis que el código son tres símbolos. 00:14:27

El símbolo más, que significa bien, good. El asterisco, que es fair, que es aceptable. 00:14:31

Y el signo menos, que es poor, pobre. Le va a poner en cada uno de los apartados cómo 00:14:37

está. Para que él vea si está bien, si tiene que trabajarlo, o si está tan flojito 00:14:43

que tiene que volver a intentarlo en otro momento. Posteriormente, más abajo, le pone 00:14:49

la valoración. Y utiliza tres colores. Aparece verde cuando está por encima del 60%. Luego 00:14:55

aparece en amarillo sin nota. Simplemente pone fair, que es aceptable y suficiente. 00:15:03

Y ya por último en rojo le pone poor, pobre. He decidido no poner valoración en porcentaje, 00:15:09

simplemente por motivación. Que vea que es de un color a otro más que de un número 00:15:18

a otro. Porque si no tienen tendencia a decir, bueno, saca un 80, voy a intentar a ver si 00:15:23

saca un 82. Y está bien. Pero a veces no es significativo la diferencia. Porque pueden 00:15:26

ser dos palabras o una estructura. Pero el texto sigue más o menos igual. Esta sería 00:15:32

la pantalla en la que aparece lo que es la valoración. Otros programas, como os decía, 00:15:38

que trabajan en esta línea y que ya están en el mercado, son comerciales, los tenemos 00:15:43

aquí. Son todos programas protegidos por derechos de autor y marcas comerciales. Con 00:15:49

lo cual, si queremos usarlos o queremos conocer algo de ellos, tenemos que pagar la licencia 00:15:55

oportuna. El cuarto de ellos, MyAccess, es el más popular. En el Reino Unido, por ejemplo, 00:16:00

está siendo utilizado en muchos institutos. Otra de las diferencias es que estos programas 00:16:08

están pensados para gente nativa. Y normalmente la edad es superior a diez años. Bastante 00:16:13

superior. Es decir, ya es un mínimo muy mínimo. Mientras que el programa que yo estoy 00:16:19

diseñando está por debajo de los doce años y no es gente nativa. Luego, las diferencias 00:16:23

son considerables. Ya os digo que el cuarto es el más popular. El tercero es el único 00:16:29

libre. Es decir, el que se puede acceder libremente e incluso conseguir el código. Pero, bueno, 00:16:35

yo he intentado... Ahora parece que el servidor está funcionando. En otras ocasiones no ha 00:16:42

funcionado. Y la forma de funcionar, la veremos, es un poco distinta a nuestro objetivo. Nos 00:16:46

vale como una referencia, pero tampoco nos va a resolver el objetivo que perseguimos. 00:16:51

Tenemos aquí una pantalla del primero de ellos, IEA. Veis lo mismo. Es una pequeña 00:16:57

explicación en la zona para escribir y, por último, el botón para enviar la información 00:17:02

y valorar. ¿Cómo valoran estos programas? De la siguiente manera. Si tenéis contacto 00:17:07

con el mundo anglosajón, que no lo dudo, veréis que ellos valoran de una manera distinta 00:17:15

a nosotros. Utilizan porcentajes o letras. Y, aparte de eso, cuando se trata de textos 00:17:20

cualitativos, es decir, que estamos valorando la calidad, como son, por ejemplo, composiciones 00:17:26

escritas, utilizan mucho lo que son las rúbricas. Una rúbrica, en esencia, es una cuadrícula 00:17:29

donde se establece la valoración de 1 al 6, o de 1 al 5, o de 1 al 3, hay posibilidades, 00:17:37

y debajo los criterios. En la medida que cumple la mayoría de los criterios bien conseguidos 00:17:44

en cada uno de esos números, se le asigna ese número. Es decir, el 6 serían todos 00:17:50

los criterios de la izquierda, todos esos apartados, conseguidos en su grado máximo. 00:17:54

Y de ahí va bajando. Entonces, de tal manera que cuando un programa de estos valora un 00:17:58

texto, aquí tenemos otra rúbrica de la Universidad de Minas Sota, es similar, es decir, pone 00:18:04

los criterios a la izquierda y ahora lo valora con números. En vez de ir mirando cuántos 00:18:10

cumple de cada número, tú le vas asignando los números y luego calculas la media de 00:18:15

todos ellos. Tenemos aquí los resultados que proporciona el programa IEA. Veis que 00:18:19

nos pone Overall Score 2 out of 6. Le ha dado una puntuación de 2 sobre 6, con lo 00:18:26

cual está más bien flojo. Y debajo le explica los cuatro apartados que justifican esa valoración. 00:18:32

Esto es un proceso mecanizado que ya el ordenador lo tiene interno y cuando aparece 2, pues 00:18:39

más o menos, sale la explicación. Por último, le pone el texto que se ha escrito para valorar. 00:18:45

Este es el programa Betsy, que es el que os decía que es libre. Lo que hace es clasificar 00:18:52

los textos en tres grupos. Ahí veis T, M, E, A, P, S. Son tres grandes grupos. Escribimos 00:18:59

un texto y en la siguiente pantalla, según un cálculo de probabilidades bastante complejo 00:19:06

y que de hecho requiere muchos recursos en el ordenador, un PC normal y corriente se 00:19:15

ralentizaría, él establece las probabilidades. Veis que va palabra por palabra o las palabras 00:19:19

clave. Les va asignando una probabilidad y eso le permite determinar a cuál de esos 00:19:25

tres grupos pertenece el texto. Si eso lo aplicamos al caso nuestro, decimos que ya 00:19:29

tenemos la valoración del texto. Vamos a ver las conclusiones. Este campo es muy reciente, 00:19:34

es decir, apenas tiene 15 o 20 años, aunque empezó en el año 66 a raíz del aumento 00:19:47

de la potencia de los ordenadores y de la bajada del coste de los mismos, pues ha vuelto 00:19:53

a retomar y empieza a ser investigado con bastante fuerza. Se ha visto que los ordenadores 00:19:59

tienen una mayor fiabilidad en la valoración que los jueces, y por jueces entendemos docentes. 00:20:05

El problema de valorar textos es que si yo mismo valoro ese texto en una segunda circunstancia, 00:20:12

en un segundo momento, puedo darle una valoración distinta antes. Y si lo hace otra persona 00:20:16

todavía le dará otra valoración. ¿Qué sucede? Pues que los ordenadores en eso son 00:20:21

casi perfectos, es decir, más o menos la valoración va a ser siempre la misma. Se 00:20:26

ponga el texto cuando se ponga y se corrija cuando se corrija. Cosa que en el caso de 00:20:29

las personas, pues tenemos ahí el índice de subjetividad. Vemos que la correlación 00:20:33

entre docentes o entre jueces es entre 0,70 y 0,75 sobre 1. Es bastante alta. Es decir, 00:20:39

si corrige un texto dos maestros o tres maestros, la correlación entre ellos va a ser probablemente 00:20:45

0,70 a 0,75, que sobre 1 está muy bien. Pero como veis, la correlación entre los programas 00:20:51

y los jueces es muy superior, llegando incluso casi a la perfección, 97% sobre 100. Lo que 00:20:58

demuestra que la potencialidad de los ordenadores en este campo es mucha, aunque estamos en 00:21:07

el comienzo. Las ventajas que tiene utilizar la informática, en este caso como apoyo nuestro, 00:21:12

es rapidez en la corrección. Si los textos se hacen en Internet, porque los programas 00:21:19

están en Internet, pues se hacen directamente en la sala de informática y al segundo lo 00:21:25

tienen corregido. Cosa que nosotros tendríamos que recoger el papel, llevarlo a casa y unos 00:21:30

días después entregar la nota. Supone también ahorro de costes. En Estados Unidos se hacen 00:21:34

miles de exámenes de este tipo. Necesitan cientos de correctores, de personas que los 00:21:40

valoren. Tienen que contratarlos, pagarlos. Si lo hace una máquina, entonces ahí hay 00:21:45

mucho ahorro de costes. Sí que es cierto que puede haber casos en los que el ordenador 00:21:51

evidentemente no lo va a hacer bien o puede cometer ciertos errores. Entonces tenemos 00:21:56

que plantear la corrección del ordenador como una ayuda nuestra. No nos va a hacer 00:22:00

el trabajo y tampoco se pretende que el ordenador suplante la actividad del docente. La última 00:22:05

palabra la vamos a tener que dar nosotros y al menos el contenido tendremos que valorarlo 00:22:09

nosotros. El aspecto duro que es decir, voy a ver si aparecen ciertas estructuras, cuánto 00:22:14

vocabulario utiliza, qué repeticiones hay, eso nos lo hace el ordenador. Pero ver cómo 00:22:19

se expresa, las ideas que expone y demás, eso lo vamos a tener que hacer nosotros al 00:22:24

menos de momento. Otra ventaja también que tienen es que permiten ser recalibrados. Dependiendo 00:22:28

de la población que estemos evaluando, pues podemos reajustar el programa para que se 00:22:36

adapte a esa población. Entonces puede ser más exigente o menos exigente. Un estudio 00:22:40

piloto que he hecho yo de este programa con 17 alumnos de sexto, encontré las siguientes 00:22:48

datos, es decir, las correlaciones entre el programa y la media de la nota de dos docentes 00:22:54

fue del 0,80. Veis que está en la línea que os decía antes. Cuando esos docentes 00:23:02

corrigieron los textos utilizando una plantilla que les limitaba, digamos, de alguna manera, 00:23:09

antes ponían su nota en función de decir yo me leo el texto y lo valoro pues lo que 00:23:14

considero oportuno. Nosotros no utilizamos mucho las rúbricas, entonces puede haber 00:23:17

más variabilidad. Cuando utilizaron una plantilla que seguía una serie de apartados, que eran 00:23:22

los que tenían que valorar, la correlación subió, lo que quiere decir que las notas 00:23:27

fueron más ajustadas. Entonces la correlación entre las medias de las notas obtenidas con 00:23:31

plantilla y las que daba el programa subió a 0,86, casi 0,87. ¿Cuáles fueron las medias 00:23:36

de las calificaciones? Pues cuando utilizaron el criterio personal de decir, bueno, yo te 00:23:43

doy un texto, tú valóralo, le pones una nota, la media fue 6,03. El programa, la media 00:23:47

de las notas fue 6,54 y cuando corrigieron con la plantilla fue 6,77. Bueno, ha salido 00:23:55

así, veis ya la variabilidad, es decir, la corrección de los docentes. Pues si es según 00:24:03

el criterio que él puede tener de decir, bueno, pues yo como soy docente y ya más 00:24:10

o menos estoy habituado a corregir estos textos, valoro estas cosas, esta es mi puntuación, 00:24:14

pero si tiene que seguir una plantilla que te limita las opciones, tienes que dar otra 00:24:18

valoración, pues veis de 6,03 pasamos a 6,77. El programa se encuentra en medio, lo que 00:24:22

nos indica que en principio pues es más fiable, es decir, no tiene esos saltos, siempre y 00:24:29

cuando el texto sea el mismo va a dar siempre la misma nota. Los docentes dependiendo el 00:24:34

método que utilicen para corregir o el momento o la persona que lo haga puede haber una pequeña 00:24:37

variabilidad en todas las situaciones. Y ya para terminar sí que os quería comentar 00:24:42

que el planteamiento de estos programas y de este en concreto, lo que os decía antes, 00:24:50

es como una ayuda nuestra. Es muy laborioso corregir exámenes, sobre todo textos, redacciones, 00:24:54

ahí es donde entra el programa, donde nos puede ayudar, pero tenemos que verlo como 00:25:02

una herramienta que nos auxilia, que nos va a aportar una información que nosotros tenemos 00:25:06

que complementar. Con esa referencia ya sacaríamos lo que es la valoración final. Ese es el 00:25:11

objetivo de estos programas, aparte de, bueno, pues una de las razones de este Congreso es 00:25:19

integrar las tecnologías de la comunicación en educación, pues aquí estaríamos hablando 00:25:25

de integrar lo que es la informática, el ordenador en la evaluación, pero evaluación 00:25:29

entendida en el plano formativo. Os comentaba yo que se trata de valorar el progreso que 00:25:34

hace el alumno, no decir el último día de curso les voy a mandar una redacción a ver 00:25:40

qué nota sacan. Si no lo han trabajado previamente, pues pueden pasar muchas cosas. Lo bueno es 00:25:44

trabajarlo gradualmente, poco a poco, entonces que ellos vean el progreso y al final sí 00:25:48

que podemos decir, bueno, ahora sí que podemos considerar este texto como una especie de 00:25:54

examen a ver qué es lo que sucede. Eso sería un poco lo que yo intentaba comentaros, presentaros 00:25:59

esta opción que está abriendo la informática, las tecnologías. Espero que os haya dado 00:26:06

una visión general del campo de la valoración de textos automatizada con ordenador. Si tenéis 00:26:10

alguna pregunta, pues aquí estoy y si no, muchas gracias por vuestra atención. 00:26:15

Subtítulos realizados por la comunidad de Amara.org 00:26:40

Valoración:

Eres el primero. Inicia sesión para valorar el vídeo.

Idioma/s:

Autor/es:

D.José Luis García Gonzalez

Subido por:

EducaMadrid

Licencia:

Reconocimiento - No comercial - Sin obra derivada

Visualizaciones:

374

Fecha:

13 de agosto de 2008 - 10:15

Visibilidad:

Público

Enlace Relacionado:

Ministerio de Industria, Turismo y Comercio, a través de la Entidad Pública Empresarial red.es; Ministerio de Educación, Política Social y Deporte; Consejerías de Educación de las Comunidades Autónomas.

Descripción ampliada:

Ponencia de D.José Luis García Gonzalez sobre lenguas extranjeras: "EssA: Software para valorar textos escritos en inglés por alumando español en sexto de E.P.", que forma parte del Congreso Nacional Internet en el Aula realizado el 26 de junio de 2008 en la sede de Santander dentro del Congreso Nacional Internet en el Aula (Importancia de las TIC en las Aulas).

Duración: