IA para Diseñadores Instruccionales

Rúbricas y evaluaciones con IA que miden lo que se aprendió (no lo que se adivina)

Cómo crear evaluaciones y rúbricas con IA que no se aprueben adivinando: señales del ítem adivinable, distractores con hipótesis y rúbricas por conducta.

23 de octubre de 2026 · 12 min de lectura · 4 prompts para copiar

Marcela está a cargo de formación en una empresa de servicios financieros con 900 ejecutivos de caja. El curso obligatorio de cuatro horas sobre prevención de fraude en atención presencial ya está producido, y el objetivo del módulo crítico está bien escrito y validado con el área de riesgo: detectar una cédula alterada y aplicar el protocolo de verificación en menos de dos minutos, sin alertar al cliente. Falta la evaluación final: veinte ítems, nota de corte 70. La IA los escribe en noventa segundos, y en el piloto con treinta ejecutivos aprueba el 97 % a la primera, con promedio 18,4 de 20. En el reporte del LMS se ve espectacular.

Marcela hizo una prueba que casi nadie hace: le dio el mismo examen a diez personas de otra área que no habían hecho el curso. Aprobaron nueve. Catorce de los veinte ítems se podían responder sin haber entrado al curso: la alternativa correcta era la más larga, la única matizada y la única que mencionaba «verificar». El examen medía lectura de enunciados. Y, como iba a decir un analista de riesgo tres meses después, «ninguna de estas veinte preguntas es lo que le pasa a un cajero».

Crear evaluaciones y rúbricas con IA es rápido. Crear las que miden algo requiere saber qué le pides y qué revisas. Este artículo trae las señales del ítem adivinable, el método para que los distractores sean reales y las rúbricas midan conducta, y cuatro prompts para hacerlo.

Aprobar no es aprender: las cuatro señales del ítem adivinable

Un ítem de alternativas se puede contestar sin saber cuando tiene alguna de estas cuatro señales:

La correcta es la más larga. Quien redacta se cuida más al escribir la correcta y le agrega condiciones.
La correcta es la única con matices («generalmente», «salvo que», «según el caso»). Las falsas suelen ser absolutas.
La correcta repite el verbo o una palabra del enunciado.
Hay un distractor absurdo que nadie elegiría, y el ítem queda de tres opciones en vez de cuatro.

La IA produce ítems con las cuatro señales si no se lo prohíbes, porque aprendió de evaluaciones que las tienen. Y la prueba definitiva es barata: pásale la evaluación a tres personas que no hicieron el curso, diez minutos. Si aprueban, la evaluación mide habilidad para rendir pruebas, no lo que enseñaste.

Distractores con hipótesis y escenarios con consecuencia

Un distractor bueno no es «una respuesta falsa». Es un error de razonamiento declarado: lo que contesta el novato que no sabe, el atajo del veterano que funciona casi siempre y nadie corrige, la respuesta de quien usa la fuente equivocada (el dato del sistema por sobre el documento físico, el protocolo antiguo), y la de quien evita el conflicto con el cliente. Cuando le pides a la IA los distractores con su hipótesis escrita, dejan de ser relleno y pasan a ser diagnóstico: si un distractor pasa del 20 % de las respuestas, tienes un problema de contenido con nombre y apellido.

Y el ítem debería ser un escenario con consecuencia, no una pregunta de dato. «¿Cuál es el nombre del formulario de reporte?» es dato. «La cédula tiene el laminado levantado en una esquina, la firma no calza y el cliente apura. ¿Qué haces primero?» es lo que le pasa a un cajero. Una evaluación de veinte ítems de dato puede dar 97 % de aprobación y cero capacidad de detectar una cédula alterada.

Rúbricas por conducta observable

Con las rúbricas pasa algo parecido: la IA escribe niveles con adverbios de calidad («aplica adecuadamente el protocolo», «comunica claramente») que dos correctores aplican distinto. «Aplica el protocolo adecuadamente» no describe ningún nivel: disfraza un juicio de criterio. Un nivel se describe por lo que se ve, con la conducta que lo separa del nivel de al lado y con el número cuando hay número: «hizo los dos pasos de verificación», o «hizo uno».

La prueba de una rúbrica es la prueba de acuerdo: cinco respuestas reales y dos correctores que no hablaron entre sí. Si ponen notas distintas con la rúbrica en la mano, la rúbrica no está terminada: el criterio tiene un adverbio escondido. Se reescribe antes de corregir a novecientas personas, no después.

Y para una evaluación que ya existe, una auditoría de veinte minutos: cuenta cuántos ítems son de dato y cuántos de decisión, marca los que tienen alguna de las cuatro señales y, si tienes los resultados del piloto, mira el porcentaje de cada distractor: el que casi nadie eligió no está funcionando como distractor, y el que pasa del 20 % te está diciendo que hay un problema de contenido con nombre y apellido.

Los 4 prompts para copiar

Los huecos van entre <<< >>>: reemplázalos con lo tuyo antes de enviar. Funcionan en cualquier asistente de IA conversacional.

Prompt 1

Ítems situacionales con auditoría incluida

Para crear la evaluación desde el objetivo. Devuelve escenarios con consecuencia y, para cada ítem, la auditoría de las cuatro señales hecha por la propia IA.

Actúas como diseñador de evaluaciones para formación en empresas. Vas a escribir ítems que midan una DECISIÓN en el trabajo, no un dato.

Objetivo del curso: <<<EJ: detectar una cédula alterada y aplicar el protocolo en menos de dos minutos sin alertar al cliente>>>.
Quién rinde: <<<CARGO Y CONDICIONES, ej: ejecutivos de caja, con fila y presión de tiempo>>>.
Contenido: <<<PEGA EL PROTOCOLO O EL MATERIAL>>>.

Escribe <<<N>>> ítems. Cada uno:
1. Un escenario de 2 a 4 líneas con datos concretos (hora, fila, qué dice el cliente, qué ves) y una consecuencia en juego.
2. Una pregunta de decisión («¿qué haces primero?», «¿qué le dices?»), no de definición.
3. Cuatro alternativas del mismo largo (±15 %), sin matices solo en la correcta, sin repetir palabras del enunciado en la correcta, sin ninguna opción absurda.

Después de cada ítem, una línea de auditoría: largo de cada alternativa en palabras, en qué posición quedó la correcta y si alguna de las cuatro señales de adivinabilidad (más larga, única con matices, repite el verbo, distractor absurdo) se te escapó. Si se te escapó, corrige el ítem ahí mismo.

Al final: la distribución de posiciones de la correcta (tiene que ser pareja) y qué ítems no pudiste hacer situacionales porque el contenido es puro dato.

Prompt 2

Distractores con hipótesis de error

Para mejorar ítems que ya tienes. Devuelve cada distractor con el error de razonamiento que representa, para que el ítem diagnostique y no solo califique.

Estos son mis ítems: <<<PEGA LOS ÍTEMS CON SUS ALTERNATIVAS>>>.
Quién rinde: <<<CARGO>>>. Errores que se cometen de verdad en el trabajo, si los tengo: <<<LISTA, O «no tengo»>>>.

Para cada ítem, reescribe los tres distractores para que cada uno represente UN error de razonamiento distinto, elegido entre:
- NOVATO: lo que contesta quien no sabe y aplica sentido común.
- ATAJO DEL VETERANO: lo que hace quien tiene años y le ha funcionado casi siempre.
- FUENTE EQUIVOCADA: lo que dice el protocolo antiguo, el jefe o la costumbre del local.
- EVITAR EL CONFLICTO: lo que se hace para no incomodar al cliente.

Entrega una tabla: Ítem | Distractor | Hipótesis de error | Qué me dice del curso si muchos lo eligen.

Reglas: ningún distractor puede ser obviamente falso. Los cuatro tienen que tener el mismo largo. Si para algún ítem no puedes escribir tres distractores con hipótesis real, dímelo: probablemente es un ítem de dato y hay que convertirlo en escenario o sacarlo.

Prompt 3

Rúbrica por conducta observable

Para evaluar respuestas abiertas, simulaciones o desempeño. Devuelve niveles sin adverbios de calidad y cinco respuestas de prueba para la prueba de acuerdo.

Necesito una rúbrica para evaluar <<<QUÉ, ej: la respuesta a un caso escrito de cédula sospechosa>>> en <<<CARGO>>>.
Objetivo que se evalúa: <<<OBJETIVO>>>.
Criterios que me importan: <<<EJ: detección, aplicación del protocolo, trato al cliente, tiempo>>>.

Escribe la rúbrica con <<<N>>> niveles por criterio. Cada nivel se describe SOLO con conductas observables: qué hizo, qué dijo, qué omitió, en cuánto tiempo. Prohibidos los adverbios y adjetivos de calidad: adecuadamente, correctamente, claramente, de forma completa, suficiente, apropiado. Si necesitas uno, reemplázalo por la conducta que lo demuestra.

Después de la rúbrica:
1. Marca los criterios donde dos correctores podrían no coincidir y por qué.
2. Escribe CINCO respuestas de prueba, inventadas, que caigan en distintos niveles y al menos dos que queden en el límite entre dos niveles. Son para que dos correctores las califiquen por separado antes de usar la rúbrica de verdad.

No asignes puntajes todavía: primero quiero que los criterios pasen la prueba de acuerdo.

Prompt 4

Auditar una evaluación que ya existe

Para una evaluación que ya se aplicó o está por aplicarse. Devuelve el diagnóstico en veinte minutos: qué mide, qué se adivina y qué corregir primero.

Audita esta evaluación: <<<PEGA LOS ÍTEMS, ALTERNATIVAS Y CLAVE>>>.
Objetivo del curso: <<<OBJETIVO>>>.
Resultados del piloto, si los tengo: <<<% APROBACIÓN, PROMEDIO, Y SI PUEDO, % QUE ELIGIÓ CADA ALTERNATIVA POR ÍTEM>>>.

1. Clasifica cada ítem: DATO (se contesta recordando) o DECISIÓN (se contesta eligiendo qué hacer en una situación). Dame el conteo.
2. Para cada ítem, marca cuál de las cuatro señales de adivinabilidad tiene, si tiene alguna: correcta más larga, única con matices, repite el verbo del enunciado, distractor absurdo. Dame el conteo de ítems adivinables.
3. Si te di los porcentajes por alternativa: qué distractores eligió menos del 20 %. Esos no están funcionando; propón con qué reemplazarlos.
4. Compara los ítems con el objetivo: ¿cuántos miden lo que el objetivo dice? ¿Qué parte del objetivo no tiene ningún ítem?
5. Orden de corrección: qué tres ítems arreglar primero y por qué.

Sé directo. Si la evaluación aprueba a quien no hizo el curso, dímelo con esas palabras.

Ejemplo: los veinte ítems de Marcela, auditados y rehechos

Marcela empezó por el prompt 4, con los veinte ítems y el reporte del piloto. El diagnóstico: los ítems estaban bien escritos, sin errores y bien repartidos por los contenidos del curso (la definición de suplantación, los cinco elementos de seguridad del documento, el nombre del formulario de reporte, el plazo para elevarlo), y catorce de los veinte se podían responder sin haber hecho el curso: la correcta era la más larga, la única matizada y la única que mencionaba «verificar». Ninguno ponía al ejecutivo frente a un cliente con una cédula en la mano, que es lo que el objetivo pedía. La prueba con diez personas de otra área lo confirmó: nueve aprobaron sin haber abierto el curso. El 97 % nunca fue un resultado de aprendizaje.

Con el prompt 1 pidió ítems situacionales desde el objetivo: el enunciado describe lo que el ejecutivo tiene delante y pregunta qué hace. Volvieron ocho: la cédula con el laminado levantado en una esquina, el cliente que apura, la firma que no calza. Cada distractor con su error declarado: «confía en el dato del sistema por sobre el documento físico», «evita el conflicto con el cliente». Y al final, una advertencia que nadie pide: «en tres de los ocho, la alternativa correcta es la única que menciona verificar. Eso los hace adivinables sin saber el contenido».

Marcela les dio esos tres ítems a tres personas del área que no habían hecho el curso, con las alternativas a la vista y nada más. Acertaron dos de los tres, y una explicó su método en una frase: «la que suena más prudente siempre es la buena». Reescribió los tres hasta que las cuatro alternativas sonaban igual de prudentes y se diferenciaban en qué se verifica primero. Pedirle a la IA que quitara la pista habría dado ítems mejores, pero sin comprobación: la misma IA que escribió la pista es la que diría que la quitó. Cuesta diez minutos preguntarle a tres personas, y es la diferencia entre creer que el ítem mide y saberlo.

El examen nuevo llegó tarde al calendario, pero llegó distinguiendo a quien podía detectar una cédula alterada de quien sabía leer enunciados. Y cuando el área de riesgo preguntó, tres meses después, cómo sabían que la capacitación había funcionado, Marcela tenía dos cosas que casi nadie tiene: qué mide su examen y cómo lo comprobó.

Preguntas frecuentes

¿Si uso IA para crear la evaluación, no van a ser todas parecidas?

Lo son si le pides «veinte preguntas sobre este contenido». Dejan de serlo cuando le das el objetivo con su condición (tiempo, presión, cliente al frente), los errores reales y las reglas contra las cuatro señales. El prompt 1 obliga a la IA a escribir escenarios y a auditarse; la variedad sale de los escenarios, no de la IA.

¿Cuántos ítems de decisión debería tener una evaluación?

Depende del objetivo. Si el objetivo es una conducta en el trabajo, como detectar y aplicar un protocolo, la mayoría deberían ser escenarios. Los ítems de dato tienen sentido cuando el dato es lo que se evalúa (un plazo legal, un monto). La auditoría del prompt 4 te da el conteo para decidir.

¿La prueba con personas que no hicieron el curso es necesaria?

Es la prueba más barata y más honesta que existe: tres personas, diez minutos. Si aprueban, la evaluación tiene un problema que ningún análisis de ítems te va a mostrar tan claro. Marcela la hizo con diez personas de otra área y aprobaron nueve; esa cifra fue lo que justificó llegar tarde al calendario con un examen que distingue.

¿Sirve esto para evaluaciones escolares o universitarias?

Las cuatro señales, los distractores con hipótesis y las rúbricas por conducta aplican igual en una prueba de 8° básico o en un examen universitario. Cambia el escenario: en vez de un cajero con fila, un problema con datos del contexto del estudiante. Lo que no cambia es que una prueba que aprueba quien no estudió no está midiendo lo que enseñaste.

De dónde sale este método

Diseña evaluaciones que midan lo que se aprendió

Este artículo resume el método del curso. El curso trae el caso completo en video, la cápsula interactiva para practicar la decisión, la guía de una página y las versiones completas de los prompts, con las reglas y los chequeos que acá quedaron fuera por espacio.

IA para Diseñadores Instruccionales · Módulo 2 de 3 · Nivel Intermedio · ~1 hora, a tu ritmo

Ver el curso

El curso se compra una vez y el acceso no vence. Si prefieres ver todo el catálogo antes, está acá.