El pasado septiembre, OpenAI publicó un artículo de investigación.

Los autores del artículo fueron Adam Tauman Kalai, Edwin Zhang y Ofir Nachum de OpenAI, más Santosh Vempala de Georgia Tech.
Establecieron un marco matemático cuyo descubrimiento central es esta desigualdad:
Tasa de error en generación ≥ 2 × Tasa de error en juicio
Supongamos que una IA tiene un 1% de probabilidad de cometer un error al juzgar "¿cuánto es 1+1?". Entonces, al generar una respuesta, la probabilidad de error es de al menos 2%.
¿Por qué se amplifica? Porque un juicio erróneo genera múltiples generaciones erróneas. Por ejemplo, si la IA juzga que 1+1=3, comete dos errores simultáneamente: dice que 1+1=3 es correcto, y dice que 1+1=2 es incorrecto. Un error de juicio genera al menos dos errores de generación.
Si respondes "no lo sé", obtienes 0 puntos. Si adivinas al azar, incluso con solo un 10% de probabilidad de acertar, la puntuación esperada es 0.1 puntos. ¿La elección racional? Adivinar. Por lo tanto, la IA no "aprendió a mentir". La IA es obligada a adivinar por el sistema de entrenamiento.
He estado haciendo automatización con IA durante más de medio año. Todo mi sistema de contenido —desde la extracción de datos hasta la redacción y la selección de imágenes— lo ejecuta la IA.
¿Cambió mi comprensión este artículo de investigación? Honestamente, mi comprensión central no cambió.
Siempre he sabido que la IA comete errores, y mi sistema incluye validación humana en cada etapa. Pero una cosa se hizo más clara: la alucinación no es un bug, es una feature.
Entonces, el enfoque correcto no es esperar a que la IA sea perfecta, sino asumir en el flujo de trabajo que la IA ciertamente cometerá errores, y luego diseñar mecanismos de contingencia.
Mi enfoque:
1. Todos los datos generados por IA deben tener un enlace de origen que permita verificación cruzada
2. Los números específicos en el contenido escrito deben ser confirmados manualmente antes de publicar
3. No dejar que la IA haga "juicios", solo hacer "organizaciones" —el juicio es mi responsabilidad