Se llama alucinacion a la respuesta de un modelo de IA que suena segura y coherente pero es incorrecta o inventada: un dato falso, una cita que no existe, una funcion que el producto no tiene. No es un fallo raro, es una consecuencia de como funcionan los modelos: optimizan por plausibilidad, no por veracidad. Por eso, en cualquier aplicacion seria, reducir y detectar alucinaciones es parte del trabajo, no un detalle.
¿Por que alucinan los modelos?
Porque generan texto prediciendo la continuacion mas probable, no consultando una fuente de verdad. Si no tienen el dato, en vez de decir 'no lo se' tienden a rellenar con algo que encaja. Cuanto mas se alejan de lo que vieron en su entrenamiento, mas probable es que inventen.
¿Como se reducen las alucinaciones?
Con varias tacticas combinadas: dar al modelo los datos reales mediante RAG para que no responda de memoria, pedirle que cite sus fuentes y verificar esas citas, acotar lo que puede responder y disenar el prompt para que admita cuando no sabe. En Evidencia, nuestro buscador clinico, lo llevamos al extremo: solo afirma lo que puede respaldar con un articulo real, y una capa comprueba que la cita corresponda a un articulo que existe antes de mostrarla. Reducen mucho el problema, aunque ninguna lo elimina del todo.
- Evidencia.mx — nuestro buscador clinico responde solo con literatura cientifica real y verifica cada cita antes de mostrarla, para no alucinar. (VanguardIA, caso Evidencia)