Qué es la inyección de prompts (prompt injection) y cómo te afecta

La inyección de prompts (prompt injection) ocurre, según OWASP, cuando las instrucciones que recibe un modelo de lenguaje alteran su comportamiento o su respuesta de formas no previstas. Es el riesgo número uno de su lista de vulnerabilidades de aplicaciones con modelos de lenguaje, y afecta a cualquier chatbot o asistente que lea texto que no controlas.

Dos tipos

OWASP distingue:

• Inyección directa: la propia persona que escribe en el chat altera el comportamiento del modelo, ya sea a propósito o sin querer.
• Inyección indirecta: el modelo recibe contenido de fuentes externas, como una web o un archivo, y ese contenido incluye instrucciones que cambian su comportamiento. Esas instrucciones pueden no ser visibles para una persona, siempre que el modelo las lea.

También hay un riesgo creciente con modelos que procesan imágenes y texto: se pueden ocultar instrucciones en una imagen que acompaña a un texto inofensivo.

Un ejemplo sencillo

OWASP describe un caso: un usuario pide a un asistente que resuma una página web que contiene instrucciones ocultas. El modelo las sigue e inserta una imagen cuyo enlace envía a un tercero la conversación privada. Tú solo pediste un resumen.

Jailbreak e inyección

Son conceptos relacionados y a menudo se usan como sinónimos. El jailbreaking es una forma de inyección de prompts en la que el atacante consigue que el modelo ignore por completo sus protocolos de seguridad.

Qué puede salir mal

Según OWASP, entre las consecuencias posibles están revelar información sensible, manipular las respuestas para que sean incorrectas o sesgadas, dar acceso no autorizado a funciones del modelo, ejecutar órdenes en sistemas conectados o manipular decisiones importantes.

No se elimina del todo

OWASP advierte de que técnicas como RAG (dar al modelo documentos propios) y el ajuste fino buscan respuestas más precisas, pero no mitigan del todo la inyección de prompts. Y por la naturaleza estocástica de los modelos, no está claro que exista un método infalible de prevención.

Medidas que recomienda OWASP

Para reducir el impacto:

1. Limitar el comportamiento del modelo: definir su papel y sus límites en las instrucciones del sistema.
2. Definir y validar el formato de salida con código determinista.
3. Filtrar entradas y salidas que contengan contenido no permitido.
4. Dar el mínimo privilegio: que el modelo solo pueda hacer lo imprescindible, y que las funciones sensibles las gestione el código, no el modelo.
5. Pedir aprobación humana para acciones de alto riesgo.
6. Separar e identificar el contenido externo para limitar su influencia.
7. Hacer pruebas de ataque periódicas, tratando al modelo como un usuario no fiable.

Qué puedes hacer tú

• No pidas a un asistente que actúe sobre contenido en el que no confías sin revisar el resultado.
• Desconfía de respuestas que de repente piden datos, enlaces o acciones que no encajan con lo que pediste.
• Mira cómo usar un chatbot sin compartir datos, y si montas aplicaciones, lee qué son los agentes de IA y IA con tus documentos (RAG).