Tokens y ventana de contexto: los límites de un chatbot

Los modelos de lenguaje que hay detrás de los chatbots no trabajan con palabras ni con letras, sino con tokens. Y no pueden «tener en cuenta» una cantidad ilimitada de texto: tienen una ventana de contexto. Entender ambos conceptos explica muchos comportamientos que parecen raros.

Qué es un token

Un token es un trozo de texto: puede ser una palabra corta entera, parte de una palabra larga, un signo de puntuación o un espacio. Antes de que el modelo procese tu mensaje, lo divide en tokens.

Como referencia aproximada, en inglés un token equivale a unas tres cuartas partes de una palabra. En español suele hacer falta algo más: las palabras largas, con tildes y conjugaciones, se parten en más trozos, de modo que el mismo contenido consume más tokens que en inglés. El número exacto depende de cada modelo y de su tokenizador.

Qué es la ventana de contexto

Es la cantidad máxima de tokens que el modelo puede considerar de una vez. Incluye todo: tus instrucciones, los mensajes anteriores de la conversación, los documentos que adjuntes y la respuesta que está escribiendo.

Podríamos compararla con una mesa de trabajo: solo se ve lo que cabe sobre ella. Cuando se llena, lo más antiguo deja de estar disponible. Por eso, en conversaciones muy largas, el asistente puede «olvidar» algo que dijiste al principio, o contradecirse.

Los tamaños han ido creciendo: hoy hay modelos con ventanas de decenas o cientos de miles de tokens (e incluso más), pero cada servicio fija sus límites, que cambian con frecuencia. Consulta los vigentes en la documentación del servicio que uses.

Pega un texto aquí para hacerte una idea de cuántos tokens ocupa y qué parte de la ventana de contexto de un modelo consumiría.

Consecuencias prácticas

• Conversaciones largas pierden precisión. Con mucho texto acumulado, el modelo atiende peor a los detalles. Si ves que se despista, empieza una conversación nueva con un resumen.
• Documentos grandes pueden no caber. Si adjuntas un PDF enorme, puede que se trunque o que solo se lea una parte.
• Las respuestas tienen su propio tope. Un límite de salida corta las respuestas largas; pide que continúe.
• La API se factura por tokens. Cada token de entrada y de salida cuesta; lo cuenta la guía de primeros pasos con APIs de IA.

Cómo aprovechar mejor el contexto

1. Sé concreto y directo: las instrucciones claras (escribir buenos prompts) ahorran tokens y errores.
2. Resume cuando la conversación se alarga y pega el resumen en una nueva.
3. Pon lo importante al principio y al final; los modelos suelen atender mejor a esas partes que al centro de un texto muy largo.
4. Pega solo el fragmento relevante de un documento, no todo.
5. Verifica siempre: tener mucho contexto no evita las alucinaciones.

Memoria no es contexto

Algunos servicios guardan «recuerdos» entre conversaciones. Eso es una función añadida: el servicio guarda notas y las incluye en el contexto de las siguientes charlas. El modelo en sí no aprende de tu conversación. Más sobre el funcionamiento en cómo funciona un LLM.