Ventana de contexto
La ventana de contexto es la cantidad máxima de texto —medida en tokens— que un modelo puede considerar a la vez, incluyendo el prompt de sistema, la conversación hasta el momento, los resultados de las herramientas y la respuesta que está generando.
Todo lo que el modelo «ve» en un turno determinado tiene que caber en la ventana de contexto. En un agente esto se llena rápido: el prompt de sistema, cada mensaje del usuario y cada resultado de herramienta se acumulan turno tras turno. Cuando la ventana se agota, el contenido más antiguo o menos relevante debe descartarse o resumirse, o el modelo simplemente no puede asimilarlo. Gestionar la ventana —qué conservar, compactar o recuperar bajo demanda— es uno de los problemas de ingeniería centrales al construir agentes.
Puntos clave
- Se mide en tokens (aproximadamente ¾ de una palabra en inglés); limita la entrada y la salida combinadas.
- En un agente la consumen el prompt de sistema, la conversación en curso y los resultados de las herramientas.
- Cuando se llena, el contexto debe compactarse, resumirse o recuperarse bajo demanda; véase la generación aumentada por recuperación.
- Una ventana más grande ayuda, pero no es gratis: más tokens significan mayor coste, mayor latencia y el riesgo de que el modelo pierda el foco.
Apréndelo construyendo
Way of the Agent enseña ingeniería de agentes de IA nivel a nivel — conceptos como este y luego práctica, XP y las AI Chronicles.
Empieza gratis →