Контекстное окно
Контекстное окно — это максимальный объём текста (измеряемый в токенах), который модель может учитывать за один раз: сюда входят системный промпт, весь диалог, результаты инструментов и генерируемый ответ.
Всё, что модель «видит» на данном шаге, должно поместиться в контекстное окно. У агента оно заполняется быстро: системный промпт, каждое сообщение пользователя и каждый результат инструмента накапливаются ход за ходом. Когда окно исчерпано, самое старое или наименее релевантное содержимое приходится отбрасывать либо суммировать — иначе модель просто не сможет его воспринять. Управление окном — что оставить, что сжать, а что подгружать по требованию — одна из центральных инженерных задач при создании агентов.
Ключевые тезисы
- Измеряется в токенах (в английском токен — примерно ¾ слова); ограничивает вход и выход в сумме.
- В агенте окно расходуется на системный промпт, текущий диалог и результаты инструментов.
- Когда оно заполняется, контекст нужно сжимать, суммировать или подгружать по требованию — см. генерацию с дополненной выборкой (RAG).
- Более крупное окно помогает, но не бесплатно: больше токенов означает выше стоимость, задержку и риск того, что модель потеряет фокус.
Освой на практике
Way of the Agent обучает инженерии ИИ-агентов уровень за уровнем — сначала такие концепты, потом практика, XP и Хроники ИИ.
Начать бесплатно →