Headroom: как перестать переплачивать за токены ИИ-агентов — слой сжатия контекста простыми словами

Доклад короткий по меркам конференции — около 41 минуты, — но за это время Теджас Чопра, senior-инженер Netflix, очень внятно объясняет, куда на самом деле утекают деньги при работе с ИИ-агентами и как их вернуть. Не «выберите модель подешевле» и не «пишите промпты покороче», а инженерный слой, который встаёт между вашим агентом и моделью и выбрасывает из контекста мусор. Проект называется Headroom, он открыт (Apache 2.0), за 4 месяца собрал тысячи звёзд на GitHub и десятки контрибьюторов.

Главная мысль — токены утекают не туда, где вы их ищете

Почти все инструменты сжатия токенов годами оптимизировали пользовательский промпт: переписывали «цветистые» формулировки в семантически близкие, покороче. Чопра на собственной боли с Claude Code показывает, что это мимо цели. 90% рабочего процесса кодинг-агента — это вообще не ваш промпт. Это целиком вычитанные лог-файлы, JSON-ответы баз данных, веб-страницы и статьи. Оттуда реально нужно 10–20%, а в контекст летит всё подряд.

Хрестоматийный пример из доклада: у автора подскочила загрузка CPU и упал ноутбук, он попросил агента «найди в логах, где это случилось». Агент честно вызвал инструмент чтения логов — и затащил весь лог-файл целиком в контекстное окно, хотя 90% его — шум. То же самое с базой: запрос возвращает JSON с десятком записей, а ответ пользователя зависит от одной-двух.

Почему провайдерская «компакция» — не решение

У провайдеров уже есть свои механизмы, но они грубые. Когда контекст переполняется, Claude или OpenAI суммируют историю в плоский markdown — это сильная и необратимая потеря структуры.

Второй механизм — prefix caching. Из-за устройства KV-кэша на каждый запрос в модель уходит вся предыдущая переписка заново (непрерывный нарастающий массив сообщений). Провайдеры дают скидку: если вы повторно прислали уже виденный префикс, он стоит лишь ~10%. Но кэш капризен: стоит измениться одному символу внутри окна (например, дате или UUID в системном промпте) — и весь огромный массив становится cache-miss, оплачиваемым по полной.

Отдельная ловушка — у Claude prefix-кэш по умолчанию живёт 5 минут, и его легко «съесть»: если Claude форкает sub-agent под задачу, у того свой кэш, и пока он вернётся, ваше окно уже истекло. Есть скрытая опция на 1-часовой TTL, но за неё платишь удвоенной ценой записи ради 90% экономии на чтениях — выгода зависит от того, насколько прерывистые у вас сессии.

Как устроен Headroom

Это локальный прокси между агентом и моделью, который ставится одной командой (pip install "headroom-ai[all]" или npm install headroom-ai) и не выпускает данные за пределы вашей машины. Работает в три стадии:

1. Cache aligner — находит динамические поля (дата, UUID) в системном промпте и инструментах и двигает их в конец, чтобы большая часть окна продолжала попадать в prefix-кэш. Для Anthropic он автоматически проставляет теги cache_control (90% скидка).
2. Content router — смотрит на тип данных и выбирает подходящий компрессор. Универсальный «один на всё» у автора не сработал, поэтому здесь набор специализированных: AST-компрессор для кода, smart crusher для JSON (83–95% экономии в лучшем случае), DOM-компрессор для веб-страниц и compress-base — encoder-only модель, которая не суммирует, а лишь взвешивает каждый токен и решает «оставить или убрать». Её дообучили на трейсах кодинг-агентов, в отличие от LLM Lingua от Microsoft, обученной на конспектах встреч.
3. CCR (compress-cache-retrieve) — хранит оригиналы локально (Redis + SQLite, TTL) и обеспечивает обратимость.

Обратимость — ключевое отличие. В сжатый payload вшит ID и инструкция: «не хватает данных — позови инструмент headroom_retrieve». Так можно сжимать агрессивно, не боясь потерять важное: если модели понадобится оригинал, она достанет его через MCP-вызов. На практике, по словам автора, это происходит лишь примерно в 1% случаев — остальное модели и так хватает.

Подключить можно четырьмя способами: вызовом compress в пайплайнах LangChain/Agno, обёрткой headroom wrap claude (или codex / copilot / aider), через MCP-сервер и как OpenAI-совместимый прокси. Локальный дашборд экономии — на localhost:8787.

Что это даёт и куда движется

Типичная экономия у пользователей — 20–30% токенов (зависит от того, сколько tool-вызовов в сессии). Суммарно на момент доклада Headroom сэкономил 200 млрд токенов ≈ $700K — но это по opt-in телеметрии, то есть нижняя граница и смещённая выборка.

Важнее, что сжатие — не только про деньги. Меньше контекста — меньше задержка (критично для голосовых агентов, где «человеческий» порог отклика — 200 мс) и выше точность, ведь с ростом окна точность моделей заметно падает. Headroom работает и вне кодинга: финансовый отчёт 10-K на 190 страниц сжался на 34% без потери ответа, видео с завода — с $3 до $0.2 за загрузку (image-вариант режет видео на куски).

Дальше автор смотрит в сторону доменных компрессоров (у финансов, медицины, кода — разная структура данных) и проекта Headlight — провенанса каждого токена: что и откуда попало в контекст. Любопытный тезис: наблюдаемость скоро будут потреблять не люди, а сами агенты, поэтому телеметрию надо делать токен-эффективной для машин, а не рисовать дашборды для инженеров.

Где у доклада слабые места

Стоит держать в голове честные оговорки, часть которых признаёт сам автор. Громкие 50–90% — это потолок на идеальных данных, а не типичная экономия; reversibility он сам называет «маркетинговым термином» (модель должна догадаться сделать retrieve, а TTL короткий); по eval и дрейфу моделей «хорошей истории пока нет». Половина ценности (нюансы TTL и тегов кэша) завязана на текущие причуды биллинга провайдеров, которые меняются на лету. И самый большой стратегический риск — что Anthropic или OpenAI встроят умную компакцию нативно; страховкой тут служит именно нейтральность независимого слоя. Подробнее — в блоках «Критический взгляд» и «Взгляни иначе» ниже.