Разборы · Статья: · Видео: · 31:30
Почему GPT-5.5 тратит в разы меньше токенов: рассуждения, кэш и «язык грога»
Разбор Theo про эффективность моделей: почему главная метрика ИИ — не цена за токен, а объём рассуждений; как токены «мыслей» экспоненциально раздувают расход и почему рублёный стиль рассуждений OpenAI стал секретным ровом против конкурентов.
Смотреть на YouTube Why is OpenAI so much more efficient?
Theo - t3.gg · 31:30
Главы видео — нажми, чтобы перейти к моменту 9
- 0:00 Эффективность, а не ум Спорить об уме моделей можно бесконечно, но по расходу токенов GPT-5.5 вне конкуренции: 20K против 50K у Opus 4.8 и 270K у Gemini на Deep SWE.
- 1:10 Реклама BrowserBase Спонсорская интеграция про браузер для агентов; для сути можно пропустить.
- 3:46 Два типа токенов Вход и выход, а точнее четыре: кэшированный и некэшированный вход, токены рассуждений и токены ответа.
- 4:40 Вся история становится входом Пример «добавь тёмную тему»: результаты инструментов и прошлые ответы каждый раз заново скармливаются модели как вход.
- 7:05 Компакция и кэширование Два способа удешевить историю: сжать её в резюме или закэшировать состояние модели (у GPT-5.5 кэш дешевле входа в 10 раз).
- 8:52 Токены рассуждений Модель «говорит сама с собой» перед ответом. Идея из эпохи o1 резко подняла качество, но взорвала расход токенов.
- 12:49 Лаборатории прячут рассуждения Наружу отдают только резюме трейса, не сырые мысли — чтобы конкуренты не скопировали методологию.
- 18:37 «Язык грога»: как OpenAI экономит Grug-стиль «зачем много слов, если мало слов дело делают». Утёкшие трейсы вроде «Try. Try period.» показывают телеграфное рублёное мышление.
- 24:13 Побочные эффекты: Claude и контекст Почему Claude приятнее в общении, почему у него 1M контекста по умолчанию и почему у OpenAI 200K, но вмещает больше.
Коротко
GPT-5.5 решает те же задачи в разы меньшим числом токенов, чем Gemini, Claude или GLM, и главный рычаг тут не цена за токен, а объём «рассуждений» модели. Секрет OpenAI — заставить модель думать телеграфным «языком грога», который никто не видит, но который экспоненциально сокращает общий расход токенов.
Выжимка голосом
Самое ценное из разбора — за пару минут
Показать текст выжимки Скрыть текст выжимки
Озвучено синтезом речи · голос alena
Объясни проще
Суть без жаргона
Простыми словами
Модель платит токенами не только за сам ответ, но и за «мысли вслух» перед ответом. Эти мысли складываются в историю, которую модель перечитывает на каждом следующем шаге, поэтому лишние рассуждения раздувают счёт как снежный ком. OpenAI научилась думать очень коротко и рублено, и поэтому её модели делают ту же работу заметно дешевле, даже когда цена за один токен у них выше.
Как ребёнку
Представь, что ты решаешь задачу и обязан вслух проговаривать каждую мысль, а потом ещё и переслушивать всё сказанное перед каждым новым шагом. Кто болтает много, тот тратит кучу времени на переслушивание. GPT-5.5 научилась думать очень коротко, почти как в телеграмме, поэтому успевает больше и устаёт меньше.
Аналогия — «это как…»
Это как счётчик такси, который тикает не только за поездку, но и за все раздумья водителя на светофорах, и потом ещё раз за то, что он вспоминает эти раздумья на каждом повороте. OpenAI просто научила водителя думать молча и коротко.
Зачем это мне
Если ты платишь за API, выбираешь модель под агента или считаешь юнит-экономику ИИ-продукта, то сравнивать модели по цене за токен — ошибка. Реальные деньги решает, сколько токенов модель сожжёт на задачу, а это определяется невидимыми токенами рассуждений, а не прайс-листом.
Для тех, кто в теме
Ключевой тезис: reasoning-токены доминируют в стоимости, и из-за реингеста истории на каждом шаге их сокращение даёт не линейную, а экспоненциальную экономию. OpenAI, судя по утёкшим трейсам, развела поведение модели в рассуждении (рублёный «грог») и в ответе, оптимизируя первое под минимум токенов. Так как лаборатории отдают только резюме трейсов, методология эффективности становится непроверяемым рвом: GLM-52, Qwen и другие вынуждены заново изобретать формат рассуждения по входам и ответам.
Оценка видео
Чем выше — тем больше пользы на минуту
средняя из 5
Свежие модели лета 2026 — GPT-5.5, Opus 4.8, Fable, GLM-52 — и живая тема токен-экономики агентов.
Плотный технический разбор от входа/выхода токенов до утёкших трейсов, почти без воды за вычетом рекламы.
Необычный ракурс: эффективность рассуждений как отдельная ось конкуренции и «язык грога» как дизайн-решение.
Отлично объясняет механику, но это скорее модель мышления, чем пошаговая инструкция по оптимизации.
Много честных «hot takes» и гипотез, которые сам автор признаёт непроверяемыми — сырые трейсы закрыты.
Кому будет полезно
Чем выше оценка — тем больше пользы для профессии. Разверни — почему.
Для ML-инженеров и исследователей LLM 4.7 /5
Прямое попадание: разбор объясняет, почему reasoning-эффективность стала главным рычагом стоимости и качества и почему её нельзя скопировать по резюме трейсов.
Для инженеров ИИ-агентов и промпт-инженеров 4.5 /5
Помогает понять, где в агентном цикле утекают токены (реингест истории, длинные рассуждения) и почему кэш и компакция важнее коротких промптов.
Для разработчиков на ИИ-ассистентах 4.1 /5
Объясняет, почему Codex и Claude Code ведут себя по-разному с контекстом и почему выбор модели меняет и цену, и стиль ответа.
Для технических руководителей и продактов 4 /5
Даёт правильный критерий выбора модели: стоимость на единицу интеллекта, а не цена за токен из прайс-листа.
Для аналитиков юнит-экономики ИИ-продуктов 3.6 /5
Показывает, что счёт за API определяют невидимые токены рассуждений, поэтому наивная модель «объём × цена за токен» врёт.
Для технических блогеров и обозревателей 3.4 /5
Хороший образец, как объяснять токен-экономику на пальцах, но многое подано как личное мнение, а не проверенный факт.
Инсайты
Нажми, чтобы раскрыть — то, что меняет взгляд на тему
01 Дорого не то, что модель отвечает, а то, что она думает 8:52
Ответ вроде названия трюка — это 5–10 токенов, но рассуждение перед ним может быть тысячами токенов. Именно рассуждения, а не финальный текст, съедают бюджет.
02 Сокращение рассуждений экономит не линейно, а экспоненциально 16:08
Трейс рассуждения попадает в историю и реингестится на каждом следующем шаге. Поэтому каждый лишний токен мысли оплачивается многократно, и урезание рассуждений бьёт по расходу сильнее всего.
03 Цена за токен — ложный ориентир 17:40
GPT-5.5 стоит дороже за токен, чем 5.4 ($5/$30 против $2.50/$15), но за фиксированный уровень интеллекта выходит дешевле, потому что тратит вдвое меньше токенов. Сравнивать надо стоимость на задачу.
04 Эффективность рассуждений — конкурентный ров, а не просто оптимизация 27:47
Лаборатории отдают только резюме трейса. Конкурент видит входы, резюме и ответы, но не саму методологию мышления, поэтому не может воспроизвести эффективность, а вынужден изобретать свой формат рассуждения.
05 Многословность Claude — не баг, а часть бизнес-модели 24:31
Если бы Anthropic сжала рассуждения, за ту же работу генерировалось бы меньше токенов — и меньше выручки. У лабораторий, которые сами не хостят чужой инференс, слабее стимул делать модель дешевле для других.
Ключевые цитаты
Сильные фразы из видео — нажми тайм-код, чтобы услышать в оригинале
«OpenAI на Deep SWE набирает заметно больше на 20 тысячах токенов, чем лучшие модели Gemini на 270 тысячах.»
«Вход — это буквально всё, что было до этого. Вся история идёт в модель.»
«Лучшее, что ты можешь сделать, — уменьшить, сколько идёт размышлений.»
«Сокращение числа токенов в рассуждении — это экспоненциальное уменьшение общего расхода токенов.»
«Зачем много слов, если мало слов дело делают?»
«Это глупо, но это работает.»
«Ты видишь входы, видишь резюме и видишь ответы.»
«Я думаю, отчасти поэтому с Claude приятнее общаться: когда он говорит сам с собой, он, вероятно, говорит на нормальном английском.»
Полезные советы
Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать
1 Сравнивай модели по стоимости на задачу, а не за токен
15 минут перестанешь переплачивать, выбирая модель по красивому прайс-листу
Сравнивай модели по стоимости на задачу, а не за токен
Более дорогая за токен модель может быть дешевле в работе, если тратит кратно меньше токенов рассуждений на тот же результат. Цена за миллион токенов ничего не говорит без числа токенов на задачу.
Что делать
- 1 Возьми свою типовую задачу (не синтетический бенч).
- 2 Замерь суммарные токены (вход + рассуждение + ответ) у каждой модели.
- 3 Умножь на цену и сравни итог за задачу, а не за токен.
2 Включай глубокое рассуждение только там, где оно окупается
10 минут экономишь токены и время на задачах, где reasoning не нужен
Включай глубокое рассуждение только там, где оно окупается
Для простых задач (форматирование, извлечение, короткая генерация) режим рассуждения жжёт тысячи лишних токенов ради ответа в несколько слов. Держи низкий reasoning по умолчанию и поднимай точечно.
Что делать
- 1 Раздели задачи на «думательные» и «механические».
- 2 Для механических ставь reasoning minimal/off или инстант-режим.
- 3 Поднимай уровень рассуждения только когда падает качество.
3 Держи стабильный префикс промпта ради кэша
30 минут входные токены дешевеют до 10 раз
Держи стабильный префикс промпта ради кэша
Кэшированный вход у GPT-5.5 стоит $0.50 вместо $5 за миллион. Кэш работает по совпадающему префиксу, поэтому системный промпт и стабильный контекст должны идти в начале и не меняться от запроса к запросу.
Что делать
- 1 Вынеси системный промпт и статический контекст в самое начало.
- 2 Не переставляй и не редактируй эту часть между вызовами.
- 3 Динамику (запрос пользователя) добавляй в конец, а не в середину.
4 Компактируй длинную историю вовремя
10 минут история перестаёт реингеститься тысячами токенов на каждом шаге
Компактируй длинную историю вовремя
Компакция прогоняет историю через модель один раз и заменяет её коротким резюме. Да, теряются детали, но иначе каждый следующий шаг оплачивает весь прошлый диалог заново.
5 Не включай миллион токенов контекста без нужды
5 минут модель реже «съезжает с рельсов» на длинном контексте
Не включай миллион токенов контекста без нужды
По версии Theo, огромный контекст, забитый рублёными рассуждениями, мешает модели удерживать главное. Большой контекст нужен под реально большие данные, а не как режим по умолчанию.
6 Смотри в бенчмарках на токены за задачу, а не только на score
10 минут увидишь реальную стоимость интеллекта, а не только его уровень
Смотри в бенчмарках на токены за задачу, а не только на score
Deep SWE и artificial analysis публикуют не только точность, но и средние токены на задачу. GLM-52 при близком качестве тратит ~42K токенов против ~5K у GPT-5.5 medium — это десятикратная разница в цене.
7 Отлаживай логику на open-weight моделях с видимым трейсом
вечер увидишь, как модель реально рассуждает, а не её причёсанное резюме
Отлаживай логику на open-weight моделях с видимым трейсом
Проприетарные модели показывают лишь резюме мыслей. Open-weight (GLM, Qwen) отдают сырой трейс, на нём удобно понять, почему модель пошла не туда и как меняется стиль рассуждения между версиями.
Сценарии применения
Как разные люди применяют это на практике
Я как ML-инженер
Проблема: бюджет на инференс растёт, а выбор модели опирается на прайс за токен
Хочу: понять, что на самом деле определяет стоимость задачи
Поможет: разбор показывает, что решают токены рассуждений и реингест истории, а не цена за токен
Я как Инженер ИИ-агентов
Проблема: агент на длинных цепочках инструментов внезапно дорожает в разы
Хочу: найти, где утекают токены в цикле
Поможет: статья объясняет, что вся история и результаты инструментов реингестятся, и как это гасят кэш и компакция
Я как Основатель ИИ-стартапа
Проблема: юнит-экономика не сходится, счёт за API непредсказуем
Хочу: выбрать модель с лучшей стоимостью на результат
Поможет: даёт критерий «стоимость на единицу интеллекта» и предупреждает про ловушку прайс-листа
Я как Разработчик на подписке Codex/Claude Code
Проблема: не понимает, почему инструменты по-разному ведут себя с контекстом
Хочу: осознанно выбирать режим и модель
Поможет: объясняет, почему у Claude 1M контекст и длинные ответы, а Codex экономит и не даёт 1M по умолчанию
Я как Технический писатель
Проблема: сложно объяснить читателям, почему «дороже за токен» бывает «дешевле в работе»
Хочу: простые точные образы
Поможет: берёт готовые аналогии: счётчик такси за раздумья, экспонента реингеста, язык грога
Я как Аналитик ИИ-рынка
Проблема: непонятно, почему лаборатории с разной ценой держатся на плаву
Хочу: связать техрешения с бизнес-стимулами
Поможет: показывает, что скрытые трейсы и многословность — это ров и источник выручки, а не только инженерия
Логика повествования
Как устроена аргументация видео — пройди по шагам
-
Предпосылка По уму спорят, по эффективности — нет 0:00
На Deep SWE GPT-5.5 берёт 20K токенов там, где Opus нужно 50K, а Gemini — 270K при вдвое меньшем счёте.
-
Аргумент Вся история реингестится на каждом шаге 4:40
Прошлые ответы и результаты инструментов каждый раз заново подаются как вход, поэтому токены множатся.
-
Аргумент Основная масса токенов — рассуждения 8:52
Модель думает вслух перед ответом; эти мысли на порядки объёмнее самого ответа.
-
Аргумент Сокращение рассуждений даёт экспоненту 16:08
Меньше мыслей → меньше генерации и меньше реингеста на каждом последующем шаге.
-
Пример Лаборатории прячут сырые трейсы 12:49
Наружу идёт только резюме — чтобы конкуренты не скопировали методологию эффективности.
-
Пример OpenAI сжала мышление до «языка грога» 21:23
Утёкшие трейсы вроде «Try. Try period.» — телеграфный рублёный стиль, оптимизированный под минимум токенов.
-
Вывод Отсюда цена, характер Claude и размер контекста 24:13
Эффективность объясняет и низкую стоимость на интеллект у GPT-5.5, и многословность Claude, и его 1M контекста.
Подробный разбор
Полный разбор — разверни, если нужно глубже
Развернуть подробный разбор Свернуть подробный разбор
Стоит ли смотреть целиком
Да, если тебе интересно, как на самом деле устроена экономика больших моделей изнутри. Theo делает редкую вещь: берёт скучную строчку из бенчмарка («20K токенов против 270K») и разворачивает её в связную механику — от четырёх типов токенов и реингеста истории до утёкших трейсов рассуждений. Это один из его технических «deep dive», и он держит темп: почти всё по делу, кроме рекламной вставки в начале.
Главная ценность выпуска — не конкретные цифры (их автор сам подаёт «на глаз»), а модель мышления. После просмотра ты перестаёшь смотреть на прайс-лист «цена за миллион токенов» и начинаешь думать в терминах «сколько токенов рассуждений модель сожжёт на мою задачу и сколько раз она их переингестит». Это меняет и выбор модели, и то, как ты строишь агента.
Что здесь спорно
Стоит держать в голове, что значительная часть выпуска — это аргументированные догадки, а не факты. Тезисы про намеренный «язык грога», про то, что Anthropic сознательно не сокращает токены ради выручки, и про то, что модели OpenAI «быстрее съезжают с рельсов» на длинном контексте, автор сам маркирует как гипотезы и hot takes. Механика токенов, кэша и реингеста — твёрдая; выводы о мотивах лабораторий — интерпретация. Полезно принять первое как знание, а второе как рабочую версию.
План внедрения
С чего начать — отмечай шаги, прогресс сохранится
Выполнено 0 из 5
Проверь себя
Ответь на вопросы, чтобы материал закрепился
-
1. Почему GPT-5.5 может быть дешевле «за интеллект», хотя цена за токен у неё выросла?
-
2. Что такое токены рассуждений (reasoning-токены)?
-
3. Почему сокращение рассуждений экономит токены экспоненциально, а не линейно?
-
4. Зачем лаборатории показывают только резюме рассуждений, а не сырой трейс?
-
5. Что Theo называет «языком грога» (grug speak)?
-
6. Почему, по версии Theo, у Claude контекст 1M по умолчанию, а у OpenAI около 200K?
Словарь терминов
Понять незнакомое простым языком
Показать 9 терминов Свернуть словарь
- Токен
- Кусочек текста, на которые модель режет любой ввод и вывод, чтобы их обрабатывать. Оплата и лимиты считаются именно в токенах.
- Входные и выходные токены
- Вход — всё, что подаётся модели (промпт, код, результаты инструментов). Выход — всё, что она генерирует: рассуждения и сам ответ.
- Кэшированные токены
- Сохранённое состояние модели по уже виденному префиксу: не надо пересчитывать заново, поэтому такой вход стоит в разы дешевле.
- Токены рассуждений
- «Мысли вслух», которые модель тратит на себя перед ответом, чтобы улучшить его. Обычно намного объёмнее финального текста.
- Компакция
- Сжатие длинной истории диалога в короткое резюме, чтобы не переингестить тысячи токенов на каждом шаге. Ценой части деталей.
- Трейс рассуждения
- Полная запись внутренних мыслей модели. Лаборатории обычно показывают лишь его резюме, а не сырой текст.
- Язык грога (grug speak)
- Ироничное название предельно короткого, рублёного стиля мышления: «зачем много слов, если мало слов дело делают».
- RL (обучение с подкреплением)
- Метод дообучения, которым модель «натаскивают» рассуждать так, чтобы получались хорошие и дешёвые ответы. Порождает новые стили мышления.
- Open-weight модель
- Модель с открытыми весами (GLM, Qwen): её можно запустить у себя и увидеть сырой трейс рассуждения, а не только резюме.
Критический взгляд
Объективно: с какими тезисами можно поспорить и что преувеличено
«Язык грога» как намеренный дизайн OpenAI — это гипотеза, а не доказанный факт
Theo сам оговаривается, что «Try. Try period.» может быть побочным эффектом обучения, а не спроектированным приёмом. Утёкшие трейсы — это отдельные мемы из твиттера, а не систематическая выборка.
«Anthropic специально не оптимизирует токены ради выручки» — одностороннее объяснение
Многословные рассуждения могут быть следствием техвыбора (архитектура, приоритет качества, стиль RL), а не сознательного удержания выручки. Мотив «им невыгодно» подан как основной без прямых доказательств.
«Модели OpenAI быстрее съезжают с рельсов на длинном контексте» — не проверено
Theo прямо говорит, что сам не тестировал поведение 1M-контекста в Codex и просил команду проверить. Это интуиция, а не измерение.
Вывод об эффективности опирается в основном на пару бенчмарков
Deep SWE и artificial analysis — это конкретные наборы задач. На других профилях нагрузки (длинный контекст, агентные цепочки, редкие домены) картина токен-эффективности может смещаться.
Числа по цене и токенам приведены по памяти и «на глаз»
Часть цифр (200K контекст, «10–20 минут» до очистки трейсов, средние токены на задачу) даны как приблизительные ориентиры. Для решений их стоит перепроверить по прайсингу и докам.
Взгляни иначе
Новый угол, смежные области и потенциал на стыке — пища для размышлений
Эффективность рассуждений — новая ось конкуренции
Гонка смещается от «чья модель умнее» и «у кого больше параметров» к «кто думает дешевле за тот же интеллект». Токены-на-задачу могут стать главной метрикой выбора, важнее абсолютного score.
Сжатие мыслей — это теория информации в действии
Терсный «грог» — по сути энтропийное кодирование мышления: убрать всё, что не несёт сигнала для следующего шага. Тот же принцип, что в сжатии данных, только применённый к цепочке рассуждений.
Скрытые трейсы — как закрытый рецепт в фарме и кулинарии
Продукт (ответ) виден всем, но процесс его получения запатентован де-факто через секретность. Это переносит конкуренцию из «кто повторит результат» в «кто изобретёт свой путь к нему».
Интересы лаборатории и пользователя расходятся
Если выручка растёт с числом сожжённых токенов, у провайдера, который сам не хостит чужой инференс, слабее стимул делать модель экономной. Эффективность становится не только инженерным, но и рыночным выбором.
RL изобретает новые «языки мышления»
Как профессиональный сленг сжимает общение экспертов, обучение с подкреплением вырабатывает у моделей всё более плотные форматы рассуждения. Мы наблюдаем эволюцию машинного «внутреннего языка» почти в прямом эфире на open-weight моделях.
Похожие разборы
GLM-5.2: открытая coding-модель сильна, когда ей дают исправляться
GLM-5.2 выглядит не как модель для одного идеального скриншота, а как сильный открытый агент, который умеет планировать, проверять код и чинить заметные поломки. Главный вывод ролика: для coding-моделей важнее цикл «сделал → запустил → исправил», чем первая красивая генерация.
Читать → РазборGPT 5.6 объяснён: три тира моделей, скорость 750 токенов и тиски геополитики
Ролик рисует сценарий, где OpenAI выпускает три тира GPT 5.6 (Soul, Terra, Luna) под разные задачи и цены, а главным оружием становится не сама модель, а скорость инференса на американском железе. Вывод тревожный: рынок зажат между дешёвыми китайскими open-моделями и регуляторными стенами США, и вопрос в том, не станут ли самые умные токены привилегией избранных.
Читать → РазборПочему нейросети любят Markdown: как хранить документы, чтобы ИИ их понимал
Нейросеть никогда не видит ваш файл так, как вы: она читает голый текст со всей технической обёрткой, а каждый лишний символ съедает токены и место в разговоре. Markdown убирает обёртку и оказывается для ИИ родным языком, поэтому документы, заметки и даже схемы удобнее держать именно в нём.
Читать → РазборHeadroom: как перестать переплачивать за токены ИИ-агентов — слой сжатия контекста простыми словами
Большая часть токенов в Claude Code и Codex уходит не на ваши промпты, а на «мусор» — целиком вычитанные логи, JSON и страницы, из которых нужно 10–20%. Headroom — это локальный прокси, который умно сжимает этот мусор разными компрессорами и при этом обратим: если модель захочет оригинал, она вернёт его одним tool-call.
Читать →