В чём главный тезис доклада «Stop Making Models Bigger, Make Them Behave»?

Иногда нужную производительность даёт не увеличение модели, а правильные данные, приложенные к правильно сформулированной задаче. Верно: спикер прямо оговаривает, что «bigger» в заголовке — это панчлайн, а не призыв отказаться от крупных моделей. Суть в том, что зачастую большой выигрыш приносят правильно подобранные данные под правильно поставленную задачу, а не автоматический апгрейд на модель побольше.

Почему для этой задачи (tool use в финансовом анализе) выбрали именно RL, а не другой способ дообучения?

Задача про изменение поведения модели, а RL лучше подходит для поведения, чем для изменения ядра знаний. Верно: ключевая интуиция спикера — проблема была в поведении (дисциплина в использовании инструментов), а не в нехватке знаний. RL хорош именно для смены поведения, тогда как «изменение ядра данных и знаний» — это про другое.

Что конкретно сделала большая модель Qwen3 на 235 млрд параметров, провалив вопрос о росте выручки YouTube Ads год к году?

Сделала запрос к несуществующей таблице, не осмотрев окружение, и в итоге сгаллюцинировала ответ. Верно: модель не инспектировала окружение и доступные инструменты — «вслепую» запросила несуществующую таблицу, ничего не получила, попробовала снова, опять промах, и в итоге выдала галлюцинацию. Сильное рассуждение не помогло, потому что узким местом был навык работы с инструментами.

Что научилась делать дообученная модель на 4 млрд параметров, чего не делала большая модель, хотя инструменты были доступны обеим?

Сначала обнаруживала таблицы (get table names) и схему, а при ошибке в запросе сама себя исправляла. Верно: маленькая модель сперва вызывала инструмент, чтобы узнать имена таблиц, затем смотрела схему, а наткнувшись на ошибку (запросила несуществующую колонку), наблюдала ошибку и сама корректировалась. Именно дисциплина использования инструментов и самокоррекция — ключ к успеху. Тот же инструмент был и у большой модели, она просто не стала его вызывать.

Какой неожиданный результат дал ablation-эксперимент с разными режимами обучения, и что он подтвердил про природу проблемы?

Лучший прирост дало обучение только на одно-табличных вопросах, и улучшение перенеслось даже на более сложный мульти-табличный бенчмарк. Верно: вопреки ожиданиям, наибольший прирост дал самый простой режим — обучение только на одно-табличных вопросах. При этом улучшение обобщилось на трудный бенчмарк FinQA reasoning с мульти-табличными запросами (рост с 13.9% до 26.6%). Это подтверждает главную мысль: узким местом было не рассуждение, а навык работы с инструментами.

Разборы · Статья: 14 июня 2026 г. · Видео: 10 июня 2026 г. · ~21 мин

Маленькую LLM можно «надрессировать» через RL: дисциплина в работе с инструментами важнее размера модели

Name: Stop Making Models Bigger, Make Them Behave — Kobie Crawford
Uploaded: 2026-06-10T00:00:00.000Z
Description: Кейс Snorkel: 4B-модель после RL-дообучения (GRPO, ~$500, 21 час) обошла 235B на задачах tool use для финансового анализа. Почему узкое место — не «мышление», а поведение, и как это чинит RL на качественных данных.

Кейс Snorkel: 4B-модель после RL-дообучения (GRPO, ~$500, 21 час) обошла 235B на задачах tool use для финансового анализа. Почему узкое место — не «мышление», а поведение, и как это чинит RL на качественных данных.

ИИ Программирование

Смотреть на YouTube

Stop Making Models Bigger, Make Them Behave — Kobie Crawford

Snorkel AI · Kobie Crawford · ~21 мин

Коротко

Snorkel показал кейс, где 4B-модель после RL-дообучения (GRPO, ~$500, 21 час) обошла 235B на задачах tool use для финансового анализа. Главный вывод: проблема была не в слабом «мышлении», а в неумении пользоваться инструментами — и именно это чинит RL на качественных данных, а не апгрейд на модель побольше.

Оценка видео

Чем выше — тем больше пользы на минуту

3.8

средняя из 5

Актуальность информации 5.0

GRPO, RL-environments (OpenENV, Prime Intellect), tool use — горячая повестка конца 2025/2026; данные свежие.

Содержательность 3.0

Есть конкретные цифры (4B vs 235B, $500, 13.9→26.6%, ablation), но много корпоративного самопиара Snorkel и повторов про «experts in the loop».

Инновационность идей 3.0

Тезис «дешёвый RL вместо большой модели» не нов, но инсайт «узкое место — tool use, а не reasoning» и результат ablation (single-table лучше curriculum) ценны.

Применимость на практике 4.0

Дан воспроизводимый рецепт: окружение опубликовано, цифры стоимости реальны; но без своего качественного датасета результат не повторить, а его создание — главная (платная) часть.

Инсайты

Нажми, чтобы раскрыть — то, что меняет взгляд на тему

01 Бóльшая модель — это кувалда по ореху («эффект Теренса Тао»)

Гениальность во всей математике не нужна финансовому аналитику, которому надо сделать SQL-запрос и сложить два числа. Сильное рассуждение не помогает там, где нужна дисциплина действий, — поэтому рост размера не гарантирует рост нужной метрики.

02 Узкое место часто не «ум», а поведение

Контринтуитивно: модель проваливалась не потому, что не умела думать, а потому что не пользовалась уже доступными ей инструментами и не исправляла свои ошибки. Диагноз «модель глупая» уводит от настоящей причины.

03 Починка одного ядрового сбоя генерализуется

Обучив модель только базовому навыку (использование инструментов на одной таблице), команда получила удвоение точности и на сложном мульти-табличном наборе. Правильно выбранное «узкое» поведение тянет вверх и смежные задачи.

04 Маленькая модель под контролем часто лучше большой для продакшена

Дело не только в точности: маленькая модель дешевле, быстрее, её можно держать on-premise — что критично для финансов/медицины с контролем данных. «POC на большой модели» и «продакшен» — это разные оптимизации.

Полезные советы

Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать

Прежде чем брать модель побольше, найди конкретный сбойный паттерн поведения

Прогони текущую модель на реальных задачах и разбери трассы: в кейсе из видео большая модель (235B) проваливалась не из-за слабого рассуждения, а потому что не вызывала инструмент «узнать список таблиц» и галлюцинировала ответ. Чини именно это поведение, а не «общий интеллект».

Для смены поведения (а не знаний) применяй RL/дообучение, а не апгрейд модели

Если проблема в дисциплине использования инструментов (модель не инспектирует среду, не исправляет свои ошибки), дообучай маленькую модель через RL (в кейсе — GRPO на 4B). Один прогон занял 21 час и стоил менее $500 — это доступно, а не «дорогой ресёрч».

Делай датасет с экспертом в петле и обязательной верификацией задач

Привлекай людей с реальной экспертизой в домене (PhD/индустрия), а каждую задачу проверяй на то, что она исполнима и имеет проверяемый эталонный ответ — иначе модели не на чем учиться.

Проверь, что простой обучающий режим не сильнее сложного — через ablation

Не считай по умолчанию, что curriculum learning или «более сложные примеры» лучше. В кейсе обучение только на одно-табличных вопросах дало больший прирост, чем смесь и чем постепенное усложнение — и при этом улучшило даже сложный мульти-табличный бенчмарк.

Используй рубрики в оценках, чтобы локализовать проблему

Вместо финального «верно/неверно» разбей правильность ответа на список под-вопросов. Это покажет, какое конкретное поведение хромает, и подскажет, какой именно датасет собирать (а для самого RL-цикла дальше оставляй одно скалярное вознаграждение).

Логика повествования

Как устроена аргументация видео — пройди по шагам

Предпосылка Аргумент Пример Вывод

Предпосылка Проблема: enterprise tool use не дотягивает до прода

Модели в корпоративных задачах работы с инструментами не достигают надёжности, нужной для продакшена.
Предпосылка Рефлекс индустрии: модель побольше = умнее = лучше

Привычная реакция — взять модель крупнее в надежде, что «больше интеллекта» решит проблему.
Аргумент А точно ли дело в размере?

Спикер ставит под сомнение автоматический апгрейд: возможно, задаче нужна не гениальность, а дисциплина действий.
Аргумент Гипотеза: нужна не гениальность, а дисциплина действий

Финаналитику хватает простой арифметики и SQL — «вся математика» уровня Теренса Тао избыточна. Узкое место — поведение, а не reasoning.
Пример Проверка: дешёвый RL на маленькой модели + качественный датасет

GRPO-дообучение 4B-модели на верифицированном датасете FinQA: один прогон ~21 час и менее $500.
Пример Наблюдение: большая модель не осматривает среду и галлюцинирует

Qwen3 235B на вопросе о росте выручки YouTube Ads «вслепую» запрашивает несуществующую таблицу, промахивается и выдаёт галлюцинацию — хотя инструмент осмотреть среду был доступен.
Пример Наблюдение: дообученная маленькая осматривает схему и само-исправляется

Сначала вызывает get table names, смотрит схему, при ошибке в запросе наблюдает её и корректируется. Тот же набор инструментов — другое поведение.
Вывод Вывод: узкое место — поведение tool use, а не reasoning

Подтверждено через ablation: даже самый простой режим (только одно-табличные вопросы) обобщается и поднимает сложный мульти-табличный бенчмарк (13.9% → 26.6%). Метавывод: ищи конкретный сбой, локализовать его помогают рубрики в эвалах.

Подробный разбор

Полный разбор — разверни, если нужно глубже

Развернуть подробный разбор

Стоит ли смотреть целиком

Достаточно этой заметки — основная польза в нескольких цифрах (4B против 235B, ~$500 за прогон, рост FinQA reasoning 13.9% → 26.6%) и одном инсайте: узкое место enterprise-задач часто не «ум» модели, а дисциплина работы с инструментами. Остальное — корпоративная реклама Snorkel и повторы про «experts in the loop».

Кому полезно

ML-инженерам и продактам, которые упёрлись в потолок «возьмём модель побольше» на задачах tool use / агентов; всем, кто оценивает, что дешевле и надёжнее в продакшене — крупная облачная модель или дообученная маленькая on-premise; и тем, кто строит эвалы и хочет научиться локализовать конкретный сбойный паттерн вместо диагноза «модель глупая».

План внедрения

С чего начать — отмечай шаги, прогресс сохранится

Выполнено 0 из 4

Шаг 1. Сегодня: прочитай трассы там, где «спасает только большая модель» Возьми задачу, где сейчас выручает только крупная модель, и прочитай 10–20 полных трасс её работы — выпиши, на каком конкретно шаге она ломается (не вызвала инструмент? не исправила ошибку? галлюцинирует?).
Шаг 2. На этой неделе: рубрика-оценка и маленький проверяемый датасет Построй рубрику-оценку из под-вопросов, чтобы подтвердить найденный сбойный паттерн на выборке, и собери небольшой проверяемый датасет (с экспертом) именно под это поведение, начав с самого простого варианта задач.
Шаг 3. Закрепить: RL-дообучение + ablation + развёртывание Запусти RL-дообучение маленькой модели (ориентир — один прогон ~$500/сутки) и проведи ablation: простой режим vs смешанный, чтобы выбрать тот, что даёт максимальный прирост; разверни победителя в self-contained окружении (Harbor/OpenENV).
Шаг 4. Проверь, что сработало Целевая метрика (pass@1) на маленькой модели догоняет или обходит большую, прирост виден и на более сложном бенчмарке, а стоимость/латентность инференса и контроль над данными — лучше, чем у крупной модели.

Проверь себя

Ответь на вопросы, чтобы материал закрепился

Отвечено: 0 / 5 Верно: 0

1. В чём главный тезис доклада «Stop Making Models Bigger, Make Them Behave»?
2. Почему для этой задачи (tool use в финансовом анализе) выбрали именно RL, а не другой способ дообучения?
3. Что конкретно сделала большая модель Qwen3 на 235 млрд параметров, провалив вопрос о росте выручки YouTube Ads год к году?
4. Что научилась делать дообученная модель на 4 млрд параметров, чего не делала большая модель, хотя инструменты были доступны обеим?
5. Какой неожиданный результат дал ablation-эксперимент с разными режимами обучения, и что он подтвердил про природу проблемы?