Разборы · Статья: · Видео: · 30:14
Агенты, которые чинят агентов: как кодинг-ассистент улучшает ИИ по evals и жалобам пользователей
Разбор доклада Альфонсо Грациано (NearForm) на AI Engineer: как использовать Claude Code и spec-driven-подход, чтобы автономно улучшать надёжность ИИ-агентов — через golden dataset и скореры, цикл AutoAgent (18% → 83%, прод 67% → 86%) и кластеризацию реальных жалоб пользователей, а сверху — Harness Engineering.
Смотреть на YouTube Agents Building Agents - Alfonso Graziano, Nearform
AI Engineer · 30:14
Главы видео — нажми, чтобы перейти к моменту 9
- 0:00 ИИ строит ИИ Все хотят агентов, но они дороги, недетерминированы и галлюцинируют. Раз агент — это вид софта, пусть его пишет ИИ.
- 1:36 Что такое агент из первых принципов LLM-мозг в агентном цикле, подключённый к инструментам и способный доставать контекст. Сверху — observability и evals.
- 2:48 Два режима провала Плохие результаты на evals и плохие результаты на живых данных реальных пользователей — они шире и грязнее.
- 3:29 Golden dataset и скореры Файл входов и ожидаемых выходов, собранный с экспертами, плюс скорер, выдающий текущую точность системы как число.
- 5:22 Наивный агент: 18% и типовые дыры Hello-world агент на Mastra без инструментов проходит 18% — остальное требует нужных tools, системного промпта и retrieval.
- 8:18 AutoAgent: цикл самоулучшения От auto research Карпати к AutoAgent: цикл гоняет evals, правит код, пробует промпты и инструменты, поднимает 18% → 83%.
- 12:58 Как устроен цикл: гипотезы и откаты Ветка на каждую гипотезу, прогон evals, reports.md и memory-файл. Улучшилось — продолжаем, регрессия — откат.
- 18:45 Улучшение по живым данным Трейсы, thumbs up/down, аннотации экспертов. Кластеризация failure-mode, root cause по коду, триаж и фикс.
- 27:51 Harness Engineering Окружение вокруг кодинг-агента: specs, quality gates, context engineering и observability — то, на чём всё держится.
Коротко
ИИ-агент — это просто ещё один вид софта, поэтому его код может писать и чинить другой ИИ: кодинг-агент гоняет evals, выдвигает гипотезы, откатывает регрессии и сам поднимает точность. Ключ не в модели, а в harness вокруг неё — golden dataset, скореры, трейсы пользователей и observability, которые превращают недетерминированного агента в измеримую, улучшаемую систему.
Выжимка голосом
Самое ценное из разбора — за пару минут
Показать текст выжимки Скрыть текст выжимки
Озвучено синтезом речи · голос alena
Объясни проще
Суть без жаргона
Простыми словами
ИИ-агенты часто ошибаются и ведут себя непредсказуемо, а чинить их вручную дорого. Автор показывает контринтуитивный ход: раз агент — это обычный код, пусть его правит другой ИИ (например, Claude Code). Сначала строят «эталонный набор» вопросов и правильных ответов и автоматический оценщик, который выдаёт точность в процентах. Потом кодинг-агент в цикле пробует гипотезы — правит инструкции, добавляет инструменты — и оставляет только то, что реально поднимает точность. Отдельно собирают жалобы реальных пользователей, группируют их по типам поломок и чинят тем же способом.
Как ребёнку
Представь робота, который иногда путается и отвечает неправильно. Чинить его руками долго. Тогда берут второго робота-помощника, который сам проверяет первого на списке заданий с известными ответами, замечает ошибки, пробует их исправить и оставляет только те правки, после которых первый робот стал отвечать лучше. А ещё они собирают жалобы людей, которые роботом пользовались, складывают похожие жалобы в кучки и по очереди их устраняют.
Аналогия — «это как…»
Это как тренер и спортсмен, только тренер — тоже алгоритм. Есть контрольный забег (golden dataset) и секундомер (скореры). Тренер-агент меняет технику спортсмена, снова засекает время, и если стало хуже — откатывает изменение, если лучше — закрепляет. Так порода улучшений идёт не по вдохновению, а по замеру, забег за забегом.
Зачем это мне
Главная боль всех, кто строит ИИ-агенты, — они недетерминированы, галлюцинируют и ломаются на реальных данных, а ручная отладка не масштабируется. Подход даёт воспроизводимый конвейер: измеримая точность вместо ощущений, автоматический поиск улучшений, которых не нашли люди, и защита от регрессий, потому что каждая найденная поломка навсегда становится частью тестов. Это сдвигает роль инженера с «писать код агента» на «строить окружение, в котором агент чинит себя сам».
Для тех, кто в теме
Доклад собирает знакомые кирпичи в цельный harness: golden dataset (input → expected output вплоть до ожидаемой цепочки tool-call), scorer-функции, наивный evaluator на contains, и цикл AutoAgent по мотивам auto research Карпати — hypothesis → патч агента → прогон evals → rollback/continue на ветках git, с memory-файлом и reports.md между итерациями. Заявлено 18% → 83% на toy-агенте и +10% на уже вручную оптимизированном проде (67% → 86%). Второй трек — live-data: сбор трейсов и thumbs-фидбэка, кластеризация failure-mode с adversarial review и root-cause по коду, триаж с SME, фикс кодинг-агентом и обязательный обратный ход — провал становится регрессией в golden dataset. Всё держится на Harness Engineering: specs, quality gates (линт, unit, evals, LLM-review), context engineering, observability.
Оценка видео
Чем выше — тем больше пользы на минуту
средняя из 5
Тема года: все строят агентов и упираются в недетерминированность, evals и надёжность на живых данных.
Плотный воспроизводимый конвейер с конкретными числами (18→83%, 67→86%), хотя это обзорный доклад без кода на экране.
Отдельные кирпичи известны (evals, auto research Карпати), но сборка в единый self-improvement harness подана свежо.
Даёт готовый рецепт: golden dataset → скореры → цикл гипотез → кластеризация жалоб → регрессии.
Оптимистичный конференц-нарратив: нет данных о стоимости compute-циклов и рисках overfit к evals.
Кому будет полезно
Чем выше оценка — тем больше пользы для профессии. Разверни — почему.
Для инженеров ИИ-агентов 5 /5
Прямое попадание: готовая методология, как поднимать надёжность агента автономно — golden dataset, скореры, цикл AutoAgent, harness.
Для QA- и eval-инженеров 4.5 /5
Показывает, как строить тест-сьют для недетерминированной системы, скореры и как превращать каждый баг в постоянную регрессию.
Для тимлидов и инженерных менеджеров 4.3 /5
Про процесс и governance: где human-in-the-loop, как триажить провалы с экспертами, как встроить всё в спринт-ритм.
Для ML-инженеров 4 /5
Параллель с auto research Карпати и идея, что кодинг-агент находит улучшения кода/гиперпараметров, которых не нашли люди.
Для продакт-менеджеров ИИ-продуктов 3.6 /5
Объясняет, как обратная связь пользователей (thumbs up/down) превращается в приоритезированный бэклог фиксов.
Для фрилансеров-разработчиков 3.3 /5
Идеи переносимы на любой pet-проект с агентом, но полный harness тяжеловат для соло без экспертов и объёма трейсов.
Инсайты
Нажми, чтобы раскрыть — то, что меняет взгляд на тему
01 Агент — это просто ещё один вид ПО 1:15
Как только перестаёшь смотреть на агента как на магию и видишь в нём обычный код, открывается очевидный ход: пусть его пишет и правит другой ИИ. Вся конструкция доклада вырастает именно из этого сдвига оптики.
02 Eval — это не метрика, а тест-сьют для недетерминированной системы 4:44
Golden dataset переопределяет отладку агента: ожидаемым выходом может быть не текст, а факт вызова конкретного инструмента с конкретными параметрами в конкретной цепочке. Тесты переезжают из мира «равно/не равно» в мир вероятностей.
03 Машина находит улучшения, которых не нашли люди 11:03
На игрушечном агенте рост с 18% до 83% ожидаем. Сильнее другое: +10% на агенте, который уже был вручную оптимизирован людьми. Кодинг-агент прочёсывает пространство гипотез шире и терпеливее человека.
04 Жалоба пользователя — это не тикет, а обучающий пример 26:13
Thumbs down с комментарием ценен не сам по себе, а после кластеризации: десятки отзывов сворачиваются в пять-семь типовых failure-mode, и каждый становится строкой golden dataset. Провал чинится один раз и больше не возвращается.
05 Ценность сместилась с модели на harness 28:30
Автономность агента-чинильщика возможна не из-за умной модели, а из-за окружения: specs, quality gates, память, ветки git и observability. Конкурентное преимущество теперь в инженерии окружения, а не в выборе LLM.
Ключевые цитаты
Сильные фразы из видео — нажми тайм-код, чтобы услышать в оригинале
«Раз ИИ-агент — это просто один из видов софта, то мы, как несложно догадаться, используем ИИ, чтобы строить ИИ.»
«Golden dataset можно рассматривать как тестовый набор, только в недетерминированном сценарии.»
«18% вопросов можно ответить весами самой модели, остальные — нет. Значит, нужен способ поднять этот процент.»
«Кодинг-агент нашёл новые способы улучшить агента, которых люди не нашли, и мы получили плюс 10% на части внутренних бенчмарков.»
«Обновлять golden dataset или скореры просто чтобы evals прошли — плохая идея, и мы прямо запрещаем это агенту.»
«Базовая точность была 67%, но примерно за 10 итераций мы дошли до 86% на наших evals — и без всякого читерства.»
«Кодинг-агент, когда ему дают инструкции, смог починить целый набор проблем всего одним промптом.»
«Harness Engineering — это идея строить окружение вокруг кодинг-агента, чтобы он работал надёжно.»
Полезные советы
Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать
1 Начни с golden dataset, а не с кода агента
день с экспертами получишь измеримую точность вместо ощущений «вроде работает»
Начни с golden dataset, а не с кода агента
Соберите вместе с профильными экспертами файл «вход → ожидаемый выход». Выход — не обязательно текст: это может быть ожидаемый вызов инструмента с параметрами или их цепочка.
Что делать
- 1 Выпишите реальные запросы, которые агент должен обрабатывать.
- 2 Для каждого зафиксируйте эталонный результат: ответ, tool-call или цепочку вызовов.
- 3 Постройте скорер, который прогоняет датасет и выдаёт текущую точность в процентах.
2 Раздели два режима провала
30 минут перестанешь чинить симптомы не того класса проблем
Раздели два режима провала
Плохие результаты на evals и плохие результаты на живых данных — это две разные задачи. Живые данные от реальных пользователей шире и грязнее, чем любой заранее собранный датасет.
3 Дай агенту ветку под каждую гипотезу
полдня на настройку сможешь безопасно откатывать регрессии и хранить историю улучшений
Дай агенту ветку под каждую гипотезу
Каждая итерация цикла — новая git-ветка: гипотеза, патч агента, прогон evals, reports.md. Улучшилось — продолжаем с этой ветки, регрессия — откат на предыдущую.
Что делать
- 1 На старте одного прогона evals зафиксируйте baseline-отчёт.
- 2 Пусть агент тестирует одну гипотезу (класс проблем) за итерацию.
- 3 Заведите глобальный memory-файл, чтобы гипотезы не повторялись между прогонами.
4 Запрети агенту трогать golden dataset и скореры
10 минут исключишь читерство, когда evals «зелёные», а агент хуже
Запрети агенту трогать golden dataset и скореры
Самый простой способ пройти тест — подкрутить тест. Явно пропишите в инструкции кодинг-агенту, что менять эталонный датасет и скореры ради прохождения evals нельзя.
5 Кластеризуй жалобы, а не чини поштучно
раз в спринт из сотни трейсов получишь 5–7 приоритетных поломок вместо хаоса
Кластеризуй жалобы, а не чини поштучно
Скачайте трейсы с фидбэком, сгруппируйте их по типам провалов, проведите adversarial review и root-cause по коду агента — на выходе один markdown-отчёт с executive summary.
Что делать
- 1 Соберите трейсы с thumbs up/down и комментариями (или аннотации экспертов).
- 2 Прогоните кластеризацию failure-mode как отдельный skill кодинг-агента.
- 3 Свяжите каждый кластер с trace ID, вероятной первопричиной и предложением фикса.
6 Каждый найденный провал — в golden dataset как регрессию
15 минут на кластер одна и та же поломка больше никогда не вернётся незамеченной
Каждый найденный провал — в golden dataset как регрессию
После триажа с экспертами добавляйте подтверждённый failure-mode в эталонный датасет и обновляйте скореры. Если баг случайно вернётся в код позже — evals поймают его сразу.
7 Триажь с экспертами, а не автоматом
встреча на спринт отсеешь ложные срабатывания и «так и задумано»
Триажь с экспертами, а не автоматом
Отчёт по кластерам — это гипотезы, а не приговор. Разметьте их «чинить сейчас / позже / не чинить»: часть провалов окажется false positive или намеренным поведением.
8 Собери harness до автономии
итеративно кодинг-агент сможет валидировать свои же правки и работать надёжно
Собери harness до автономии
Без окружения агент-чинильщик слеп. Дайте ему specs на ожидаемое поведение, quality gates (линт, unit-тесты, evals, LLM-review), нужный контекст и observability.
Сценарии применения
Как разные люди применяют это на практике
Я как Инженер ИИ-агентов в стартапе
Проблема: агент галлюцинирует и ломается, а ручная отладка съедает недели
Хочу: воспроизводимый способ поднимать точность без бесконечного ковыряния промпта
Поможет: получает конвейер golden dataset → скореры → цикл гипотез с откатами
Я как QA-инженер
Проблема: обычные тесты не ловят проблемы недетерминированной системы
Хочу: научиться тестировать агента, где выход — это цепочка вызовов инструментов
Поможет: видит, как строить скореры и превращать каждый баг в постоянную регрессию
Я как Тимлид
Проблема: команда чинит агента хаотично и без приоритетов
Хочу: встроить улучшение агента в спринт-ритм с понятным governance
Поможет: берёт схему: триаж кластеров с экспертами, «чинить сейчас/позже/нет», отчёт раз в спринт
Я как ML-инженер
Проблема: ручной перебор гиперпараметров и промптов упирается в потолок человека
Хочу: понять, реально ли доверить перебор кодинг-агенту
Поможет: узнаёт про auto research Карпати и +10% на уже оптимизированном агенте
Я как Продакт ИИ-ассистента
Проблема: тонны thumbs down, но непонятно, что чинить первым
Хочу: превратить фидбэк пользователей в приоритезированный бэклог
Поможет: видит, как кластеризация трейсов даёт 5–7 главных failure-mode
Я как Инженер по надёжности (SRE/платформа)
Проблема: агент в проде — чёрный ящик, поломки замечают пользователи, а не мониторинг
Хочу: понять, какая observability нужна вокруг агента
Поможет: получает список: трейсы, тайминги, токены, вызовы инструментов как основа harness
Я как Фрилансер с pet-агентом
Проблема: нет экспертов и большого потока трейсов для полноценного пайплайна
Хочу: вытащить применимую минимальную версию подхода
Поможет: может начать с маленького golden dataset и наивного evaluator на contains
Логика повествования
Как устроена аргументация видео — пройди по шагам
-
Предпосылка Все хотят агентов, но они ненадёжны 0:30
Недетерминированность, галлюцинации, латентность и стоимость — новый класс проблем автоматизации.
-
Предпосылка Агент — это просто вид софта 1:36
LLM в агентном цикле с инструментами и контекстом. А софт ИИ писать умеет.
-
Аргумент Значит, нужен способ измерять 3:29
Golden dataset и скореры дают точность как число: baseline, регрессии, прогресс.
-
Аргумент Карпати доказал: агент улучшает код ML 8:18
Auto research — цикл, где кодинг-агент правит гиперпараметры и код и реально снижает loss.
-
Пример AutoAgent поднимает наивного агента 18% → 83% 10:25
Цикл гипотез с откатами на ветках делает то же для агентов, а не только для ML-моделей.
-
Пример И +10% на уже оптимизированном проде 18:11
Реальный агент 67% → 86% за ~10 итераций без читерства: edge-кейсы, промпт, tool descriptions, логика инструментов.
-
Аргумент Живые данные чинятся через кластеры 20:43
Трейсы и фидбэк → кластеризация failure-mode → root cause → триаж с экспертами → фикс → регрессия.
-
Вывод Всё держится на Harness Engineering 28:30
Specs, quality gates, context engineering и observability — окружение, в котором агент чинит себя надёжно.
Подробный разбор
Полный разбор — разверни, если нужно глубже
Развернуть подробный разбор Свернуть подробный разбор
Стоит ли смотреть целиком
Да, если вы строите ИИ-агентов и уже упёрлись в то, что «вроде работает» — не метрика. Доклад Альфонсо Грациано ценен не отдельными приёмами (evals, golden dataset, auto research Карпати известны), а тем, что собирает их в один воспроизводимый конвейер самоулучшения и честно проговаривает, где нужен человек.
Тридцать минут дают две вещи. Первая — рабочая рамка на два фронта: провалы на evals лечит цикл AutoAgent с ветками и откатами, провалы на живых данных — кластеризация трейсов и триаж с экспертами. Вторая — важный акцент: автономность держится не на модели, а на harness вокруг неё. Если у вас нет golden dataset, скореров и observability, никакой умный кодинг-агент не починит агента надёжно.
Что забрать в работу сразу
Минимальная версия подхода собирается за день: маленький golden dataset с профильным экспертом, наивный evaluator, который просто проверяет наличие эталона в ответе, и одно правило для кодинг-агента — не трогать тесты ради зелёного прогона. Дальше — ветка на гипотезу, прогон evals, откат регрессий. Даже без полного AutoAgent это уже переводит отладку агента из области ощущений в область чисел.
План внедрения
С чего начать — отмечай шаги, прогресс сохранится
Выполнено 0 из 6
Проверь себя
Ответь на вопросы, чтобы материал закрепился
-
1. Почему автор считает, что ИИ может строить и чинить ИИ-агентов?
-
2. Что такое golden dataset в докладе?
-
3. Что делает цикл AutoAgent, когда гипотеза дала регрессию?
-
4. Что автор прямо запрещает кодинг-агенту при оптимизации?
-
5. Как в подходе обрабатывают жалобы реальных пользователей?
-
6. Что происходит с подтверждённым провалом после фикса?
-
7. Что такое Harness Engineering по автору?
Словарь терминов
Понять незнакомое простым языком
Показать 9 терминов Свернуть словарь
- ИИ-агент
- LLM-«мозг» в цикле, который подключён к инструментам, достаёт контекст и по шагам выполняет задачу.
- Golden dataset
- Эталонный набор «вход → ожидаемый выход», собранный с экспертами. Работает как тест-сьют, только для недетерминированной системы.
- Scorer (скорер)
- Функция-оценщик, которая прогоняет golden dataset и выдаёт текущую точность агента в процентах.
- Eval
- Прогон агента по golden dataset со скорером — чтобы получить baseline, ловить регрессии и мерить прогресс.
- Недетерминированность
- Свойство LLM давать разные ответы на один и тот же вход. Поэтому обычных тестов «равно/не равно» недостаточно.
- Failure mode
- Типовой сценарий, в котором агент ошибается. Похожие отзывы пользователей группируют именно в такие кластеры.
- Root cause analysis
- Поиск первопричины ошибки. Кодинг-агент имеет доступ к коду и трейсу, поэтому может дойти до корня, а не до симптома.
- Trace (трейс)
- Полная запись одного прогона агента: вход, выход, вызванные инструменты, тайминги и потраченные токены.
- Harness Engineering
- Инженерия окружения вокруг кодинг-агента (specs, quality gates, контекст, observability), в котором он надёжно правит и проверяет сам себя.
Критический взгляд
Объективно: с какими тезисами можно поспорить и что преувеличено
Рост 18% → 83% впечатляет, но это игрушечный агент
Стартовый агент был без единого инструмента, поэтому прыжок ожидаем и не переносится напрямую на сложные прод-системы. Честнее ориентироваться на цифру +10% и 67% → 86% как на реалистичный потолок.
Фраза «без всякого читерства» требует доказательств
Автономный оптимизатор по метрике склонен к reward hacking и переобучению под evals. Запрет трогать датасет закрывает грубый случай, но не гарантирует, что +10% — не подгонка под конкретный тест-сьют, а не под реальных пользователей.
Стоимость циклов не обсуждается
Десятки итераций, где кодинг-агент правит код и гоняет полный eval-прогон, — это заметные токены и время. Без цифр по compute-бюджету неясно, где подход экономит, а где дороже ручной отладки.
«Отчёт раз в спринт» подан как правило
Это эвристика из практики NearForm, а не универсум. Автор сам оговаривает, что частота зависит от объёма трейсов, но на слайде она звучит как готовая рекомендация.
Всё упирается в качество golden dataset и экспертов
Если эталонный датасет неполный или предвзятый, автономный цикл будет усердно улучшать не то. Зависимость от доступности профильных экспертов — скрытое, но жёсткое ограничение метода.
Взгляни иначе
Новый угол, смежные области и потенциал на стыке — пища для размышлений
Это TDD, только для ИИ
Сначала эталонные примеры и скорер, потом код, который их проходит, — по сути test-driven development, перенесённый в вероятностный мир. Знакомая дисциплина инженерии оказывается ключом к укрощению недетерминированных агентов.
Цикл гипотез — это научный метод и эволюция сразу
Гипотеза → эксперимент → замер → отбор выжившего изменения — это буквально естественный отбор и научный метод в коде. Тот же паттерн стоит за A/B-тестами, генетическими алгоритмами и наукой в целом, а здесь его крутит агент.
Человек становится куратором, а не кодером
В этой схеме люди не пишут патчи агента — они формулируют цель, размечают провалы с экспертами и ставят ограждения. Ценный навык смещается от «уметь кодить» к «уметь ставить границы и судить результат».
Тот же harness применим за пределами агентов
Цикл «датасет → скорер → гипотезы → откат» не требует, чтобы объектом был именно агент. Так же можно оптимизировать любой промпт, RAG-пайплайн или классификатор — везде, где есть измеримая метрика и код, который её двигает.
Похожие разборы
Как писать сильные скиллы для ИИ-агентов: чеклист из четырёх осей
Скиллы для ИИ-агентов расплодились, но нет рубрики, чтобы отличить хороший от плохого, — и люди тонут в «скилл-аде». Доклад даёт чеклист из четырёх осей (триггер, структура, стиринг, прунинг), а главный приём — «ведущие слова», которыми агента направляют небольшими, но точными формулировками.
Читать → РазборSpec-driven development: спека до кода как способ приручить ИИ-ассистента
Spec-driven development — это писать требования и дизайн-документ в markdown до того, как ИИ-ассистент напишет хоть строчку кода: так модель получает контекст и не сходит с рельсов. Главный вывод — инструмент вроде Kiro лишь автоматизирует процесс, но ответственность, ревью и правка спек остаются на человеке.
Читать → РазборМодель предлагает — платформа решает: инфраструктура надёжности для автономных ИИ-агентов
При переходе от чатботов к автономным агентам узкое место смещается с интеллекта модели на надёжность инфраструктуры вокруг неё. Модель должна лишь предлагать действия, а проверять, одобрять и исполнять их обязана детерминированная платформа — и именно она, а не лучший промпт, становится конкурентным преимуществом.
Читать → РазборСтрой системы, а не код: как проектировать агентов инженерными навыками
Проектирование агентов — это не новая дисциплина, а те же инженерные навыки: системное мышление, декомпозиция, контракты, управление состоянием и безопасность. Разница только в примитивах — вместо классов и сервисов у вас промпты, скиллы, скрипты и сабагенты, но дисциплина ровно та же.
Читать →