Разборы · Статья: · Видео: · 33 мин 54 с
Sakana Fugu на практике: оркестратор моделей против Fable 5 и GPT-5.5
Разбор теста Bijan Bowen: что Sakana Fugu обещает как multi-agent model system, где Fugu Ultra действительно силён, а где прямой запуск GPT-5.5, Claude или Gemini пока выглядит проще, дешевле и убедительнее.
Смотреть на YouTube Sakana Fugu Hands-On Test – Does THIS Really Beat Fable 5?
Bijan Bowen · 33 мин 54 с
Главы видео — нажми, чтобы перейти к моменту 9
- 0:00 Что такое Sakana Fugu Автор сразу разводит Fugu как "модель" и Fugu как роутер/оркестратор поверх Opus, Gemini, GPT и собственного слоя координации.
- 2:20 Техническая рамка: TRINITY и Conductor Fugu строит агентный scaffold, выбирает воркеров, раздаёт роли, проверяет промежуточные ответы и собирает финальный результат.
- 6:07 Browser OS на обычном Fugu Первый практический тест: браузерная ОС, мини-игры, терминал, wallpaper lab и восстановление состояния.
- 10:22 Subway scene и FPS на Fugu Ultra Чистая сцена метро и рабочий шутер, но без ожидаемой экстремальной полировки и с дорогой попыткой проверки скриншотами.
- 15:59 C++ skate game Компетентная self-contained игра, но не уровень лучшего результата Fable 5 в аналогичном тесте.
- 19:09 Мультимодальный тест с ретро-ноутбуком Fugu хорошо считывает палитру и окружение, но сначала делает 2.5D вместо полноценного 3D.
- 22:40 Frontend comparison: сайт часов Одинаковый prompt для Fugu Ultra, GPT-5.5, Claude Opus и Gemini показывает, где direct baseline выглядит сильнее.
- 29:37 Flight simulation test Финальная проверка укрепляет ощущение: отдельные модели, вероятно, справились бы лучше.
- 30:05 Честный вывод и стоимость Fugu лучше OpenRouter Fusion, но вся сессия стоила $21.57, а превосходство над прямым запуском моделей не проявилось.
Коротко
Fugu интересен не как очередная LLM, а как обученный оркестратор: он прячет пул сильных моделей за одним API. Практический тест показывает, что оркестрация даёт чистые рабочие результаты, но пока не гарантирует победу над прямым запуском сильной модели.
Выжимка голосом
Самое ценное из разбора — за пару минут
Показать текст выжимки Скрыть текст выжимки
Озвучено синтезом речи · голос alena
Объясни проще
Суть без жаргона
Простыми словами
Fugu - это попытка сделать "одну модель", которая на самом деле умеет управлять другими моделями. Пользователь отправляет обычный запрос, а внутри система решает, кого из сильных LLM подключить, как разделить работу, как проверить промежуточные ответы и как собрать финальный результат.
Как ребёнку
Представь, что у тебя есть не один помощник, а целая команда. Fugu - это капитан команды: он решает, кто рисует, кто проверяет, кто пишет код, а кто собирает всё вместе. Но капитан не всегда делает результат лучше, чем самый талантливый участник команды в одиночку.
Аналогия — «это как…»
Это как студия разработки с продюсером. Если продюсер хорошо раздаёт задачи, команда может сделать больше, чем один человек. Если задача требует тонкого вкуса и точного исполнения, иногда проще отдать её лучшему специалисту напрямую.
Зачем это мне
Следующая волна AI-инструментов всё чаще будет не "модель против модели", а "оркестратор против прямого вызова модели". Это влияет на стоимость, скорость, приватность, качество кода, контроль поставщиков и то, как команды строят свои agentic workflow.
Для тех, кто в теме
Sakana Fugu стоит читать как productionized learned orchestration: один OpenAI-compatible API поверх пула Frontier LLM workers, где Fugu строит agent scaffold, назначает роли, координирует промежуточные результаты и синтезирует ответ. Практический вопрос не в том, есть ли IP в routing layer, а в том, обгоняет ли этот слой direct baseline по качеству, latency, cost и failure modes на задачах конкретного класса.
Оценка видео
Чем выше — тем больше пользы на минуту
средняя из 5
Свежий hands-on по новому продукту Sakana AI, опубликованный в день релиза/обсуждения Fugu.
Есть техническая рамка, несколько разных задач, сравнение с прямыми моделями и открытая стоимость прогонов.
Главная идея сильная: обученный orchestrator как продуктовая форма "одной модели" поверх пула frontier LLM.
Обзор помогает решить, как тестировать Fugu в своём workflow: только рядом с direct baseline и с учётом цены.
Это один практический тест с субъективной оценкой визуального качества; официальные benchmark-claims требуют отдельной проверки.
Кому будет полезно
Чем выше оценка — тем больше пользы для профессии. Разверни — почему.
Для AI-инженеров 4.9 /5
Fugu показывает, что orchestration layer становится самостоятельной инженерной поверхностью: routing, role assignment, verification, cost control и failure recovery надо тестировать как продукт.
Для разработчиков coding-агентов 4.7 /5
В ролике хорошо видны типичные agentic failure modes: зацикливание на проверке, неполное следование prompt, 2.5D вместо 3D и разная цена исправлений.
Для техлидов и CTO 4.4 /5
Материал помогает не купить "оркестрацию" как магию: перед внедрением нужно сравнить Fugu с прямым запуском моделей по задачам команды.
Для продактов AI-инструментов 4.2 /5
Хороший пример того, как продуктовая упаковка "один API ко многим моделям" должна доказывать ценность через latency, контроль, приватность и quality/cost ratio.
Для frontend-разработчиков 3.9 /5
Сравнение сайта часов показывает, что визуальная полировка, 3D-детали и вкус остаются отдельным измерением качества coding-моделей.
Для аналитиков AI-рынка 3.8 /5
Fugu интересен как сигнал рынка: соревнование смещается от single-model leaderboard к системам, которые управляют пулами моделей и продают это как единый интерфейс.
Инсайты
Нажми, чтобы раскрыть — то, что меняет взгляд на тему
01 Fugu - это productized orchestration, а не просто router 2:20
Важная часть IP находится в модели, которая учится строить агентный scaffold: выбирать воркеров, назначать роли, проверять результаты и синтезировать ответ.
02 Бенчмарк-лидерство не равно hands-on превосходство 30:05
Даже если Fugu Ultra выглядит сильно в таблицах, конкретный артефакт может оказаться хуже, дороже или менее точным, чем direct call к GPT-5.5 или Opus.
03 Оркестратор может сглаживать стиль сильных моделей 30:50
Результаты часто чистые и компетентные, но автору не хватает "soul/spice" отдельных моделей: координация может усреднять вкус и полировку.
04 Цена проверки входит в качество модели 10:22
Если агент зацикливается на скриншотах или самопроверке, стоимость растёт без пропорционального улучшения результата. Это не бухгалтерская мелочь, а часть UX.
05 Сравнивать надо с моделями из того же пула 22:40
Если Fugu использует GPT, Claude и Gemini как воркеров, честный тест - не только "Fugu против старого ансамбля", а Fugu против прямого запуска этих моделей.
Полезные советы
Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать
1 Запусти direct baseline перед выводами
30-60 минут увидишь, где оркестрация реально добавляет качество
Запусти direct baseline перед выводами
Сравни Fugu regular, Fugu Ultra и прямой запуск сильной модели на одном и том же prompt. Без этого легко принять красивую упаковку за прирост качества.
Что делать
- 1 1. Возьми 3-5 задач из своего реального workflow.
- 2 2. Зафиксируй prompt и критерии оценки.
- 3 3. Прогони Fugu, Fugu Ultra и одну-две прямые модели.
- 4 4. Сравни качество, время, стоимость и число ручных исправлений.
2 Считай стоимость прогонов, а не только цену токена
10 минут на таблицу станет видно, где агентные циклы съедают бюджет
Считай стоимость прогонов, а не только цену токена
В ролике часть расходов возникла из-за дополнительных проверок и попыток снять скриншоты. Для агентных систем cost per task важнее прайс-листа за миллион токенов.
Что делать
- 1 1. Записывай баланс до и после каждого теста.
- 2 2. Отмечай, где модель зациклилась на проверке.
- 3 3. Считай стоимость принятого результата, а не первой генерации.
- 4 4. Ставь лимит на автоматические retry.
3 Не используй Fugu вслепую для визуальной полировки
один сравнительный прогон меньше разочарований в 3D, frontend и creative coding
Не используй Fugu вслепую для визуальной полировки
В тестах Fugu часто делает чисто, но не всегда попадает в "дорогой" визуальный результат. Для Keyshot-like, 3D и hero-анимаций direct GPT/Claude baseline может быть сильнее.
Что делать
- 1 1. Сделай эталонный prompt на визуальную задачу.
- 2 2. Прогони Fugu Ultra и прямую модель.
- 3 3. Оцени материалы, геометрию, композицию, движение и соблюдение ограничений.
- 4 4. Выбери модель по финальному артефакту, а не по архитектуре.
4 Отделяй orchestration value от model value
20 минут на разбор поймёшь, за что именно платишь
Отделяй orchestration value от model value
Если Fugu выигрывает, важно понять почему: из-за выбора модели, разбиения задачи, проверки, длинного контекста или просто потому, что один воркер оказался хорош.
Что делать
- 1 1. Разбей результат на этапы: план, код, проверка, правки.
- 2 2. Сравни, какой этап улучшил Fugu.
- 3 3. Проверь, можно ли повторить это простой ручной маршрутизацией.
- 4 4. Реши, нужна ли автоматическая orchestration layer именно вам.
5 Останавливай loops проверки
сразу при зависании экономия денег и времени
Останавливай loops проверки
Если агент не может открыть Chrome, сделать screenshot или подтвердить результат, он может долго "чинить проверку", а не продукт.
Что делать
- 1 1. Введи лимит на число verification attempts.
- 2 2. После лимита требуй короткий отчёт: что сделано и что не проверено.
- 3 3. Проверяй результат вручную или другой моделью.
- 4 4. Не оплачивай бесконечный debug harness как часть основной задачи.
6 Проверяй политику провайдеров и региональную доступность
15 минут меньше сюрпризов при внедрении
Проверяй политику провайдеров и региональную доступность
Официальная страница Fugu отдельно говорит про выбор участвующих моделей, opt-out из training data и ограничения доступности в EU/EEA. Для бизнеса это не деталь, а часть архитектуры.
Что делать
- 1 1. Проверь, какие модели участвуют в пуле.
- 2 2. Узнай, можно ли исключать конкретных провайдеров.
- 3 3. Проверь региональную доступность и privacy terms.
- 4 4. Зафиксируй fallback, если нужный воркер нельзя использовать.
Сценарии применения
Как разные люди применяют это на практике
Я как разработчик, выбирающий coding model
Проблема: Новые benchmark-таблицы обещают лидерство, но непонятно, будет ли лучше на его задачах.
Хочу: Понять, стоит ли платить за Fugu Ultra или проще запускать GPT/Claude напрямую.
Поможет: Статья даёт схему сравнения: один prompt, direct baseline, стоимость, качество и failure modes.
Я как архитектор AI-платформы
Проблема: Нужно снизить зависимость от одного провайдера, но не потерять качество.
Хочу: Оценить multi-model orchestration как API-слой.
Поможет: Fugu показывает, где оркестрация может быть ценна, а где она превращается в лишнюю прослойку.
Я как frontend-разработчик
Проблема: Модели часто делают "почти красиво", но не попадают в настоящую 3D/production-polish задачу.
Хочу: Выбрать модель для визуального прототипа.
Поможет: Сравнение watch website показывает: тестировать надо по артефакту, а не по заявленной архитектуре.
Я как CTO с API-бюджетом
Проблема: Agentic tasks могут внезапно стоить много из-за retry, screenshots и self-check loops.
Хочу: Понимать реальную стоимость задачи.
Поможет: Разбор подчёркивает: price per task и лимиты проверок важнее красивого прайсинга за токены.
Я как исследователь LLM-систем
Проблема: Сложно отделить эффект learned orchestration от силы underlying моделей.
Хочу: Поставить честный эксперимент.
Поможет: Материал подсказывает сравнивать Fugu с прямыми вызовами моделей из его же пула.
Я как комплаенс-владелец AI-инструментов
Проблема: Не все провайдеры или регионы допустимы для рабочих данных.
Хочу: Контролировать, какие модели участвуют в ответе.
Поможет: Fugu интересен тем, что официальный API обещает настройки участия моделей, но это нужно проверять до внедрения.
Логика повествования
Как устроена аргументация видео — пройди по шагам
-
Предпосылка Sakana продаёт Fugu как одну модель поверх многих 0:00
Пользователь видит один API, а внутри система координирует пул сильных LLM.
-
Аргумент Техническая идея не сводится к простому роутингу 2:20
Fugu обучен строить agent scaffold, назначать роли и синтезировать ответы; это опирается на TRINITY и Conductor.
-
Пример Первые тесты подтверждают компетентность 6:07
Browser OS, subway scene, FPS и C++ game в основном работают и выглядят аккуратно.
-
Пример Сложные визуальные задачи вскрывают слабое место 19:09
2.5D вместо 3D, менее выразительный watch site и flight sim без ожидаемой глубины показывают, что качество не всегда выше direct baseline.
-
Аргумент Стоимость и loops проверки меняют оценку 10:22
Если orchestration требует больше времени, retry и денег, она должна компенсировать это заметно лучшим артефактом.
-
Вывод Вывод: Fugu надо тестировать, а не принимать на веру 30:05
Это сильный кандидат на роль orchestrator layer, но не автоматическая замена GPT, Claude, Gemini или Fable в каждой задаче.
Подробный разбор
Полный разбор — разверни, если нужно глубже
Развернуть подробный разбор Свернуть подробный разбор
Контекст: почему вокруг Fugu столько шума
Sakana AI описывает Fugu как multi-agent model system: пользователь работает с ним как с одной моделью через совместимый API, а внутри Fugu выбирает и координирует несколько сильных моделей. В официальном релизе и на странице продукта это подано как следующий шаг после простого routing: Fugu не только выбирает модель, а строит роли, проверки и синтез ответа. Дополнительный контекст рынка хорошо собран и в обзоре The Decoder.
Поэтому главный вопрос в ролике правильный: если Fugu действительно может координировать Opus, Gemini, GPT и другие сильные системы, должен ли он обгонять каждую из них по отдельности?
Что получилось в hands-on
Первый тест на обычном Fugu был удачным: browser OS получилась рабочей, с мини-игрой, терминалом, wallpaper lab и восстановлением состояния. Уже здесь видно, что Fugu не похож на грубый “ансамбль ради ансамбля”: он выдаёт цельный результат и явно лучше недавнего OpenRouter Fusion в похожих испытаниях.
Но дальше начинается тонкое место. Fugu Ultra делает subway-сцену, FPS, C++ skate game и мультимодальную 3D-попытку в целом компетентно. Всё запускается, структура аккуратная, элементы на месте. При этом автор раз за разом отмечает отсутствие той самой дополнительной полировки: меньше деталей, слабее стиль, не всегда точное выполнение 3D-требований, иногда слишком стерильный результат.
Самый сильный момент обзора - не сам Fugu, а контрольное сравнение. Один и тот же prompt для сайта часов уходит в Fugu Ultra, GPT-5.5, Claude Opus и Gemini. И там прямой GPT-5.5 выглядит заметно сильнее: больше настоящих 3D-деталей, убедительнее ремешки, материалы и product cards. Это не отменяет архитектурную идею Fugu, но охлаждает маркетинговый вывод “оркестратор автоматически лучше одиночки”.
Как это использовать
Fugu стоит пробовать там, где задача действительно выигрывает от распределения работы: сложный code review, многошаговое исследование, параллельная проверка гипотез, long-horizon tool use, ситуация с разными сильными сторонами моделей. Но если задача требует конкретного визуального вкуса, точного 3D или дешёвого предсказуемого результата, direct baseline обязателен.
Практическая формула простая: один prompt, одна шкала оценки, несколько маршрутов. Если Fugu Ultra даёт лучший финальный артефакт за приемлемую цену - отлично, оркестрация оправдана. Если прямой GPT/Claude/Gemini делает лучше, дешевле и быстрее, Fugu пока остаётся интересным слоем для будущих задач, а не универсальной заменой.
Главное
Fugu выглядит как важный сигнал: AI-рынок переходит от соревнования отдельных моделей к соревнованию систем, которые умеют этими моделями управлять. Но управление - это не магия. Оно должно доказывать себя на конечном результате, стоимости, времени, прозрачности и количестве неудачных циклов проверки.
План внедрения
С чего начать — отмечай шаги, прогресс сохранится
Выполнено 0 из 5
Проверь себя
Ответь на вопросы, чтобы материал закрепился
-
1. Что делает Fugu особенным по сравнению с обычным direct call к LLM?
-
2. Почему direct baseline важен при оценке Fugu?
-
3. Где в ролике Fugu Ultra особенно проиграл ожиданиям автора?
-
4. Что автор отмечает как плюс Fugu по сравнению с OpenRouter Fusion?
-
5. Какой риск показал тест со скриншотами?
-
6. Какой практический вывод самый безопасный?
Словарь терминов
Понять незнакомое простым языком
Показать 8 терминов Свернуть словарь
- Fugu
- Система Sakana AI, которая выглядит для пользователя как одна модель, но внутри координирует несколько LLM-воркеров.
- Fugu Ultra
- Более дорогой и глубокий вариант Fugu с расширенной оркестрацией и большим пулом экспертов.
- Agent scaffold
- Временная структура работы агента: роли, шаги, проверки, промежуточные результаты и финальный синтез.
- TRINITY
- Исследовательская линия Sakana про learned model orchestration, на которую опирается Fugu.
- Conductor
- Подход к координации LLM-агентов, где управляющая модель учится распределять роли и синтезировать ответы.
- Direct baseline
- Контрольный запуск той же задачи напрямую в GPT, Claude, Gemini или другой модели без дополнительного orchestrator layer.
- 2.5D
- Визуальный результат, который имитирует глубину, но не является полноценной интерактивной 3D-сценой.
- Style bleed
- Ситуация, когда в результате оркестратора заметен стиль одной из underlying моделей.
Критический взгляд
Объективно: с какими тезисами можно поспорить и что преувеличено
Тесты смещены в сторону визуального coding
Fugu может быть сильнее в длинных research, code-review или multi-step reasoning задачах, чем в 3D/frontend demos.
Сравнение интерфейсов не идеально
Fugu запускался через terminal/Codex-подобный workflow, а GPT/Claude/Gemini в части сравнений - через веб-чаты. Это может влиять на tools, проверку и поведение.
Официальные benchmarks не проверяют всю продуктовую стоимость
Leaderboard может не учитывать latency, retry loops, verification failures, субъективную визуальную полировку и стоимость финального принятого результата.
Один обзор не закрывает тему
Это честный hands-on, но не статистический benchmark. Нужны повторяемые наборы задач и независимые прогоны.
Фраза "обгоняет frontier models" требует уточнений
В каких задачах, с какой стоимостью, против каких режимов thinking и с какими ограничениями? Без этих условий заявление легко прочитать шире, чем оно доказано.
Взгляни иначе
Новый угол, смежные области и потенциал на стыке — пища для размышлений
Оркестрация - это UX и экономика, а не только качество ответа
Сильный orchestrator должен давать предсказуемый cost per task, управляемые fallback, приватность и прозрачность, а не просто красивую строку в benchmark.
Лучший роутер может быть прозрачным, а не магическим
Бизнесу часто важнее знать, какие модели участвовали и почему, чем верить в opaque "одну модель".
Визуальные coding-тесты проверяют вкус
Компиляция и функциональность - только часть результата. Для frontend/3D важны композиция, материалы, движение, детализация и способность следовать эстетическому ограничению.
Fugu может быть страховкой от vendor lock-in
Даже если direct model иногда лучше, единый API с управляемым пулом может быть полезен как стратегический слой для компаний.
Похожие разборы
OpenRouter Fusion: умеет ли «ансамбль моделей» обогнать одну сильную — и при чём тут маркетинг
OpenRouter выпустил Fusion — «compound-модель», которая рассылает промпт сразу нескольким нейросетям, а отдельная judge-модель сводит их ответы в один. Автор обзора показывает: заявку «дешевле и умнее Fable» доказывают одним узким бенчмарком на deep research, а на практике выходит дороже, медленнее и местами хуже одной сильной модели.
Читать → РазборFable 5 в разработке игр: сильная полировка не равна магическому редизайну
Fable 5 хорошо читает существующий проект, чинит детали, улучшает камеру и добавляет полировку, но в one-shot не обязательно радикально переделывает игру. Главный урок: если нужен большой редизайн, его надо явно требовать, дробить на этапы и проверять геймплей, а не ждать магии от одной фразы.
Читать → РазборFable 5 против Codex 5.5: почему самопроверка важнее красивого демо
Видео показывает не «кто умнее вообще», а где coding-агент проваливает последнюю милю: физику, коллизии, мобильное управление, реальные данные и самоисправление. Fable 5 чаще выглядит как агент, который дольше проверяет себя и доводит идею до playable-состояния, а Codex 5.5 часто даёт красивый, но менее надёжный первый проход.
Читать → РазборGLM-5.2: открытая coding-модель сильна, когда ей дают исправляться
GLM-5.2 выглядит не как модель для одного идеального скриншота, а как сильный открытый агент, который умеет планировать, проверять код и чинить заметные поломки. Главный вывод ролика: для coding-моделей важнее цикл «сделал → запустил → исправил», чем первая красивая генерация.
Читать →