Разборы · Статья: · Видео: · 34:04

Claude Sonnet 5 в руках: много попыток, мало вау

Разбор практического теста Bijan Bowen: Claude Sonnet 5 умеет собирать браузерные демо, 3D-сцены и игровые прототипы, но часто работает медленно, тратит много токенов и не всегда дотягивает до Opus-класса.

ИИ Программирование Дизайн Продуктивность
Смотреть на YouTube

Claude Sonnet 5 Is HERE – Hands-On With Anthropic’s NEW Model!

Bijan Bowen · 34:04
Главы видео — нажми, чтобы перейти к моменту 10
  1. 0:00 Intro: Sonnet 5 и Linux-приложение Claude Автор даже больше радуется beta-поддержке Linux Desktop, чем самой новой модели.
  2. 1:20 Первый взгляд: позиционирование и цена Обсуждаются уровни линейки, вводная цена и новый токенизатор.
  3. 4:19 Browser OS test Модель собирает браузерную ОС с приложениями, голосовым ассистентом, играми и настройками.
  4. 10:50 C++ skate game Скейт-симулятор работает, но уступает ожиданиям и старшим моделям по деталям и полировке.
  5. 12:41 Subway station и FPS Сцена метро выглядит компетентно, а follow-up превращает её в простую FPS-игру.
  6. 15:30 Skydiving simulator Есть самолёт, terrain и автораскрытие парашюта, но камера и темп создают проблемы.
  7. 19:04 Watch company frontend Тест на дизайн, 3D-модель часов и cinematic hero показывает потенциал, но straps и детали подводят.
  8. 21:04 Timeline city block Город меняется по эпохам, но визуальные артефакты и странная камера мешают впечатлению.
  9. 25:23 Multimodal coding и low-poly игры Модель пытается восстановить 3D-ноутбук по фото, собрать F1-игру, барабаны и driving sim.
  10. 32:00 Финальный вердикт Итог: компетентно, но медленно, дорого и не настолько впечатляюще, как хотелось.

Коротко

Sonnet 5 выглядит компетентной средней моделью, которая умеет делать много, но редко вызывает ощущение прорыва. В практических визуальных тестах её главный враг — не отсутствие возможностей, а медленное и дорогое доведение результата.

Выжимка голосом

Самое ценное из разбора — за пару минут

0:00 1:53
Показать текст выжимки
Если коротко, это практический стресс-тест Claude Sonnet 5 на задачах, где ответ надо не читать, а смотреть и трогать. Bijan Bowen прогоняет модель через браузерную операционную систему, 3D-игры, метро, сайт часов, город по эпохам, 3D-ноутбук, барабаны и off-road driving. Вывод не катастрофический, но трезвый: модель компетентная, однако редко впечатляет. Она делает рабочие интерфейсы, сцены, игровые прототипы и интерактивные детали. Но почти везде появляется “да, но”: камера странная, физика сырая, масштаб не тот, straps у часов слишком тонкие, управление в игре слабое, а runs занимают слишком много времени. Самая важная мысль для разработчиков: визуальные тесты обнажают “почти”. В текстовом ответе модель может звучать уверенно, но на экране сразу видно, что объект не похож, UI не отполирован, камера неудобная или gameplay не ощущается живым. Практический совет простой. Соберите свой eval-набор из реальных задач: UI, интерактивность, 3D, багфикс, визуальная доработка. Сравнивайте модели не только по факту компиляции, а по времени, стоимости, скриншотам, ручной проверке и ощущению результата. А вот что стоит поставить под сомнение: тесты автора субъективны и не лабораторны. Sonnet 5 может быть полезнее на обычных scoped bugfix или research-задачах, чем на сложных 3D-демо. Но как проверка пользовательского качества ролик работает отлично: скорость, стоимость и полировка — это тоже качество модели.

Озвучено синтезом речи · голос alena

Объясни проще

Суть без жаргона

Простыми словами

Bijan запускает Sonnet 5 на серии задач: браузерная OS, 3D-игры, метро, skydiving simulator, сайт часов, город по эпохам, 3D-ноутбук, барабаны и driving sim. Модель часто делает “приемлемо”, иногда интересно, но автор остаётся разочарован скоростью, ценой и уровнем полировки.

Как ребёнку

Это как робот, который умеет слепить много разных игрушек из конструктора. Игрушки похожи на задумку и иногда даже двигаются, но робот долго возится, забывает важные детали и не всегда делает красиво.

Аналогия — «это как…»

Sonnet 5 в этом тесте похожа на мастерскую с хорошими инструментами, но без очень опытного мастера. Можно собрать сцену, игру или интерфейс, но за итоговой полировкой всё равно приходится внимательно следить.

Зачем это мне

Практические визуальные тесты быстро вскрывают то, что не видно в табличках: ощущение скорости, качество камеры, физика, UI-полировка, масштаб объектов, интерактивность и способность остановиться.

Для тех, кто в теме

Материал полезен как qualitative eval suite для agentic coding: browser OS, WebGL/Three-like scenes, game loop, multimodal 3D reconstruction, UI design, audio interaction и iterative repair. Главная дельта — Sonnet 5 демонстрирует компетентность, но high/max effort часто превращается в latency/cost problem без пропорционального качества.

Оценка видео

Чем выше — тем больше пользы на минуту

4.1

средняя из 5

Актуальность информации 4.9

Это hands-on в день релиза, плюс проверка свежего Claude Desktop for Linux.

Содержательность 4.2

Много живых тестов, но они качественные и субъективные, без строгой общей таблицы метрик.

Инновационность идей 3.5

Новые не столько идеи, сколько полезный набор стресс-тестов для визуального agentic coding.

Практичность 4.1

Хорошо помогает решить, на каких задачах модель стоит пробовать, а где сразу держать ожидания ниже.

Достоверность 3.7

Честный hands-on, но выводы зависят от промптов, effort levels, конкретной среды и авторского вкуса.

Кому будет полезно

Чем выше оценка — тем больше пользы для профессии. Разверни — почему.

Для AI-tool evaluators 4.6 /5

Материал полезен как пример практического eval-набора, который проверяет не только ответы, но и конечное ощущение продукта.

Для frontend-разработчиков 4.4 /5

Тесты показывают, как модель ведёт себя на UI, 3D hero, canvas/WebGL и визуальной полировке.

Для game developers 4.3 /5

Есть несколько игровых задач: skate, FPS, skydiving, F1 и off-road driving, где хорошо видны слабые места physics/camera/game feel.

Для продуктовых менеджеров AI-инструментов 4 /5

Позволяет увидеть, как latency, effort level и визуальные дефекты превращаются в пользовательское разочарование.

Для дизайнеров интерактивных прототипов 3.8 /5

Видео помогает понять, где AI уже быстро делает черновик, а где без человеческого вкуса результат выглядит сырым.

Инсайты

Нажми, чтобы раскрыть — то, что меняет взгляд на тему

01 Визуальные задачи обнажают “почти” 12:41

Текстовый ответ может казаться хорошим, но 3D-сцена сразу показывает масштаб, камеру, коллизии, физику, текстуры и странные детали. Именно там средняя модель выглядит средней.

02 Скорость — часть качества модели 25:23

Если задача выполняется 40 минут или автор просит “просто дай, что есть”, это уже продуктовый недостаток. Даже приемлемый результат теряет ценность, когда доведение слишком дорогое.

03 Автобезопасность Anthropic заметна даже в игре 18:00

Момент с автоматическим раскрытием парашюта выглядит забавно, но хорошо показывает стиль модели: она иногда делает “безопаснее”, чем просили.

04 High effort не гарантирует high polish 10:50

Повышение effort level часто увеличивает время и объём попыток, но не всегда даёт пропорционально лучший gameplay, камеру или дизайн.

05 Свой eval должен быть ближе к реальной работе 32:00

Бенчмарки важны, но авторские тесты с OS, играми, 3D и дизайном показывают, как модель ощущается в продуктивном творческом цикле.

Ключевые цитаты

Сильные фразы из видео — нажми тайм-код, чтобы услышать в оригинале

«It is competent, but that’s for the pricing that it’s going to be.»
Bijan Bowen Финальная оценка соотношения качества и будущей цены. 33:20
«It just uses so many tokens.»
Bijan Bowen О главном раздражении после серии тестов. 32:51

Полезные советы

Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать

1

Собери свой визуальный eval-набор

полдня будешь сравнивать модели на задачах, похожих на твою работу

Не полагайся только на SWE-bench. Для frontend/game/devtools нужны тесты на layout, интерактивность, визуальные дефекты и пользовательское ощущение.

Что делать

  1. 1 Выбери 5 типовых задач: UI, интерактив, багфикс, визуальная сцена, доработка.
  2. 2 Определи критерии: работает, красиво, быстро, дешево, легко править.
  3. 3 Сохраняй скриншоты и стоимость каждого run.
2

Ставь таймбокс на agentic coding

10 минут не будешь ждать бесконечную “ещё одну правку”

Если модель не дала приемлемый результат за заранее заданное время, лучше остановить, сменить модель или сузить задачу.

3

Проверяй результат глазами, а не логом

15 минут поймаешь баги камеры, масштаба, UI и физики

Для визуальных прототипов обязательны screenshot/video review и ручное прохождение. Лог “done” ничего не доказывает.

4

Не трать high effort на черновик

5 минут сэкономишь деньги на ранних итерациях

Сначала запускай medium/high на грубый прототип, а дорогие уровни оставляй для задач с ясным критерием успеха.

5

Учитывай новый токенизатор в бюджете

20 минут не удивишься росту usage при похожем prompt

Официальная документация Anthropic предупреждает, что Sonnet 5 может давать больше токенов на тот же текст. Пересчитай лимиты и max_tokens.

Сценарии применения

Как разные люди применяют это на практике

Я как Frontend-разработчик

Проблема: модель генерирует красивое описание, но UI выглядит сыро

Хочу: быстро понять, где нужна ручная полировка

Поможет: разбор показывает, что надо проверять layout, 3D-объекты, размеры и адаптивность

Я как Game developer

Проблема: AI-прототип запускается, но играть неприятно

Хочу: оценивать не только наличие механик, но и game feel

Поможет: примеры skate/FPS/skydiving показывают чек-лист: камера, коллизии, скорость, управление, финальные состояния

Я как AI-инженер

Проблема: непонятно, какой effort level ставить

Хочу: сбалансировать качество, время и стоимость

Поможет: ролик подсказывает тестировать уровни на собственных задачах, а не верить названию “max”

Я как Продуктовый менеджер devtool

Проблема: демо выглядит впечатляюще, но пользователи жалуются на ожидание

Хочу: понять, почему latency убивает perceived quality

Поможет: вывод о скорости как части качества помогает менять UX и routing

Логика повествования

Как устроена аргументация видео — пройди по шагам

Предпосылка Пример Аргумент Вывод
  1. Предпосылка Модель заявлена как сильная Sonnet 1:20

    Официальный анонс обещает agentic coding и более широкие effort levels.

  2. Пример Практический тест начинается с больших демо 4:19

    Browser OS показывает способность собирать много функций, но и первые шероховатости.

  3. Пример Игры раскрывают слабые детали 10:50

    Скейт, FPS и F1 работают, но камера, физика, масштаб и polish часто не дотягивают.

  4. Аргумент Длинные runs меняют впечатление 25:23

    Когда автор останавливает модель или ждёт десятки минут, приемлемость результата оценивается иначе.

  5. Вывод Финальный вывод: компетентно, но не прорыв 32:00

    Sonnet 5 полезна, но на текущей цене и скорости не выглядит лучшим выбором для большинства задач.

Подробный разбор

Полный разбор — разверни, если нужно глубже

Развернуть подробный разбор

Подробный разбор

Видео Bijan полезно тем, что не спорит абстрактно о бенчмарках. Автор берёт модель и гоняет её через задачи, где результат надо увидеть: браузерная ОС, 3D-игры, метро, сайт часов, город по эпохам, 3D-ноутбук и барабаны. Это сразу вскрывает разницу между “код написан” и “продукт ощущается хорошо”.

Sonnet 5 почти нигде не выглядит беспомощной. Она делает рабочие интерфейсы, сцены, взаимодействия, звуки и визуальные детали. Но почти везде появляется “да, но”: слишком долго, камера странная, физика слабая, масштаб не тот, полировка сыровата, результат пришлось остановить раньше финала.

Официальная документация Anthropic подтверждает контекст, который важен для такой оценки: Sonnet 5 получила новый токенизатор, adaptive thinking по умолчанию и вводную цену до 31 августа 2026 года, после чего стандартная цена возвращается к 3/15 долларов за миллион токенов. Поэтому практический вывод простой: тестировать её надо не по названию релиза, а по своей полной стоимости результата.

Внешняя сверка: официальные страницы Anthropic про Claude Sonnet 5 и изменения Sonnet 5 для разработчиков.

План внедрения

С чего начать — отмечай шаги, прогресс сохранится

Выполнено 0 из 5

Проверь себя

Ответь на вопросы, чтобы материал закрепился

Отвечено: 0 / 4 Верно: 0

  1. 1. Что больше всего раздражает автора после тестов?

  2. 2. Почему визуальные тесты полезны для оценки coding-моделей?

  3. 3. Какой вывод про effort levels лучше всего следует из ролика?

  4. 4. Что надо делать после AI-генерации визуального прототипа?

Словарь терминов

Понять незнакомое простым языком

Показать 4 термина
Effort level
Уровень вычислительных усилий модели: больше reasoning/попыток может повысить качество, но обычно увеличивает время и стоимость.
Agentic coding
Разработка, где модель сама планирует, редактирует файлы, запускает инструменты, проверяет и исправляет результат.
Game feel
Субъективное ощущение игры: управление, скорость, камера, физика, звук и обратная связь.
Multimodal coding
Задача, где модель использует не только текст, но и изображения или другие медиа для создания кода.

Критический взгляд

Объективно: с какими тезисами можно поспорить и что преувеличено

Однобоко

Тесты живые, но не строго воспроизводимые.

Промпт, окружение, effort level, выбранный интерфейс и остановка runs влияют на результат. Это хороший hands-on, но не лабораторный benchmark.

Упрощение

Визуальные и игровые задачи могут занижать полезность модели для обычного кода.

Sonnet 5 может быть лучше в scoped bugfix, summarization, research или refactoring, чем в 3D-прототипах с камерой и физикой.

Спорно

Фраза “не впечатлён” может скрывать, что средняя модель уже делает много.

Да, результат не Opus-класса, но browser OS, 3D-сцены и игры из одного prompt — всё ещё значимая практическая способность.

Взгляни иначе

Новый угол, смежные области и потенциал на стыке — пища для размышлений

Другой угол

AI-оценка должна включать скуку ожидания

Пользователь оценивает не только финальный артефакт, но и то, сколько он ждал, сколько вмешивался и насколько нервничал.

Смежная область

Визуальный benchmark — это UX-тест модели

Код может компилироваться, но если камера неудобная, UI скачет, а объект не похож на референс, модель провалила пользовательскую задачу.

На стыке областей

Будущее coding-моделей требует QA-агентов

Чем больше модели генерируют визуальные продукты, тем важнее отдельные агенты, которые смотрят, кликают, меряют пиксели и оценивают полировку.

Похожие разборы

Разбор

Fable 5 после возвращения: магия творческих тестов и цена Ultra Code

Fable 5 после возвращения выглядит особенно сильной там, где нужно связать код, визуал, звук, лор и интерактивность в один живой прототип. Но чем ближе тест к магии, тем яснее цена: Ultra Code быстро сжигает лимиты, а результат всё равно требует человеческой оценки.

Читать → Разбор

Как дизайнер проектирует вместе с ИИ-агентами: живой рабочий процесс Ridd

Дизайнер Ridd в прямом эфире показывает свой реальный (и хаотичный) процесс с ИИ-агентами: десятки параллельных веток кода, исследования в Paper, плейграунды и пинг-понг моделей вместо аккуратных макетов в Figma. Главный вывод — не про инструменты (они протухают каждые ~5 месяцев), а про то, КАК работать с ИИ: давать контекст, общаться как с человеком и идти вширь, прежде чем нырять в код.

Читать → Разбор

Многоагентный вайб-кодинг: пошаговый workflow от идеи до продакшена

Автор показывает свой процесс вайб-кодинга: главный навык — не писать код, а оркестрировать рой агентов, масштабируя их число и планы под сложность задачи. За одно видео он вживую собирает полный стек (база, API, AWS, Discord-авторизация), но половина «обязательных инструментов» — его же платные продукты.

Читать → Разбор

Почему AI-агент ломает уже работающий код — и как это чинит проектная документация (ТЗ)

Вайбкод-приложения разваливаются не из-за слабой модели, а потому что у агента нет карты проекта: он забывает детали в забитом контексте и не видит связи между частями кода. Лечение — заранее написать подробное ТЗ-документацию, разбить её по файлам с оглавлениями и правилами заставить агента всегда на неё опираться.

Читать →
← Все разборы Смотреть видео-источник