Разборы · Статья: · Видео: · 13:05
Голос на входе, картинка на выходе: как обойти тиранию задержки в AI-агентах
Аллен Пайк из Forestwalk Labs объясняет, почему связка «говоришь голосом — получаешь визуал» практичнее полноценного голос-в-голос диалога, и делится тремя техниками, которые удерживают ответ агента в пределах секунды: быстрая модель, короткие интервалы инференса и стабильное кеширование префикса.
Смотреть на YouTube Voice In, Visuals Out: The Agony and the Ecstasy - Allen Pike, Forestwalk Labs
AI Engineer · 13:05
Главы видео — нажми, чтобы перейти к моменту 10
- 0:00 Тезис Карпаты: голос — вход, визуал — выход Карпаты утверждает: голос — предпочтительный ввод для ИИ, а визуал — предпочтительный вывод. Но строим и пользуемся мы всё ещё через набор текста.
- 1:14 Визуал на выходе уже готов Треть мозга занята зрением; модели научились генерить богатый HTML, tool calling, интерактивные контролы и иллюстрации — потолок «визуала наружу» резко поднялся.
- 2:12 Голос на входе — спорная половина Siri и голосовой режим ChatGPT научили людей, что голосовые интерфейсы медленные и тупые, поэтому в голосовой ввод многие не верят.
- 3:09 Почему речь — самый плотный канал В речи больше слов в минуту и больше смысла в каждом слове: «окей» и «ОКЕЙ» — разные сообщения. Ради важного мы созваниваемся или встречаемся лично.
- 4:08 Агент в звонке: реакция на намерение На созвоне Пайк сказал «давай заведём это как задачу в Linear» — голосовой агент за секунду сделал это, не перебивая. Он действует по намерению, а не отвечает голосом.
- 5:22 Тирания задержки: 100, 1000 и 200 мс С 60-х известно: мгновенным ощущается отклик за 100 мс, к секунде теряется нить мысли, а для живого голос-в-голос диалога нужно уложиться в 200 мс на весь чейн.
- 7:52 Обход: голос внутрь, картинка наружу Не нужно ждать новых архитектур: перейдя к визуалу на выходе, получаем более щадящее окно — результат на экране за секунду уже ощущается бесшовным.
- 8:46 Техника 1: быстрая модель Нужна маленькая модель на платформе с приоритетом задержки. GPT-5 mini давал 5–10 с P95; Haiku-класс держит планку. Тяжёлое — асинхронно крупной модели.
- 10:20 Техника 2: короткие интервалы инференса Не ждать секунду тишины, а слать инференс каждые 1–2 секунды прямо по ходу речи — отклик ощущается заметно более живым.
- 11:31 Техника 3: стабильное кеширование Prefix caching: держать первые ~90% контекста одинаковыми от запроса к запросу, менять последние 10% и минимизировать output — до 90% дешевле и быстрее.
Коротко
Полноценный голос-в-голос диалог требует ответа за 200 мс и упирается в тиранию задержки, а вот схема «голос на входе, визуал на выходе» живёт в более щадящем окне до секунды и уже сегодня даёт приятный отклик. Чтобы попасть в это окно, нужны три вещи: очень быстрая модель на low-latency платформе, ранний инференс каждые 1–2 секунды речи и агрессивное кеширование префикса контекста.
Выжимка голосом
Самое ценное из разбора — за пару минут
Показать текст выжимки Скрыть текст выжимки
Озвучено синтезом речи · голос alena
Объясни проще
Суть без жаргона
Простыми словами
Аллен Пайк рассказывает, как строить AI-помощников, которым удобно говорить вслух, а ответ они показывают на экране — картинкой, таблицей, интерактивным элементом или готовым действием. Полноценный голосовой диалог «туда-обратно» технически очень тяжёл: чтобы разговор ощущался живым, ответ должен прийти за 200 миллисекунд, а на это не хватает времени из-за сети, распознавания речи и работы модели. Если же ответ показывать визуально, окно комфортного отклика растягивается почти до секунды, и всё становится реально. Дальше он даёт три инженерных приёма: брать быструю модель на платформе с низкой задержкой, отправлять запрос к модели, не дожидаясь конца фразы, и держать начало контекста неизменным ради кеша.
Как ребёнку
Представь помощника, которому ты говоришь вслух, а он не отвечает голосом, а быстро рисует ответ на экране или сразу делает дело. Разговаривать голосом туда-обратно у компьютера пока плохо получается: он думает слишком долго и выходит неловко. А вот показать картинку он успевает быстро, поэтому получается приятно. Секрет — думать маленькой и шустрой головой, начинать думать ещё пока ты говоришь, и запоминать начало разговора, чтобы каждый раз не перечитывать заново.
Аналогия — «это как…»
Это как разница между телефонным звонком и перепиской с быстрым помощником, который на лету рисует тебе схему. В звонке любая пауза больше секунды рушит живость разговора — планка жёсткая. А когда ты просто проговариваешь мысль вслух и через мгновение на экране появляется готовый результат, лёгкая задержка почти незаметна, как когда официант молча кивнул и уже понёс заказ на кухню.
Зачем это мне
Голосовой ввод — самый плотный канал общения человека: больше слов в минуту и больше смысла в каждом слове. Но лобовая попытка сделать «говорю — отвечает голосом» разбивается о задержку, и продукты выходят медленными и глупыми. Схема «голос на входе, визуал на выходе» — это обходной путь, который уже сегодня позволяет строить приятные агентные интерфейсы без ожидания новых архитектур, и три названные техники прямо переносятся в любой real-time или часто вызываемый агент.
Для тех, кто в теме
Ключевая дельта доклада — не новая модель, а продуктовое решение: отказаться от voice-in-voice-out (бюджет 200 мс на весь чейн STT→inference→сеть) в пользу voice-in-visuals-out с окном отклика ~1 с. Три практики удержания в окне: (1) soft-real-time модель класса Haiku на latency-first инференс-платформе (GPT-5 mini давал 5–10 с P95), с асинхронным хэндоффом тяжёлой работы более крупной модели и интерливингом ответов; (2) eager inference каждые 1–2 с речи вместо ожидания секунды тишины; (3) prefix caching — держать первые ~90% контекста стабильными от запроса к запросу и минимизировать output-токены ради до 90% дешевле/быстрее.
Оценка видео
Чем выше — тем больше пользы на минуту
средняя из 5
Тема голос-в-визуал и low-latency агентов на пике: доклад свежий, ссылается на GPT-5 mini, Haiku и недавние демо Thinking Machines.
За 13 минут — чёткая рамка задержки и три конкретные техники, но без цифр архитектуры, кода и замеров дальше P95-примера.
Сам обход «не боритесь за 200 мс, смените выход на визуал» — сильный продуктовый инсайт, хотя техники (кеш, быстрая модель) известны по отдельности.
Три приёма переносятся в любой real-time агент напрямую: класс модели, интервал инференса, стабильный префикс.
Много опыта из первых рук (Linear-агент, латентности GPT-5 mini vs Haiku), но это единичные наблюдения без публичных бенчмарков.
Кому будет полезно
Чем выше оценка — тем больше пользы для профессии. Разверни — почему.
Для разработчиков голосовых и агентных интерфейсов 4.9 /5
Прямое попадание: доклад про то, где именно ломается голосовой UX и как построить отзывчивый агент через визуальный выход и ранний инференс.
Для ML- и LLM-инженеров 4.5 /5
Разбор выбора модели по P95-задержке, асинхронного хэндоффа тяжёлой работы и prefix caching — прямые рычаги латентности и стоимости инференса.
Для продуктовых дизайнеров и UX-специалистов 4.3 /5
Даёт продуктовую рамку: какие человеческие пороги отклика (100/200/1000 мс) определяют, будет ли интерфейс ощущаться живым.
Для основателей AI-стартапов 4 /5
Показывает, как обойти дорогую техническую проблему продуктовым решением и не ждать новых архитектур, чтобы запуститься уже сейчас.
Для backend- и инфраструктурных инженеров 3.8 /5
Про инференс-платформы с приоритетом задержки, стабильность префикса и минимизацию output-токенов — это про архитектуру и бюджет запросов.
Инсайты
Нажми, чтобы раскрыть — то, что меняет взгляд на тему
01 Не улучшай голосовой диалог — смени выход на визуал 7:52
Большинство бьётся за невозможные 200 мс полного голос-в-голос чейна. Пайк переворачивает задачу: если ответ показывать на экране, комфортное окно отклика растягивается почти до секунды, и та же проблема исчезает без новых архитектур.
02 Отзывчивость агента — не про голос, а про действие по намерению 4:50
Лучший голосовой агент не обязан отвечать голосом. Он молча выполняет намерение — заводит задачу, меняет состояние — и не перебивает. Ценность в бесшовном действии, а не в синтезе речи.
03 Речь ценна не скоростью набора, а плотностью смысла 3:31
Голос выигрывает не только словами в минуту: интонацией «окей» против «ОКЕЙ» мы передаём то, что текстом пришлось бы расписывать. Поэтому ради важного люди созваниваются, а не пишут.
04 Дешёвая модель может оказаться дорогой по задержке 6:37
GPT-5 mini дешевле старшей модели, но давал 5–10 с P95 — для real-time это провал. Цена за токен ничего не говорит об отзывчивости: смотреть надо на P95-латентность инференс-платформы.
05 Не жди тишины — думай, пока человек ещё говорит 10:20
Классический паттерн «ждём секунду молчания, потом инференс» сжигает весь бюджет отклика впустую. Ранний инференс каждые 1–2 секунды прямо по ходу речи ощущается принципиально живее.
Ключевые цитаты
Сильные фразы из видео — нажми тайм-код, чтобы услышать в оригинале
«Голос — предпочитаемый человеком вход для ИИ, а визуал мы предпочитаем на выходе.»
«Треть нашего мозга занята обработкой визуальной информации. Мы любим смотреть на вещи.»
«Модели, что у нас есть, оказались одновременно медленными и тупыми — не лучшее сочетание.»
«Есть огромная разница между тем, скажешь ли ты мне «окей» или «ОКЕЙ».»
«Ему не обязательно быть голосом. Оно просто действует по твоему намерению.»
«Нам не нужно ждать новых архитектур — можно просто перейти к голосу на входе и визуалу на выходе.»
«На практике для GPT-5 mini мы видели задержки в 5000, 7000 на P95, иногда 10000 миллисекунд.»
«Мы хотим, чтобы первые 90% контекстного окна были одинаковыми от запроса к запросу, а менялись только последние 10%.»
Полезные советы
Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать
1 Сначала попробуй визуальный выход вместо голосового
полдня на прототип уходишь из жёсткого окна 200 мс в щадящее ~1 с и сразу получаешь приятный отклик
Сначала попробуй визуальный выход вместо голосового
Прежде чем строить полноценный голос-в-голос, сделай так, чтобы голос был только вводом, а ответ появлялся на экране картинкой, таблицей, интерактивным блоком или готовым действием.
Что делать
- 1 Определи, что реально нужно вернуть пользователю — текст-в-голос или визуальный результат/действие.
- 2 Сделай выход визуальным: HTML-блок, схема, изменение состояния, выполненное действие.
- 3 Целься в отклик на экране в пределах секунды, а не в 200 мс голосового ответа.
2 Выбирай модель по P95-задержке, а не по цене за токен
1–2 часа замеров не соберёшь real-time продукт на модели, которая иногда думает 10 секунд
Выбирай модель по P95-задержке, а не по цене за токен
Дешёвая маленькая модель бесполезна, если инференс-платформа не приоритизирует задержку. Замерь именно хвост распределения (P95), а не средний случай.
Что делать
- 1 Прогони свой типичный запрос сотни раз и построй распределение задержки.
- 2 Сравни P95 у моделей класса Haiku и у маленьких моделей других провайдеров.
- 3 Отсекай варианты по потолку задержки, а уже потом смотри на цену.
3 Дели работу на быструю и тяжёлую
на этапе архитектуры мгновенный отклик пользователю и качество там, где нужна большая модель
Дели работу на быструю и тяжёлую
Пусть быстрая soft-real-time модель отвечает моментально, а тяжёлую задачу асинхронно отдаёт крупной думающей модели и вплетает её результат позже.
Что делать
- 1 Раздели запросы на «ответить сейчас» и «требует размышления».
- 2 Тяжёлое отправляй асинхронным сообщением большой модели.
- 3 Интерливь её ответ в диалог, когда он готов, не блокируя быстрый цикл.
4 Запускай инференс, не дожидаясь конца фразы
настройка пайплайна ответ ощущается живым, а не «подумал после паузы»
Запускай инференс, не дожидаясь конца фразы
Не жди секунду тишины перед отправкой в модель. Слать инференс каждые 1–2 секунды по ходу речи, даже если не уверен, что человек договорил.
Что делать
- 1 Убери правило «ждём N секунд молчания перед запросом».
- 2 Введи таймер: отправлять накопленную речь каждые 1–2 секунды.
- 3 Обрабатывай докатывающиеся уточнения как продолжение того же намерения.
5 Держи первые 90% контекста неизменными
рефактор промпта до 90% дешевле и быстрее инференс за счёт prefix cache
Держи первые 90% контекста неизменными
Prefix caching даёт скидку и скорость, только если начало контекста совпадает от запроса к запросу. Всё стабильное — вперёд, изменчивое — в конец.
Что делать
- 1 Вынеси системные инструкции и статичный контекст в начало промпта.
- 2 Все меняющиеся данные держи в последних ~10% контекста.
- 3 Проверь, что провайдер реально засчитывает кеш-хиты по префиксу.
6 Минимизируй число output-токенов
ревизия промпта короче ответ модели — быстрее и дешевле каждый ход
Минимизируй число output-токенов
Латентность и стоимость сильно зависят от длины генерации. Для отзывчивого агента проси у модели минимально необходимый вывод — команду, короткий блок, действие.
Что делать
- 1 Уточни в промпте формат: краткий структурированный ответ, не эссе.
- 2 Выноси развёрнутый контент в отложенный тяжёлый цикл, если он нужен.
- 3 Замерь, как сокращение вывода влияет на время до готового результата.
Сценарии применения
Как разные люди применяют это на практике
Я как Разработчик голосового ассистента для созвонов
Проблема: полноценный голос-в-голос выходит медленным и неловким, пользователи разочарованы
Хочу: сделать помощника, который ощущается мгновенным
Поможет: схема «голос на входе, действие/визуал на выходе» уводит из окна 200 мс в щадящую секунду
Я как LLM-инженер real-time продукта
Проблема: выбрали дешёвую модель, а она иногда отвечает по 8–10 секунд
Хочу: подобрать модель, которая стабильно быстра
Поможет: доклад показывает мерить P95-задержку платформы и брать Haiku-класс для мгновенного цикла
Я как Продуктовый дизайнер AI-интерфейса
Проблема: непонятно, какая задержка допустима, чтобы интерфейс ощущался живым
Хочу: опереться на конкретные пороги отклика
Поможет: получает человеческие планки 100/200/1000 мс и правило «визуал за секунду ощущается бесшовным»
Я как Основатель AI-стартапа
Проблема: кажется, что для голосового продукта нужно ждать прорывных архитектур
Хочу: запуститься на сегодняшних моделях
Поможет: видит продуктовый обход: сменить выход на визуал и строить приятный опыт уже сейчас
Я как Инфраструктурный инженер
Проблема: инференс дорогой, а под нагрузкой ещё и тормозит
Хочу: снизить и стоимость, и задержку
Поможет: получает связку prefix caching + стабильный префикс + минимум output-токенов до 90% экономии
Я как Backend-разработчик агента
Проблема: тяжёлые задачи блокируют быстрый отклик агента
Хочу: сохранить отзывчивость при сложной работе
Поможет: узнаёт паттерн асинхронного хэндоффа крупной модели с интерливингом ответа
Логика повествования
Как устроена аргументация видео — пройди по шагам
-
Предпосылка Голос — вход, визуал — выход 0:20
Тезис Карпаты: люди предпочитают говорить ИИ голосом, а получать ответ визуально; но строим мы всё ещё через текст.
-
Аргумент Визуал наружу уже возможен 1:14
Треть мозга — зрение, а модели научились генерить HTML, интерактивные контролы и иллюстрации. Потолок визуального выхода поднялся.
-
Аргумент Голос — самый плотный ввод человека 3:09
Больше слов в минуту и больше смысла в каждом слове; ради важного мы созваниваемся. Значит, голосовой ввод стоит того.
-
Пример Пример: агент завёл задачу в Linear 4:08
Сказал на созвоне «заведи это как задачу» — агент за секунду сделал, не перебивая. Ценность в действии по намерению.
-
Аргумент Барьер — тирания задержки 5:22
Для живого голос-в-голос нужен весь чейн STT→inference→сеть за 200 мс. Это почти невозможно без новых архитектур.
-
Вывод Вывод: смени выход на визуал 7:52
Визуальный ответ живёт в окне до секунды — не нужно ждать прорывных архитектур, можно строить приятный опыт сегодня.
-
Вывод Как удержаться в окне: три техники 8:46
Быстрая модель на low-latency платформе, ранний инференс каждые 1–2 с и стабильное кеширование префикса контекста.
Подробный разбор
Полный разбор — разверни, если нужно глубже
Развернуть подробный разбор Свернуть подробный разбор
Стоит ли смотреть целиком
Да, если ты строишь голосовые или агентные интерфейсы и упираешься в отзывчивость. Доклад короткий (13 минут) и делает две вещи очень чётко: даёт продуктовую рамку задержки с человеческими порогами (100/200/1000 мс) и переворачивает саму постановку задачи — вместо героической борьбы за невозможные 200 мс полного голос-в-голос предлагает сменить выход на визуал и сразу оказаться в щадящем окне до секунды.
Практическая ценность — в трёх переносимых техниках: быстрая модель, отобранная по P95-задержке, а не по цене; ранний инференс каждые 1–2 секунды прямо по ходу речи; и стабильный префикс контекста ради prefix cache и минимума output-токенов. Это не про конкретный фреймворк, а про принципы, которые ложатся в любой real-time или часто вызываемый агент.
Чего в докладе нет
Пайк даёт направление, но не показывает код, схему архитектуры или публичные замеры. Цифры вроде «GPT-5 mini — 5–10 секунд P95» и история с Linear-агентом — это опыт одной команды на конкретный момент, а не воспроизводимый бенчмарк. Поэтому берите отсюда рамку мышления и три техники, но собственные латентности и выбор модели проверяйте своими замерами на своей нагрузке.
План внедрения
С чего начать — отмечай шаги, прогресс сохранится
Выполнено 0 из 4
Проверь себя
Ответь на вопросы, чтобы материал закрепился
-
1. Почему Пайк предлагает «голос на входе, визуал на выходе» вместо полного голос-в-голос?
-
2. Какой порог задержки нужен для живого голос-в-голос диалога?
-
3. Что не так с выбором дешёвой модели вроде GPT-5 mini для real-time по опыту Пайка?
-
4. Как Пайк советует запускать инференс относительно речи пользователя?
-
5. В чём суть стабильного кеширования префикса (prefix caching)?
-
6. Что, по Пайку, делает хороший голосовой агент, когда понимает намерение?
Словарь терминов
Понять незнакомое простым языком
Показать 6 терминов Свернуть словарь
- Voice in, visuals out
- Схема взаимодействия, где человек управляет голосом, а система отвечает визуально — картинкой, интерфейсом или выполненным действием, а не синтезом речи.
- Латентность (задержка)
- Время от действия пользователя до отклика системы. Пороги: ~100 мс ощущается мгновенным, к ~1 с теряется нить мысли, ~200 мс нужно для живого голосового диалога.
- P95-задержка
- Значение, ниже которого укладывается 95% запросов. Показывает «плохие» хвостовые случаи, а не средний — именно они портят ощущение отзывчивости.
- Prefix caching (кеширование префикса)
- Оптимизация, при которой повторяющееся начало контекста не считается заново: если первые токены совпадают от запроса к запросу, инференс становится до 90% дешевле и быстрее.
- Soft real-time
- Режим, где отклик желательно быстрый, но редкие превышения дедлайна терпимы — в отличие от жёсткого real-time, где просрочка недопустима.
- Асинхронный хэндофф
- Передача тяжёлой задачи более крупной модели в фоне, пока быстрая модель продолжает мгновенно отвечать, а результат вплетается в диалог позже.
Критический взгляд
Объективно: с какими тезисами можно поспорить и что преувеличено
Три техники поданы как рецепт, но подкреплены единичным опытом, а не бенчмарками
Латентности GPT-5 mini vs Haiku и история с Linear-агентом — наблюдения из практики одной команды. Полезно как ориентир, но без публичных замеров и деталей архитектуры это не воспроизводимое доказательство.
Пример «GPT-5 mini — 10 секунд» рискует устареть очень быстро
Латентность инференс-платформ меняется от релиза к релизу и от нагрузки. Конкретная цифра — снимок момента, а не устойчивое свойство модели; через квартал сравнение может быть иным.
Визуальный выход подан как почти всегда лучший, но так не для всех сценариев
Для вождения, готовки, помощи незрячим или работы «без рук» именно голосовой ответ незаменим. «Visuals out» решает проблему задержки ценой отказа от ситуаций, где экран смотреть нельзя.
Порог «200 мс для голос-в-голос» подан как жёсткая константа
Это разумный ориентир из HCI, но комфортная планка зависит от языка, контекста, культуры пауз и типа диалога. Живые люди тоже делают паузы дольше 200 мс без потери связности.
Взгляни иначе
Новый угол, смежные области и потенциал на стыке — пища для размышлений
Обход задержки — временный: архитектуры догонят
Пайк сам упоминает time-sliced инференс Thinking Machines на 200 мс чанках. Если такие подходы созреют, полноценный голос-в-голос станет доступен, и «visuals out» превратится из необходимости в один из вариантов дизайна, а не в единственный обход.
Тот же приём — в робототехнике и физических интерфейсах
Правило «действуй по намерению, не блокируя быстрый цикл» и разделение на soft-real-time отклик и тяжёлую фоновую работу — это ровно паттерн управления роботами и автономными системами, где мгновенная реакция и медленное планирование живут в разных контурах.
Плотность голоса меняет и то, как мы пишем промпты
Если интонация «окей» против «ОКЕЙ» несёт смысл, то будущее не в транскрипте, а в передаче модели просодии — тона, пауз, ударений. На стыке распознавания речи и LLM появляется новый вход, богаче голого текста.
Визуальный ответ — это ещё и след для доверия
Голос улетучивается, а показанный на экране результат остаётся: его можно перепроверить, отменить, сослаться на него. «Visuals out» ценен не только задержкой, но и тем, что делает действия агента наблюдаемыми и обратимыми.
Похожие разборы
Domain-specific агенты: почему будущее за роем узких ИИ, а не за одним всемогущим
Компании пытаются интегрировать ИИ, навешивая на один большой агент всё больше MCP и skills — и упираются в раздувание контекста и хрупкость. Автор доказывает, что будущее за композицией: рой узких доменных агентов, каждый со своей моделью, инструментами и памятью, координируемых на обычном языке — это дешевле, безопаснее и масштабируется.
Читать → РазборПромпт — это всё ещё перфокарта: почему мы до сих пор учимся говорить с ИИ
Модели поумнели невероятно, но протокол общения с ними остался пакетным, как у перфокарт 1950-х: собери всю просьбу, отправь, жди ответ. Настоящий следующий шаг ИИ — не более умная модель за тем же окном ввода, а интерфейс, который сам участвует в разговоре и снимает лишнюю ношу с человека.
Читать → РазборМодель предлагает — платформа решает: инфраструктура надёжности для автономных ИИ-агентов
При переходе от чатботов к автономным агентам узкое место смещается с интеллекта модели на надёжность инфраструктуры вокруг неё. Модель должна лишь предлагать действия, а проверять, одобрять и исполнять их обязана детерминированная платформа — и именно она, а не лучший промпт, становится конкурентным преимуществом.
Читать → РазборАгент со 100 инструментами — это ловушка: почему точность падает и как её вернуть роутингом
Если сваливать в промпт все определения инструментов сразу, агент тонет в контексте: на 741 инструменте точность выбора падает до 13,6%, а промпт раздувается до 127 000 токенов ещё до вопроса пользователя. Лечится это семантическим роутингом — ретривом 3–5 релевантных инструментов под конкретный запрос, который держит точность выше 83% и режет токены на инструменты почти на 99%.
Читать →