Субквадратичное внимание SubQ и ещё 10 ИИ-новостей: где прорыв, а где маркетинг

Простыми словами

Современные нейросети-«трансформеры» при чтении длинного текста сравнивают почти каждое слово с каждым — поэтому удлинение документа резко удорожает работу (вдвое длиннее текст → примерно вчетверо больше вычислений). Стартап из Майами SubQ заявил, что научил модель сравнивать не «все со всеми», а только важные по смыслу слова, и за счёт этого читать гигантские документы (до 12 млн токенов — это сотни книг разом) в десятки раз быстрее и в сотни раз дешевле. Звучит как прорыв, но есть нюанс: компания никому не отдала саму модель («веса закрыты»), а почти все красивые цифры посчитала сама. Остальная часть выпуска — россыпь новостей: колонка Google теперь говорит голосом Gemini, Белый дом требует от Anthropic закрыть «джейлбрейки», Безос обещает не безработицу, а нехватку рабочих рук, Adobe собрала ИИ-помощника во все свои редакторы, Alibaba выпустила набор моделей для роботов, Claude Code научился публиковать интерактивные веб-страницы, а OpenAI выяснила, что «хорошие привычки» у модели разносятся так же заразно, как и плохие.

Как ребёнку

Представь, что робот читает огромную книжку и каждое слово сравнивает со всеми остальными — он очень устаёт и читает медленно. Одна компания говорит: «А давайте он будет смотреть только на самые важные слова!» Тогда он прочитает даже сто книг быстро и почти не устанет. Только вот эту умную книгочиталку никому не дали потрогать — поэтому пока непонятно, правда ли она такая быстрая, или это просто красивые слова.

Аналогия — «это как…»

Это как разница между тем, чтобы прочитать каждое письмо в огромном архиве целиком, и тем, чтобы умный секретарь сразу вытаскивал только те три папки, которые относятся к делу. Секретарь работает в разы быстрее — но если он сидит за закрытой дверью и сам себе ставит оценки, поверить ему на слово трудно.

Зачем это мне

Длина контекста и его цена — это потолок для всего, что ты можешь поручить ИИ: проанализировать весь репозиторий кода, годовую отчётность или сотню договоров «одним куском», без костылей с нарезкой. Если субквадратичное внимание реально работает, дорогие задачи с огромным контекстом подешевеют в разы — и это прямо повлияет на счета за API и на то, какие продукты вообще станут возможны. Но ровно поэтому важно отличать подтверждённый прорыв от вендорского пресс-релиза: этот выпуск — наглядный тренажёр такого скепсиса.

Для тех, кто в теме

SubQ (Subquadratic, Майами, $29M seed, выход из стелса 05.05.2026) заявляет SSA — content-dependent sparse attention с точным (не аппроксимированным) вычислением внимания по отобранным по смыслу токенам, near-linear scaling. Заявленные числа: prefill до ~52× быстрее FlashAttention-2 @1M, ~64.5× меньше compute @1M, ~1000× меньше attention-compute @12M; RULER 99.12% @128k и needle 100% @1.2M / 98% @6.12M (самоотчёт), GPQA Diamond 85.4, LiveCodeBench 89.7; ~$8 против ~$2600 у Opus на длинной задаче. Метод — не с нуля: dense-внимание заменили на SSA в открытой базовой модели, контекст растили 262k→512k→1M→2M, дообучили на ~1T токенов длинных текстов. Критично: веса закрыты, полного tech report нет, верификация лишь частичная (Appen); независимые прогоны расходятся (MRCR ~66% против вендорских ~83%; RULER@128k в сторонних обзорах ~95.0%, а не 99.12%) — пока это claim, а не reproduced result. Остальные сюжеты — компиляция чужих анонсов без авторской аналитики.