Почему расширение контекста в стандартном трансформере упирается сразу в две разные проблемы?

Вычисления растут квадратично из-за попарных взаимодействий элементов, а память растёт линейно с длиной последовательности. Верно: это два независимых узких места. Квадратичность вычислений идёт от self-attention — каждый элемент последовательности взаимодействует с каждым (попарно). Память же растёт линейно с длиной: это «менее страшно», но всё равно тяжело без специальных техник. Их важно держать в голове раздельно — они лечатся разными приёмами.

В чём основная идея DeepSpeed Ulysses (Ulysses context parallelism)?

Каждый GPU отвечает за свои attention-головы, но вычисляет attention над всей последовательностью, обмениваясь активациями по мере надобности. Верно: Ulysses распараллеливает не по последовательности, а по головам — один GPU отвечает за одну (или несколько) голову, но считает её над всей последовательностью, перекидывая нужные активации между GPU. Бонус — можно взять лучшую реализацию attention (flash attention 1/2/3), потому что каждая голова считается целиком.

Чем «U-Pipe» — главная оптимизация авторов — отличается от обычного Ulysses?

Он замечает, что даже один набор голов насыщает GPU, поэтому головы на одном GPU делятся на чанки, обрабатываются по очереди во времени, а буфер переиспользуется между итерациями. Верно: ключевое наблюдение — одного набора голов уже достаточно, чтобы загрузить GPU на одну итерацию. Значит, если на GPU назначено несколько голов, их можно разбить на чанки и прогонять последовательно во времени, переиспользуя один небольшой буфер вместо аллокации огромного. Так экономится память активаций почти без потери пропускной способности на малых масштабах.

Что делает activation checkpointing и какой ценой достигается экономия?

Не хранит часть активаций, а пересчитывает их на обратном проходе — экономит память ценой дополнительных вычислений. Верно: activation checkpointing не хранит активации, а пересчитывает их тогда, когда они нужны на backward. Это классический размен «память против вычислений»; спикер отдельно подчёркивает, что включать его надо аккуратно, чтобы не навесить слишком большую вычислительную нагрузку. В докладе это дало ещё ~8x экономии активаций.

Какой главный практический вывод делает спикер про обучение на длинном контексте?

Узкие места появляются там, где их меньше всего ждёшь, поэтому нужен профайлинг (PyTorch Profiler) и стек из нескольких приёмов. Верно: итог доклада — масштабирование контекста коварно, бутылочные горлышки возникают неожиданно. Поэтому спикер настаивает на инструментах вроде PyTorch Profiler и на комбинировании техник (FSDP, Ulysses, checkpointing, CPU-offload, tiling/Arctic, U-Pipe) — стек, а не одна «серебряная пуля».

Разборы · Статья: 14 июня 2026 г. · Видео: 8 июня 2026 г.

Как уместить 5 млн токенов контекста на одном узле H100: стек оптимизаций памяти при обучении LLM

Name: Road to 5 Million Tokens: Breaking Barriers in Long Context Training — Max Ryabinin
Uploaded: 2026-06-08T00:00:00.000Z
Description: Технический доклад Max Ryabinin (Together AI): послойное наложение приёмов (FSDP, Ulysses context parallelism, activation checkpointing, offload, Arctic-tiling) доводит контекст LLM до 3 млн токенов на одном узле H100, а авторский U-Pipe — до 5 млн почти без потери throughput.

Технический доклад Max Ryabinin (Together AI): послойное наложение приёмов (FSDP, Ulysses context parallelism, activation checkpointing, offload, Arctic-tiling) доводит контекст LLM до 3 млн токенов на одном узле H100, а авторский U-Pipe — до 5 млн почти без потери throughput.

ИИ Программирование

Смотреть на YouTube

Road to 5 Million Tokens: Breaking Barriers in Long Context Training — Max Ryabinin

Together AI · Max Ryabinin

Коротко

Доклад показывает, как послойным наложением известных приёмов (FSDP, context parallelism через DeepSpeed Ulysses, activation checkpointing, offload, Arctic-tiling) удаётся обучать LLM с контекстом до 3 млн токенов на одном узле H100. Главный вклад авторов — U-Pipe: он переиспользует буферы между чанками голов внимания и дотягивает контекст до 5 млн токенов почти без потери пропускной способности.

Оценка видео

Чем выше — тем больше пользы на минуту

3.3

средняя из 5

Актуальность информации 5.0

Длинный контекст под агентов и видео-генерацию — живая тема 2025–2026; упоминается flash attention вплоть до v4.

Содержательность 3.0

Внятная последовательность бутылочных горлышек и приёмов, но всё на уровне обзора: ни цифр throughput, ни кода, ни конфигов; ключевой U-Pipe объяснён за минуту.

Инновационность идей 3.0

90% — компиляция чужих известных техник (Ulysses от Microsoft, checkpointing, Unsloth-offload, Arctic). Своё — только U-Pipe (переиспользование буферов между чанками голов).

Применимость на практике 2.0

Это маркетинговый обзор перед статьёй: даёт карту приёмов и куда копать (PyTorch Profiler, их paper), но без деталей повторить нельзя.

Инсайты

Нажми, чтобы раскрыть — то, что меняет взгляд на тему

01 Главный барьер длинного контекста — память на активациях, а не квадратичные вычисления

Интуитивно все боятся квадратичного compute, но именно линейно растущая память от активаций внимания «коварнее»: модель не влезает в GPU даже после шардинга параметров и побеждается не одной хитростью, а целым каскадом приёмов хранения и пересчёта.

02 Одной головы внимания уже достаточно, чтобы загрузить GPU под завязку — отсюда U-Pipe

Если на GPU запланировано несколько голов, их можно бить на чанки и прогонять по очереди во времени, переиспользуя один маленький буфер вместо огромного. Понимание, что вычислитель насыщается раньше, чем кажется, превращает «параллелизм в пространстве» в «параллелизм во времени» и даёт ещё одну экономию памяти почти без потери throughput.

03 Память — это валюта, которую можно реинвестировать

Сэкономленную приёмами память не обязательно тратить на ещё больший контекст: её можно вложить в скорость, в распределение по стадиям пайплайна или в другие части обучения. Контекст и скорость — это ручка одного и того же бюджета, а не отдельные задачи.

04 Есть осязаемый компромисс «размер чанка ↔ память vs скорость», которым можно управлять явно

Больше чанк (больше голов за раз) — выше пик памяти, но быстрее прогон; меньше чанк — наоборот. Это не чёрный ящик, а настраиваемая ручка под конкретное железо и цель.

Полезные советы

Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать

Бери не одну технику, а стек — и накатывай по нарастающей, измеряя память после каждого слоя

Порядок важен: каждый слой даёт свой множитель экономии (порядка ×8), и только их сумма доводит LLaMA-3B до 3M токенов на одной H100-ноде. Останавливайся, как только нужный контекст влезает.

Включай Ulysses context parallelism, чтобы GPU держал одну голову внимания, а не всю последовательность по всем головам

Активации голов пересылаются между GPU по мере надобности; это снижает память примерно в 8 раз и позволяет использовать самый быстрый flash attention для самого внимания.

Не храни все активации — пересчитывай их (activation checkpointing) и оффлоадь входы блоков на CPU

Checkpointing доступен почти во всех фреймворках; включай аккуратно, чтобы не получить лишний пересчёт. Оффлоад входов на CPU почти не бьёт по скорости, если делать prefetch заранее, к моменту backward по этому слою.

Тайли element-wise вычисления вдоль последовательности

Loss и MLP можно считать кусками, чтобы не аллоцировать гигантские буферы размером 3M вдоль одной оси (Arctic Long Sequence Training) — это убирает один из самых неожиданных источников OOM.

Профилируй, прежде чем оптимизировать — узкое место не там, где кажется

Запускай PyTorch Profiler и смотри, куда реально уходит память; даже если ты не на масштабах миллионов токенов, найденную память можно реинвестировать в ускорение обучения.

Логика повествования

Как устроена аргументация видео — пройди по шагам

Предпосылка Аргумент Пример Вывод

Предпосылка Зачем длинный контекст: агенты и видео-генерация

Растёт спрос на обучение LLM с очень длинным контекстом — под агентов и под генерацию видео. Значит, надо уметь расширять контекст трансформера.
Аргумент Расширение контекста упирается сразу в две разные проблемы

Боттлнек 1 — квадратичные вычисления self-attention (попарные взаимодействия). Боттлнек 2 — линейный рост памяти на активациях. Лечатся они разными приёмами.
Аргумент Даже параметры не влезают на GPU → FSDP

Шардим параметры по 8 GPU узла (FSDP). Это необходимо, но недостаточно: основную память «съедают» активации attention, а не параметры.
Пример Ulysses context parallelism: голова на GPU

DeepSpeed Ulysses распараллеливает не по последовательности, а по головам: GPU считает свою голову над всей последовательностью, перекидывая активации по мере надобности. ~8x экономии памяти + можно взять самый быстрый flash attention.
Пример Checkpointing + CPU-offload + Arctic-tiling → 3 млн токенов

Activation checkpointing пересчитывает активации на backward; оффлоад входов блоков на CPU с prefetch почти не бьёт по скорости; тайлинг element-wise операций (loss, MLP) убирает гигантские буферы. Стек доводит LLaMA-3B до 3M токенов на узле.
Аргумент U-Pipe: чанкуем головы во времени и переиспользуем буфер → 5 млн

Авторский приём: раз одного набора голов уже хватает, чтобы насытить GPU, остальные головы режем на чанки и прогоняем последовательно во времени, переиспользуя один небольшой буфер. Контекст растёт до 5M токенов почти без потери throughput.
Вывод Вывод: боттлнеки там, где не ждёшь — профилируй и реинвестируй память

Масштабирование контекста — задача коварная: узкие места возникают неожиданно. Нужен PyTorch Profiler и стек приёмов, а не одна «серебряная пуля»; высвобожденную память можно вкладывать в скорость.

Подробный разбор

Полный разбор — разверни, если нужно глубже

Развернуть подробный разбор

Стоит ли смотреть целиком

Достаточно этой заметки — суть в перечне приёмов и в идее U-Pipe. Доклад идёт как маркетинговый обзор перед статьёй: даёт карту техник (FSDP, Ulysses, checkpointing, offload, Arctic-tiling) и куда копать, но без цифр throughput, кода и конфигов повторить по нему нельзя. За конкретикой — в их paper и тред Together AI.

Кому полезно

Инженерам, которые сами обучают или дообучают LLM на длинном контексте и упираются в OOM; всем, кто хочет иметь карту приёмов оптимизации памяти (что за чем накатывать и какой множитель даёт). Для остальных это скорее справочное знание о том, как вообще «влезают» миллионы токенов, чем руководство к действию.

План внедрения

С чего начать — отмечай шаги, прогресс сохранится

Выполнено 0 из 4

Шаг 1. Сегодня: профилируй и найди настоящий источник OOM Прогони текущую конфигурацию обучения через PyTorch Profiler и зафиксируй, на чём именно происходит OOM — параметры, активации внимания или промежуточные буферы loss/MLP. Без этого замера остальные шаги бьют вслепую.
Шаг 2. На этой неделе: накатывай стек по нарастающей Добавляй техники и замеряй память/скорость после каждой: FSDP → Ulysses context parallelism → activation checkpointing → CPU-offload входов блоков → тайлинг element-wise операций. Останавливайся, как только нужный контекст влезает.
Шаг 3. Закрепить: U-Pipe и подбор размера чанка Если контекста всё ещё не хватает или хочется освободить память под скорость — добавь U-Pipe (чанкинг голов во времени) и подбери размер чанка по кривой «память vs throughput» под своё железо. За деталями реализации — в статью и тред Together AI.
Шаг 4. Проверь, что сработало Целевая длина контекста (3–5M токенов) обучается без OOM на доступной ноде, а throughput на коротких последовательностях не просел относительно базовой реализации — в докладе U-Pipe местами даже быстрее.

Проверь себя

Ответь на вопросы, чтобы материал закрепился

Отвечено: 0 / 5 Верно: 0

1. Почему расширение контекста в стандартном трансформере упирается сразу в две разные проблемы?
2. В чём основная идея DeepSpeed Ulysses (Ulysses context parallelism)?
3. Чем «U-Pipe» — главная оптимизация авторов — отличается от обычного Ulysses?
4. Что делает activation checkpointing и какой ценой достигается экономия?
5. Какой главный практический вывод делает спикер про обучение на длинном контексте?