Почему RTX 5090 резко замедляется на модели Qwen 3.5 (35 ГБ+)?

Потому что модель не влезает в 32 ГБ VRAM и часть весов уходит в медленную системную RAM. Верно: при спилловере за пределы VRAM часть модели работает из медленной системной памяти, и скорость обваливается — на этой модели 5090 упала до 36 токенов/с.

Что такое «объединённая память» (unified memory) у Apple Silicon?

Общий пул памяти, к которому имеют доступ и процессор, и видеоядро. Точно: процессор и GPU делят один пул памяти, поэтому вся доступная память (64 ГБ) может пойти под модель — без копирования между «своей» и «видео» памятью.

На малой модели (<10 ГБ) кто оказался быстрее и насколько?

RTX 5090, примерно втрое (123 против 42 токенов/с). Да: пока модель влезает в VRAM, сырая скорость видеокарты решает — 123 токена/с против 42 у MacBook, примерно втрое.

Почему модель Qwen 3.5 с 35 млрд параметров работает быстрее, чем можно ожидать от её размера?

Это MoE-модель: из 35 млрд активны лишь около 3 млрд параметров на каждый токен. Верно: это Mixture-of-Experts. Общий размер большой, но на генерацию каждого токена активируется лишь ~3 млрд параметров, поэтому она быстрее плотной модели того же размера.

Какой главный практический критерий выбора железа под локальный ИИ следует из видео?

Сначала смотреть размер нужных моделей, а потом подбирать достаточный объём быстрой памяти. Именно: размер модели диктует требуемую память. Влезает — выбираешь по скорости, не влезает — нужен большой объём памяти, иначе будет спилловер и тормоза.

Чем платит RTX 5090 за свою высокую скорость по сравнению с MacBook?

Высоким энергопотреблением (до 575 Вт) и шумом под нагрузкой. Верно: видеокарта потребляет до 575 Вт и шумит под нагрузкой, тогда как MacBook делает ту же работу тише и экономичнее — это часть стоимости владения.

Разборы · Статья: 15 июня 2026 г. · Видео: 13 марта 2026 г. · 8 мин 10 с

Apple M5 Pro против RTX 5090 для локального ИИ: почему 64 ГБ памяти бьют сырую скорость

Name: Apple M5 Pro Benchmarks: 64GB vs RTX 5090 (Local AI Deep Dive)
Uploaded: 2026-03-13T00:00:00.000Z
Duration: 8 min 10 s
Description: Бенчмарки M5 Pro (64 ГБ объединённой памяти) против RTX 5090 (32 ГБ VRAM) на локальном инференсе LLM: где видеокарта быстрее втрое, а где MacBook обгоняет её вдвое — и почему дело в памяти.

Бенчмарки M5 Pro (64 ГБ объединённой памяти) против RTX 5090 (32 ГБ VRAM) на локальном инференсе LLM: где видеокарта быстрее втрое, а где MacBook обгоняет её вдвое — и почему дело в памяти.

ИИ Программирование

Смотреть на YouTube

Apple M5 Pro Benchmarks: 64GB vs RTX 5090 (Local AI Deep Dive)

NightShift Tech · 8 мин 10 с

Главы видео — нажми, чтобы перейти к моменту 8

Коротко

На моделях, которые влезают в 32 ГБ, RTX 5090 уверенно быстрее MacBook (123 против 42 токенов/с), но как только модель перестаёт помещаться в VRAM, она «проливается» в системную память и резко тормозит. На большой модели Qwen 3.5 (35 млрд параметров) MacBook с 64 ГБ объединённой памяти оказался почти вдвое быстрее десктопа с RTX 5090.

Объясни проще

Суть без жаргона

Простыми словами

Чтобы ИИ-модель работала локально, она целиком должна поместиться в быструю память. У видеокарты RTX 5090 такой памяти 32 ГБ, и пока модель в неё влезает — она летает. У MacBook память общая для процессора и видеоядра (64 ГБ), её меньше «на бумаге» по скорости, зато туда влезают модели вдвое крупнее. Когда модель не помещается в видеокарту, та начинает подгружать куски из медленной обычной памяти и резко тормозит — и тут MacBook её обходит.

Как ребёнку

Представь, что модель — это большая книга, а память — стол, на котором ты её раскладываешь. У видеокарты стол маленький, но она читает молниеносно. У MacBook стол большой, читает чуть медленнее. Если книга маленькая — побеждает быстрый читатель. А если книга огромная и на маленький стол не влезает — её приходится держать на полу и бегать туда-сюда, и тогда выигрывает тот, у кого стол большой.

Оценка видео

Чем выше — тем больше пользы на минуту

4.0

средняя из 5

Актуальность информации 5.0

Свежее железо (M5 Pro вышел в марте 2026), тема локального ИИ на пике.

Содержательность 3.5

Главный вывод про память ценен, но бенчмарков LLM всего два и без деталей квантизации.

Инновационность идей 3.5

Мысль «память важнее скорости» не нова, но показана наглядно на живом примере.

Применимость на практике 4.0

Чёткий критерий выбора железа под размер модели, хотя цифры зависят от конкретной модели.

Кому будет полезно

Чем выше оценка — тем больше пользы для профессии. Разверни — почему.

Для энтузиастов локального ИИ 5 /5

Прямой ответ на вопрос «что купить для локальных LLM»: решает не сырая скорость, а объём быстрой памяти — модель должна влезать целиком. MacBook с 64 ГБ обгоняет RTX 5090 на крупных моделях именно поэтому.

Для ML-инженеров 4 /5

Наглядно про спилловер в системную RAM и обвал скорости, когда модель не влезает в VRAM, и про то, как MoE активирует лишь часть параметров. Помогает выбирать железо под инференс и видеть, где узкое место — память, а не вычисления.

Для программистов 3 /5

Полезно тем, кто поднимает локальный ИИ для разработки: станет понятно, какая конфигурация памяти позволит крутить более крупные модели без облака.

Для предпринимателей 2 /5

Косвенно: помогает прикинуть, выгоднее ли держать инференс на «железе с большой памятью», чем платить за облако — но это только техническая сторона, без бизнес-метрик.

Инсайты

Нажми, чтобы раскрыть — то, что меняет взгляд на тему

01 Узкое место локального ИИ — не скорость, а объём памяти 4:29

Модель должна целиком поместиться в быструю память. Пока влезает — RTX 5090 быстрее MacBook втрое (123 против 42 токенов/с). Но как только модель больше 32 ГБ, часть весов «проливается» в системную RAM, и видеокарта резко тормозит — независимо от своей сырой мощности.

02 Объединённая память превращает «медленный» Mac в победителя на больших моделях 7:34

На Qwen 3.5 (35 ГБ+) MacBook с 64 ГБ объединённой памяти оказался почти вдвое быстрее десктопа с RTX 5090. Не потому что Mac мощнее, а потому что вся модель уместилась в его памяти, а у видеокарты — нет.

03 MoE-модели маскируют разницу в «весовой категории» 5:24

Qwen 3.5 — это 35 млрд параметров, но активны лишь 3 млрд на каждый токен (Mixture-of-Experts). Поэтому она работает быстрее плотной модели того же размера. Сравнивая «35B vs 8B», легко обмануться: считается не общий размер, а сколько параметров реально считается за шаг.

04 Цена быстрых токенов — ватты и шум 7:34

RTX 5090 потребляет до 575 Вт и шумит под нагрузкой; MacBook делает то же тише и в разы экономичнее. Для постоянного локального инференса «токены на ватт» и тишина — не мелочь, а часть стоимости владения.

Ключевые цитаты

Сильные фразы из видео — нажми тайм-код, чтобы услышать в оригинале

«When we load models larger than 32 GB, some of the model spills over onto system RAM and it becomes dramatically slower.»

Ключевой механизм: почему видеокарта обваливается на больших моделях. 4:29

«The MacBook is almost double the speed of the machine with a 5090 in it. This blows my mind as the MacBook so small in comparison and doesn't make half as much noise.»

Финальный вывод теста на большой модели Qwen 3.5. 7:34

«Although this is a 35 billion parameter model, it only activates 3 billion of those parameters every time it generates a word.»

Объяснение, почему MoE-модель работает быстрее своего размера. 5:24

Полезные советы

Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать

Считай память под модель, а не гонись за скоростью

Прежде чем покупать железо, прикинь: размер весов в выбранной квантизации + запас на контекст и накладные расходы должны влезть в память с запасом. Если модель не помещается — даже топовая видеокарта будет тормозить.

Запусти бенчмарк на своей реальной модели

Числа из обзоров зависят от модели и квантизации. Поставь LM Studio, загрузи именно ту модель, что нужна тебе, и замерь токены/с на своём «горячем» промпте — это единственный честный ответ.

Берёшь Mac под локальный ИИ — бери максимум памяти

На Apple Silicon объединённая память — это и есть «VRAM», и доплата за неё критичнее, чем за процессор. 64 ГБ позволяют крутить модели, которые в 32 ГБ видеокарту просто не влезут.

Для маленьких моделей и максимальной скорости — видеокарта

Если твои модели уверенно влезают в 24–32 ГБ VRAM (типичные 7–14B в разумной квантизации), дискретная RTX даст в разы больше токенов/с, чем Mac. Скорость на «помещающихся» моделях — её территория.

Используй MoE, чтобы тянуть «большие» модели на скромном железе

Модели вида Mixture-of-Experts (как Qwen 3.5) при большом общем размере активируют мало параметров за шаг и работают быстрее плотных. Это способ получить «большую» модель без линейного роста требований к скорости.

Закладывай в стоимость владения ватты и шум

Для круглосуточного локального инференса считай не только цену железа, но и энергопотребление (5090 — до 575 Вт) и акустику. Ноутбук на Apple Silicon тут часто дешевле в эксплуатации.

Сценарии применения

Как разные люди применяют это на практике

Я как ML-инженер

Проблема: Нужно прототипировать на моделях 30B+ локально, без облака, но бюджета на профессиональную видеокарту с большим объёмом VRAM нет.

Хочу: Гонять крупные модели целиком в памяти, не упираясь в спилловер в системную RAM.

Поможет: Понять, что 64 ГБ объединённой памяти MacBook позволяют держать модель целиком и обгонять RTX 5090 на больших моделях — это рабочая альтернатива дорогой видеокарте.

Я как Инди-разработчик ИИ-приложений

Проблема: Хочу запускать локальную LLM как бэкенд приложения, но не понимаю, на какое железо ставить.

Хочу: Выбрать конфигурацию, где модель стабильно влезает в память и выдаёт приемлемую скорость.

Поможет: Получить чёткий критерий: сначала смотрю размер модели, потом подбираю память — и решаю, что мне ближе, быстрый Mac с большой памятью или видеокарта под мелкие модели.

Я как Студент, изучающий ИИ

Проблема: Бюджет ограничен, а термины «VRAM», «объединённая память», «токены/с» путают при выборе ноутбука.

Хочу: Разобраться, что реально влияет на запуск моделей, и не переплатить за бесполезные характеристики.

Поможет: Усвоить из статьи и словаря, что решает объём памяти, а не только скорость, и купить конфигурацию с запасом памяти, а не с лишними процессорными ядрами.

Я как Основатель стартапа на бюджете

Проблема: Нужен приватный локальный инференс (данные нельзя в облако), но 575-ваттная видеокарта и счёт за электричество пугают.

Хочу: Снизить стоимость владения локальным ИИ без потери возможности запускать крупные модели.

Поможет: Увидеть, что MacBook делает то же тише и экономичнее, а на больших моделях ещё и быстрее — и заложить это в расчёт инфраструктуры.

Я как Видеомонтажёр и творческий профессионал

Проблема: Покупаю MacBook Pro в первую очередь для работы, но хочу иногда крутить локальные ИИ-модели.

Хочу: Понять, стоит ли доплачивать за 64 ГБ памяти ради ИИ-задач.

Поможет: Узнать, что именно объём памяти открывает доступ к большим моделям, и осознанно выбрать конфигурацию памяти под двойную нагрузку.

Логика повествования

Как устроена аргументация видео — пройди по шагам

Предпосылка Аргумент Пример Вывод

Предпосылка Вопрос: что лучше для локального ИИ — быстрая видеокарта или Mac с большой памятью? 3:02

Автор берёт MacBook Pro на M5 Pro (64 ГБ объединённой памяти) и десктоп с RTX 5090 (32 ГБ VRAM) и гоняет на них одни и те же LLM в LM Studio.
Аргумент Тезис: главное в локальном инференсе — влезает ли модель в быструю память 4:29

Если модель целиком в памяти — всё быстро. Если нет — часть весов уходит в медленную системную RAM, и скорость падает обвально.
Пример Малая модель (<10 ГБ): RTX 5090 быстрее втрое 3:39

Один и тот же 8-битный промпт: 5090 выдаёт 123 токена/с, MacBook — 42 токена/с. Видеокарта помещает модель в VRAM целиком и побеждает сырой скоростью.
Пример Большая модель (Qwen 3.5, 35 ГБ+): спилловер ломает видеокарту 5:51

Модель не влезает в 32 ГБ VRAM и проливается в системную RAM: 5090 падает до 36 токенов/с. MacBook держит её целиком в 64 ГБ и почти вдвое быстрее.
Вывод Вывод: память решает там, где сырая скорость уже бессильна 7:34

Выбор железа диктует размер моделей: под мелкие — видеокарта и её скорость, под крупные — большая (объединённая) память. И всё это у Mac тише и экономичнее по ваттам.

Подробный разбор

Полный разбор — разверни, если нужно глубже

Развернуть подробный разбор

Обзор устроен как живой эксперимент: автор берёт свежий MacBook Pro на M5 Pro (18-ядерный CPU, 20-ядерный GPU, 64 ГБ объединённой памяти) и десктоп с RTX 5090, после чего гоняет на обоих одни и те же модели в LM Studio. Параллельно идут привычные бенчмарки (скорость SSD, Geekbench 6, Cinebench 2026), но смысловой центр — именно сравнение на локальном ИИ.

Главная мысль: память важнее сырой скорости

Вывод парадоксален только на первый взгляд. На небольшой модели (до 10 ГБ) RTX 5090 уверенно быстрее — 123 токена/с против 42 у MacBook, примерно втрое. Но как только модель перестаёт помещаться в 32 ГБ видеопамяти, часть весов «проливается» в медленную системную RAM, и видеокарта обваливается до 36 токенов/с. MacBook с его 64 ГБ объединённой памяти держит ту же большую модель (Qwen 3.5, 35 ГБ+) целиком — и оказывается почти вдвое быстрее десктопа. Не потому что он мощнее, а потому что модель ему «по размеру».

Что из этого следует на практике

Для выбора железа под локальный ИИ сначала смотрят на размер нужных моделей, и только потом — на скорость. Модели, влезающие в 24–32 ГБ, — территория дискретной видеокарты с её сырой пропускной способностью. Всё, что крупнее, требует большого объёма быстрой памяти, и здесь объединённая память Apple Silicon даёт фору. Бонусом — тишина и экономичность: 575-ваттная видеокарда против тихого ноутбука заметно меняет стоимость владения при постоянной работе.

План внедрения

С чего начать — отмечай шаги, прогресс сохранится

Выполнено 0 из 5

Шаг 1. Определи, какие модели тебе реально нужны Выпиши 2–3 модели под свои задачи и их размер в нужной квантизации (например, 8-bit). Это исходные данные для всего выбора.
Шаг 2. Посчитай требуемую память с запасом К размеру весов добавь запас на контекст и накладные расходы (ориентировочно +20–40%). Получишь минимальный объём быстрой памяти/VRAM.
Шаг 3. Выбери класс железа под этот объём Влезает в 24–32 ГБ — смотри на дискретную видеокарту ради скорости. Нужно больше — смотри на Apple Silicon с 64 ГБ+ объединённой памяти.
Шаг 4. Поставь LM Studio и замерь на своём промпте Загрузи реальную модель, прогони типичный для тебя запрос и зафиксируй токены/с — сравнивай конфигурации на своих данных, а не на чужих обзорах.
Шаг 5. Учти эксплуатацию Для постоянной работы прикинь энергопотребление и шум: 575 Вт видеокарты против тихого ноутбука — это разница в счетах и комфорте.

Проверь себя

Ответь на вопросы, чтобы материал закрепился

Отвечено: 0 / 6 Верно: 0

1. Почему RTX 5090 резко замедляется на модели Qwen 3.5 (35 ГБ+)?
2. Что такое «объединённая память» (unified memory) у Apple Silicon?
3. На малой модели (<10 ГБ) кто оказался быстрее и насколько?
4. Почему модель Qwen 3.5 с 35 млрд параметров работает быстрее, чем можно ожидать от её размера?
5. Какой главный практический критерий выбора железа под локальный ИИ следует из видео?
6. Чем платит RTX 5090 за свою высокую скорость по сравнению с MacBook?

Словарь терминов

Понять незнакомое простым языком

Показать 10 терминов

Локальный инференс: Запуск ИИ-модели прямо на своём компьютере (а не в облаке): данные никуда не уходят, нужен только мощный компьютер с достаточной памятью.
Объединённая память (unified memory): У чипов Apple единый пул памяти, общий для процессора и видеоядра. Под ИИ-модель доступен весь объём (например, 64 ГБ), без деления на «системную» и «видео» память.
VRAM: Видеопамять — быстрая память на самой видеокарте. У RTX 5090 её 32 ГБ; если модель в неё не влезает, часть подгружается из медленной системной RAM, и всё резко тормозит.
Спилловер (spillover): «Перелив» части модели из быстрой памяти видеокарты в медленную системную RAM, когда модель не помещается в VRAM. Главная причина обвала скорости на больших моделях.
Токены в секунду (токены/с): Скорость генерации текста моделью. Токен — это примерно слово или его кусочек; чем больше токенов/с, тем быстрее печатается ответ.
Квантизация: Сжатие модели за счёт хранения её чисел с меньшей точностью (например, 8-бит вместо 16). Уменьшает размер и требования к памяти ценой небольшой потери качества.
Параметры модели: Внутренние «настроечные числа» модели, выученные при обучении. Их количество (например, 35 млрд) грубо отражает размер и «знания» модели, а заодно требования к памяти.
MoE (Mixture-of-Experts): Архитектура, где модель состоит из множества «экспертов», но на каждый токен активируется лишь часть из них. Поэтому модель с 35 млрд параметров может считать всего ~3 млрд за шаг и работать быстрее плотной модели того же размера.
Плотная (dense) модель: Модель, в которой на каждый токен задействуются все параметры (в отличие от MoE). При том же размере она медленнее MoE-модели.
TDP / энергопотребление: Сколько энергии устройство потребляет и рассеивает в тепло под нагрузкой. У RTX 5090 — до 575 Вт, что влияет на счета за электричество, шум и нагрев.