Разборы · Статья: · Видео: · 9 мин

Локальные LLM на Mac по уму: oMLX поверх MLX и кэш на SSD

Практический разбор 9-минутного гайда Samuel Gregory: почему автор выбрал oMLX как самый чистый способ запускать open-source-модели на Apple Silicon, чем помогает двухуровневый кэш (RAM + SSD), где место Ollama и LM Studio и как подключить локальную модель к Claude Code, Open Code и Pi вместо облачного API.

ИИ Программирование
Смотреть на YouTube

Finally, The CORRECT Way to Run Local AI on a Mac

Samuel Gregory · 9 мин
Главы видео — нажми, чтобы перейти к моменту 9
  1. 0:00 Зачем вообще локальные LLM на Mac Автор перебрал Turbo Quant, GGML против MLX, разную RAM на M5 и M1 — и подводит итог, на чём остановился к июню 2026.
  2. 0:29 Главный трюк oMLX: кэш на SSD oMLX — надстройка над MLX LM: сервер плюс хранение KV-кэша на диске, который переживает перезапуск.
  3. 2:40 Где Ollama и LM Studio Ollama только начинает поддерживать MLX; LM Studio удобен для старта, но раздут и ест RAM.
  4. 3:27 Скачиваем oMLX Стабильный DMG с GitHub-релизов, иконка в менюбаре, настройки чище, чем web dashboard.
  5. 3:48 Интерфейс и загрузка моделей Модели тянутся с Hugging Face (или ModelScope): ищем MLX-версию и вставляем URL в настройки.
  6. 4:49 Запускаем модель как сервер Для агентов берётся MoE Qwen 3.6 в 8-bit; сервер отдаёт эндпоинты, есть Tailscale-адреса.
  7. 6:12 Кэш в действии и расход RAM 1.5 ГБ кэша быстро набегает; модель на 36 ГБ занимает ~80 ГБ RAM из-за контекста.
  8. 6:54 Параметры и размер контекста У Qwen 3.6 доступно 262144 токена; модель надо перезагрузить, а SSD-кэш сохранит прогресс.
  9. 7:29 Подключение к агентам Демо на Claude Code, но в работе Open Code (бережёт контекст) и Pi; доступ и по сети через Tailscale.

Коротко

Автор перепробовал способы гонять локальные LLM на Mac и остановился на oMLX — лёгкой надстройке над Apple MLX, которая поднимает сервер и держит KV-кэш на SSD, поэтому холодный старт и длинный контекст не съедают скорость. Дальше — как поставить, выбрать MoE-модель вроде Qwen 3.6 и подключить её к Claude Code, Open Code или Pi вместо платного API.

Выжимка голосом

Самое ценное из разбора — за пару минут

0:00 2:21
Показать текст выжимки
Если коротко, это разбор о том, как правильно гонять локальные языковые модели на Mac в две тысячи двадцать шестом году. Автор перепробовал разные способы и остановился на oMLX — лёгкой надстройке над Apple MLX, которая поднимает локальный сервер прямо на вашей машине. Самое интересное: выигрыш даёт вовсе не более быстрый движок, а кэш. Уже посчитанный KV-кэш oMLX складывает на SSD, поэтому после перезапуска сервера префиксы не пересчитываются заново. Именно это спасает на длинном контексте и холодных стартах. Второй важный момент — про память. Легко думать, что всё решает размер модели, но на деле оперативку съедает контекст. В демо модель на тридцать шесть гигабайт занимала около восьмидесяти гигабайт памяти — разницу набрал именно контекст. Так что планируйте память под контекст, а не только под веса. Третье: под кодовых агентов автор берёт модели типа Mixture of Experts, например Qwen три и шесть в восьмибитном кванте — на каждый токен активируется лишь часть параметров, и большая модель остаётся посильной для ноутбука. Эндпоинт oMLX совместим с OpenAI и Anthropic, поэтому его можно подставить в Claude Code, Open Code или Pi вместо платного облачного API. Причём в работе автор предпочитает Open Code: Claude Code известен тем, что сильно раздувает контекст, а на ограниченном железе его надо беречь. Но есть честная оговорка. Красивый рост скорости автор показывает на чужом M3 Ultra с пятьюстами двенадцатью гигабайтами памяти, а не на своей машине, и сам признаёт, что не до конца понимает механику кэша. Так что тезис про то, что скоростью почти не жертвуешь, — преувеличение: чтение холодных блоков с диска всё равно медленнее оперативной памяти. Практический вывод простой: локальный AI на Mac — это прежде всего про приватность и независимость от облака, а не всегда про экономию. А чтобы он был удобным, важен не только объём RAM, но и умный кэш, размер контекста и лёгкий рантайм.

Озвучено синтезом речи · голос alena

Объясни проще

Суть без жаргона

Простыми словами

Речь о том, как запускать нейросети-чат-модели прямо на своём Mac, без интернета и облачных подписок. Автор сравнил несколько программ-движков и выбрал oMLX: она лёгкая, поднимает локальный сервер и умно хранит уже посчитанные данные на диске, поэтому модель отвечает быстрее и не начинает каждый раз с нуля. Готовую локальную модель он подключает к своим рабочим инструментам-агентам вместо платного API.

Как ребёнку

Представь, что у тебя дома живёт умный помощник, который отвечает на вопросы. Обычно за такого помощника платят и зовут его через интернет. Автор показывает, как поселить помощника прямо в компьютере — а чтобы он не забывал то, что уже обдумал, помощник записывает свои заметки в блокнот на диске и потом быстро в них подглядывает.

Аналогия — «это как…»

oMLX — это как термос поверх плиты. Сама плита (MLX от Apple) уже умеет варить модель, но oMLX добавляет термос: то, что уже нагрето (обработанный контекст), не остывает между запусками, а хранится на SSD — и в следующий раз не надо кипятить заново.

Зачем это мне

Локальные модели — это приватность (данные не уходят в облако), нулевая плата за токены и работа без интернета. Но наивная настройка упирается в память и в медленный холодный старт; понимание, что решает не только объём RAM, а кэш и скорость памяти, экономит и деньги, и нервы.

Для тех, кто в теме

Ключевая дельта: oMLX не заменяет mlx-lm, а оборачивает его — OpenAI/Anthropic-совместимый сервер плюс двухуровневый paged KV-кэш (hot-блоки в RAM, cold-блоки на SSD в safetensors по LRU), так что префиксы переживают рестарт сервера и не пересчитываются. Для агентной работы автор берёт MoE (Qwen 3.6, 8-bit) с контекстом 262144, отмечает ~80 ГБ RAM при модели ~36 ГБ из-за контекста и подключает эндпоинт к Claude Code / Open Code / Pi, предпочитая Open Code ради экономии контекста.

Оценка видео

Чем выше — тем больше пользы на минуту

4.1

средняя из 5

Актуальность информации 4.7

Свежий срез на июнь 2026: конкретные версии инструментов (oMLX, MLX preview в Ollama) и моделей (Qwen 3.6 MoE).

Содержательность 4.2

Плотный практический гайд за 9 минут, но часть ключевых конфигов вынесена в ссылки и другие видео.

Инновационность идей 3.4

Не открытие, а грамотный выбор инструмента; главная идея — SSD-кэш — это фича конкретного oMLX, а не автора.

Практичность 4.1

Показан весь путь установка → модель → сервер → агент, но конкретные конфиги для Open Code и сети за кадром.

Доступность изложения 3.9

Живой язык и наглядные демо, но местами скачет и есть оговорки — часть терминов пересказана с чужих формулировок.

Кому будет полезно

Чем выше оценка — тем больше пользы для профессии. Разверни — почему.

Для программистов и вайб-кодеров 4.8 /5

Прямое попадание: пошагово показано, как подключить локальную модель к Claude Code, Open Code и Pi вместо облачного API.

Для специалистов по безопасности и приватности данных 4.5 /5

Весь смысл сетапа — код и данные не покидают машину; Anthropic/OpenAI-совместимый эндпоинт закрывает внутренние инструменты локально.

Для инди-разработчиков и фрилансеров 4.4 /5

Помогает срезать счета за облачные токены: связка oMLX + MoE-модель заменяет платный API на своём железе.

Для ML-инженеров 4.3 /5

Полезная карта стека Apple Silicon: движок MLX LM, обёртки Ollama/LM Studio, роль квантования, MoE и KV-кэша — но обзорно, без глубокой теории.

Для дата-сайентистов 3.6 /5

Даёт способ прогонять приватные датасеты через LLM без облака, но про сам анализ данных речи почти нет.

Для техноблогеров и обозревателей 3.4 /5

Готовая рамка для материала «как гонять LLM на Mac в 2026»: oMLX против Ollama и LM Studio и аргументы выбора.

Инсайты

Нажми, чтобы раскрыть — то, что меняет взгляд на тему

01 Главная фишка — не быстрый движок, а кэш на диске 1:36

oMLX почти ничего не добавляет к скорости самого инференса — он берёт уже посчитанный KV-кэш и кладёт его на SSD, чтобы после перезапуска сервера не считать префикс заново. Именно это, а не «более быстрый движок», даёт выигрыш на длинном контексте и холодных стартах.

02 Память тратит контекст, а не только веса 6:39

Даже 36-гигабайтная модель может занять около 80 ГБ RAM — разницу съедает контекст. Планируя локальный сетап, считай память под контекст, а не только под размер модели.

03 Красивый UI — это налог на твою RAM 3:08

LM Studio удобен для старта, но, по мнению автора, раздут; он ушёл на минималистичный oMLX, потому что на локальной машине каждый гигабайт RAM хочется отдать модели, а не приложению. Для локального инференса лёгкость рантайма — не эстетика, а производительность.

04 Для агентов нужны MoE-модели 4:24

Под кодовых агентов автор целится в Mixture-of-Experts вроде Qwen 3.6: на каждый токен активируется лишь часть параметров, поэтому большая «по знаниям» модель остаётся посильной по вычислениям на ноутбуке.

05 Выбор агента важен не меньше выбора модели 7:29

Автор демонстрирует на Claude Code, но в реальной работе гоняет локальные модели в Open Code — Claude Code известен «раздуванием» контекста, а на ограниченном железе контекст надо беречь.

Ключевые цитаты

Сильные фразы из видео — нажми тайм-код, чтобы услышать в оригинале

«This seems to be the cleanest way to run open-source local LLMs on your Mac.»
Samuel Gregory Почему автор в итоге выбрал oMLX среди перепробованных инструментов. 0:18
«It just adds all of the necessary things on top of it, such as running a server, plus a cheeky additional thing which effectively stores your cache on the SSD, even in between server resets.»
Samuel Gregory Суть oMLX: не замена MLX LM, а сервер и дисковый кэш поверх него. 0:59
«Previously seen prefixes are restored across requests and server restarts, never recomputed.»
Samuel Gregory Ключевое свойство двухуровневого кэша — префиксы переживают перезапуск сервера. 1:36
«I want to preserve my RAM for my LLMs.»
Samuel Gregory Почему автор ушёл с «раздутого» LM Studio на лёгкий рантайм. 3:08
«For agentic work, really we're looking at mixture of expert models.»
Samuel Gregory Какие модели брать под кодовых агентов. 4:24
«We're using about 80 gig of RAM to do that as well. Even though the model's 36, this is how the context indeed has an impact on the amount of RAM that you need.»
Samuel Gregory Контекст раздувает расход памяти сильнее, чем размер весов. 6:39
«Even though I demonstrated this using Claude code, I tend to run my local models in open code... Claude code is kind of known for its context blowing.»
Samuel Gregory На ограниченном железе автор предпочитает экономный к контексту Open Code. 7:29

Полезные советы

Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать

1

Поставь oMLX и держи сервер в менюбаре

15 минут локальный LLM-сервер без терминала и лишних приложений

oMLX — нативное приложение macOS в строке меню, которое поднимает и мониторит сервер. Ставится из готового билда, дальше всё через настройки.

Что делать

  1. 1 Открой GitHub-релизы oMLX и скачай последний стабильный DMG (не pre-release).
  2. 2 Установи и найди иконку oMLX в строке меню сверху.
  3. 3 Открой Settings из меню — там чище, чем в web dashboard.
  4. 4 При желании открой web dashboard для более подробных индикаторов.
2

Скачивай именно MLX-версии моделей

5 минут модель в родном для Apple Silicon формате, а не медленный GGUF

Модели тянутся с Hugging Face (или ModelScope). Для Apple Silicon нужен MLX-квант, обычно от организации mlx-community.

Что делать

  1. 1 Найди нужную модель (например, Gemma или Qwen).
  2. 2 Добавь к поиску «MLX» и выбери лучшую квантованную версию.
  3. 3 Скопируй URL модели с Hugging Face.
  4. 4 Вставь URL в Settings oMLX и нажми скачать.
3

Для кодовых агентов бери MoE в 8-bit

10 минут агентная модель, которая реально тянется на ноутбуке

Для агентной работы автор целится в Mixture-of-Experts. Пример из видео — Qwen 3.6 MoE в 8-bit от mlx-community.

Что делать

  1. 1 Ищи в названии mixture-of-experts / MoE (например, Qwen 3.6 MoE).
  2. 2 Бери 8-bit квант, если хватает памяти.
  3. 3 Загрузи модель в oMLX.
  4. 4 Выгрузи (eject) предыдущую модель, чтобы освободить RAM.
4

Положись на дисковый кэш и не бойся рестартов

2 минуты холодный старт и повторный контекст перестают тормозить

Двухуровневый кэш держит горячие блоки в RAM, а холодные — на SSD. Уже виденные префиксы восстанавливаются после перезапуска сервера и не пересчитываются.

Что делать

  1. 1 Убедись, что paged SSD-кэш включён.
  2. 2 Работай как обычно и следи в дашборде за размером кэша (быстро набегает 1.5 ГБ и больше).
  3. 3 При необходимости чисти кэш кнопкой в дашборде.
  4. 4 После рестарта сервера префиксы подтянутся с диска автоматически.
5

Подключи локальную модель к своему агенту

полчаса перестанешь платить за облачный API в рутинных задачах

oMLX отдаёт OpenAI/Anthropic-совместимые эндпоинты, поэтому его можно подставить в Claude Code, Open Code, Pi или Open Claude как обычного провайдера.

Что делать

  1. 1 В oMLX открой server или web dashboard и скопируй base URL и код запуска для выбранной модели.
  2. 2 В агенте добавь нового провайдера с этим base URL.
  3. 3 Впиши API-ключ, который задал при настройке oMLX.
  4. 4 Выбери модель (Qwen) в агенте и проверь на «расскажи про этот кодбейс».
6

Следи за RAM через Activity Monitor

5 минут поймёшь реальный потолок своей машины

Контекст раздувает память: модель на 36 ГБ в демо занимала около 80 ГБ RAM. Лучше видеть это заранее, чем упереться в своп.

Что делать

  1. 1 Открой Activity Monitor и вкладку GPU History.
  2. 2 Запусти задачу в агенте и смотри, как растёт память.
  3. 3 Если упираешься — уменьши размер контекста или возьми квант поменьше.
7

Настрой размер контекста под свою память

10 минут не упрёшься в дефолт и не переполнишь RAM

Дефолты сильно разнятся (в LM Studio около 4000 токенов, у Qwen 3.6 доступно 262144). Значение применяется только после перезагрузки модели.

Что делать

  1. 1 В oMLX открой модель (Qwen) и найди context size.
  2. 2 Задай нужное значение под свою RAM.
  3. 3 Перезагрузи модель, чтобы параметр применился.
  4. 4 Используй окно до конца — SSD-кэш сохранит уже проделанную работу.
8

Ходи к домашней модели снаружи через Tailscale

полчаса локальная модель доступна с любого устройства без облака

oMLX показывает Tailscale-эндпоинты, поэтому к домашнему серверу можно обращаться и из дома, и вне его.

Что делать

  1. 1 Подними oMLX-сервер на домашнем Mac.
  2. 2 Установи Tailscale на этот Mac и на клиентское устройство.
  3. 3 Возьми tailnet-эндпоинт oMLX как base URL в агенте.
  4. 4 Проверь доступ к модели из другой сети.

Сценарии применения

Как разные люди применяют это на практике

Я как Инди-разработчик

Проблема: облачные API за кодового агента набегают в круглую сумму

Хочу: гонять агента бесплатно и приватно на своём Mac

Поможет: статья даёт связку oMLX + MoE-модель + Open Code, чтобы заменить платный API локальной моделью

Я как Специалист по инфобезопасности

Проблема: нельзя отправлять код и данные компании во внешние LLM

Хочу: локальный инференс, который не покидает машину

Поможет: виден путь: MLX-модель в oMLX плюс Anthropic/OpenAI-совместимый эндпоинт для внутренних инструментов

Я как ML-инженер

Проблема: путается, чем MLX, MLX LM, Ollama и LM Studio отличаются

Хочу: понять слои стека и что где использовать

Поможет: разбор раскладывает: движок (MLX LM) → сервер и кэш (oMLX) → обёртки (Ollama, LM Studio) → агенты

Я как Дата-сайентист

Проблема: хочется прогонять приватные датасеты через LLM без облака

Хочу: стабильный локальный сервер с быстрым повторным контекстом

Поможет: дисковый KV-кэш экономит время на повторяющихся промптах и переживает рестарты сервера

Я как Фрилансер на MacBook

Проблема: 128 ГБ RAM кажется много, но модель всё равно тормозит на холодную

Хочу: выжать максимум из имеющегося железа

Поможет: советы про SSD-кэш, размер контекста и лёгкий рантайм вместо раздутого приложения

Я как Тимлид небольшой команды

Проблема: нужен общий локальный LLM для команды без затрат на API

Хочу: поднять модель на одной машине и раздать доступ

Поможет: Tailscale-эндпоинт oMLX даёт доступ к домашней модели по сети

Я как Студент, изучающий LLM

Проблема: нет денег на облачные токены для экспериментов

Хочу: бесплатная песочница с настоящими моделями

Поможет: пошагово: поставить oMLX, скачать MLX-модель, подключить к агенту

Логика повествования

Как устроена аргументация видео — пройди по шагам

Предпосылка Аргумент Пример Вывод
  1. Предпосылка Автор перепробовал всё для локальных LLM на Mac 0:00

    Тесты Turbo Quant, GGML против MLX, M5 и M1, много и мало RAM — нужен вывод, на чём остановиться.

  2. Аргумент Базовый движок — Apple MLX LM, но ему не хватает удобств 0:39

    MLX LM «близок к железу», но это просто Python-библиотека без готового сервера и умного кэша.

  3. Аргумент oMLX добавляет сервер и кэш на SSD поверх MLX LM 0:59

    Hot-блоки в RAM, cold-блоки на SSD по LRU; префиксы переживают рестарт и не пересчитываются.

  4. Пример Ollama и LM Studio не подошли под цель автора 2:40

    Ollama только начинает поддерживать MLX; LM Studio удобен, но раздут и забирает RAM у моделей.

  5. Пример Для агентов берётся MoE-модель Qwen 3.6 в 8-bit 4:24

    MLX-версия скачивается с Hugging Face и грузится в oMLX как локальный сервер.

  6. Пример Модель подключается к агентам через эндпоинт 7:29

    Claude Code — для демо, но в работе Open Code и Pi ради экономии контекста.

  7. Вывод Вывод: oMLX — самый чистый способ, и он доступен по сети 8:29

    Автор остаётся на oMLX, MLX LM оставляет для обучения; доступ и дома, и через Tailscale.

Подробный разбор

Полный разбор — разверни, если нужно глубже

Развернуть подробный разбор

Стоит ли смотреть целиком

Да, если у тебя Mac на Apple Silicon и ты хочешь гонять модели локально в 2026 году. За 9 минут автор даёт готовую карту: базовый движок Apple MLX LM, надстройку oMLX с сервером и дисковым кэшем, место Ollama и LM Studio и практический маршрут «скачал модель → поднял сервер → подключил к агенту». Это не глубокая теория, а честный личный вывод после множества тестов.

Главная ценность — не в ответе «какой инструмент лучший вообще», а в понимании, что именно решает удобство и скорость локального сетапа: не сам движок, а сервер поверх него и умное хранение KV-кэша на SSD, плюс трезвый учёт памяти под контекст.

Что важно за кадром

oMLX — реальный open-source-проект (github.com/jundot/omlx, автор Jun Kim), нативное menubar-приложение macOS с двухуровневым paged KV-кэшем (hot-блоки в RAM, cold-блоки на SSD по LRU) и эндпоинтами, совместимыми с OpenAI (/v1/chat/completions) и Anthropic (/v1/messages) — отсюда и лёгкое подключение к Claude Code, OpenCode, Cursor и Codex. Требования — Apple Silicon (M1 и новее), macOS 15+, минимум 16 ГБ RAM, а для крупных моделей комфортнее 64 ГБ и больше.

Пара уточнений к тезисам ролика. MLX действительно быстрее llama.cpp/GGUF на Apple Silicon, но в основном на моделях примерно до 14B параметров: выше ~27B преимущество тает, потому что всё упирается в пропускную способность памяти. И Ollama к 2026 году уже добавил MLX-бэкенд (в статусе preview), так что разрыв с «удобными обёртками» постепенно сокращается — выбор во многом про вкус к минимализму и контроль над RAM, а не только про голую скорость.

План внедрения

С чего начать — отмечай шаги, прогресс сохранится

Выполнено 0 из 7

Проверь себя

Ответь на вопросы, чтобы материал закрепился

Отвечено: 0 / 6 Верно: 0

  1. 1. Почему автор считает oMLX самым чистым способом запускать локальные LLM на Mac?

  2. 2. Что даёт хранение KV-кэша на SSD?

  3. 3. Почему 36-гигабайтная модель может занять около 80 ГБ RAM?

  4. 4. Какие модели автор советует для агентной (кодовой) работы?

  5. 5. Почему для локальных моделей автор в итоге предпочитает Open Code, а не Claude Code?

  6. 6. Где место LM Studio по мнению автора?

Словарь терминов

Понять незнакомое простым языком

Показать 14 терминов
MLX
Фреймворк Apple для вычислений и машинного обучения на Apple Silicon; опирается на общую память CPU/GPU и Metal.
MLX LM (mlx-lm)
Python-библиотека поверх MLX для запуска языковых моделей — «ближе всего к железу», но без готового сервера и кэша.
oMLX
Надстройка над MLX LM: поднимает локальный сервер (OpenAI/Anthropic-совместимый) и хранит KV-кэш на SSD; управляется из строки меню macOS.
KV-кэш (кэш ключ-значение)
Промежуточные данные механизма внимания, которые модель хранит, чтобы не пересчитывать уже обработанный контекст.
Prefix / prompt caching
Переиспользование уже обработанного начала промпта; в oMLX такие префиксы переживают даже рестарт сервера.
Safetensors
Безопасный бинарный формат хранения тензоров — весов модели и, в случае oMLX, блоков кэша.
LRU (Least Recently Used)
Политика вытеснения кэша: первым удаляется то, что дольше всего не использовалось.
Холодный старт (cold start)
Первый запрос к только что запущенной модели, когда кэш ещё не прогрет и всё считается с нуля.
Квантование
Сжатие весов модели (например, до 8 бит) ради экономии памяти ценой небольшой потери точности.
MoE (Mixture of Experts)
Архитектура, где на каждый токен активируется лишь часть «экспертов»-параметров; большая модель остаётся дешевле по вычислениям.
Контекстное окно
Сколько токенов модель удерживает за раз (у Qwen 3.6 доступно до 262144).
Unified memory
Общая память CPU и GPU в Apple Silicon; из неё берутся и веса модели, и контекст.
Агентная обвязка (harness)
Инструмент-агент (Claude Code, Open Code, Pi, Open Claude), который шлёт запросы модели и выполняет действия.
Tailscale
Приватная VPN-сеть (tailnet), через которую можно обращаться к домашней модели извне.

Критический взгляд

Объективно: с какими тезисами можно поспорить и что преувеличено

Однобоко

«Самый правильный способ» — это по сути вердикт в пользу одного инструмента без прямых бенчмарков

Ролик построен как однозначный выбор oMLX, но сравнения в лоб против mlx-lm, vLLM-mlx или LM Studio в кадре нет. Независимые замеры показывают, что «самый быстрый» рантайм зависит от модели и сценария, а не выбирается один раз навсегда.

Спорно

Красивый рост скорости показан на чужом M3 Ultra 512 ГБ, а не на машине автора

Демонстрация выигрыша с ростом контекста идёт на 512-гигабайтном M3 Ultra; на типичной пользовательской машине (и даже на M5 Max автора со 128 ГБ) поведение кэша и потолок контекста будут заметно скромнее.

Преувеличение

«Почти не жертвуешь скоростью на длинном контексте» — преувеличение

SSD-кэш убирает пересчёт уже виденных префиксов, но hot-блоки всё равно ограничены RAM, а чтение cold-блоков с диска медленнее памяти. Выигрыш реален на повторных префиксах, но не отменяет деградацию на действительно длинном новом контексте.

Упрощение

Автор сам признаёт, что не до конца понимает механику

Часть тезисов (LRU, два уровня, safetensors-кэш) пересказана с чужих формулировок — в кадре звучит «I don't actually know what that means». Детали лучше сверять по документации oMLX, а не по объяснению на ходу.

Упрощение

«MLX ближе всего к железу и потому лучше» — верно не для всех моделей

На Apple Silicon MLX обгоняет llama.cpp/GGUF в основном на моделях примерно до 14B; выше ~27B преимущество сходит на нет, потому что упор идёт в пропускную способность памяти. Универсального превосходства нет.

Однобоко

Много ключевых шагов вынесено «в ссылки под видео»

Конкретные конфиги для Open Code, алиасы и доступ по сети показаны лишь мельком и отправлены в описание и другие ролики, поэтому как самодостаточный туториал видео неполно.

Взгляни иначе

Новый угол, смежные области и потенциал на стыке — пища для размышлений

Другой угол

Локальный AI — это не про экономию, а про суверенитет данных

Дешевле облака он не всегда: железо на 64–128 ГБ стоит дорого. Настоящая ценность — код и документы не покидают машину; для юристов, врачей и госсектора это не «фича», а требование.

Смежная область

Кэш на SSD — идея из мира баз данных, пришедшая в инференс

Двухуровневый hot/cold-кэш с LRU и персистентностью на диск — классика СУБД и файловых систем. Инференс-серверы перенимают приёмы, на которых десятилетиями стоят Postgres и страничные кэши ОС.

На стыке областей

Совместимый эндпоинт превращает Mac в подменный бэкенд

Раз oMLX говорит на API OpenAI и Anthropic, любой инструмент, ждущий облако (Cursor, Codex, Claude Code), можно молча переключить на локаль — и строить гибрид: рутина локально, сложное в облако, по одному конфигу.

Другой угол

Узкое место сместилось с вычислений на память и I/O

Разговор давно не про «сколько TFLOPS», а про bandwidth, объём RAM и скорость SSD. Кто проектирует локальные AI-станции, всё чаще оптимизирует память и диск, а не «более быстрый GPU».

Смежная область

Домашний LLM-сервер плюс Tailscale — это личное облако

Схема «модель дома, доступ через tailnet» повторяет то, что self-hosted-энтузиасты сделали с Nextcloud и Home Assistant. Локальный AI встраивается в ту же культуру приватного самохостинга.

На стыке областей

Выбор агента влияет на стоимость сильнее, чем выбор модели

«Раздувание» контекста в Claude Code против экономного Open Code — это по сути FinOps для токенов. На стыке промпт-инженерии и управления затратами обвязка становится главным рычагом, а не сама модель.

Похожие разборы

Разбор

Лупы вместо промптов в вайб-кодинге: цель со стоп-условием, которая крутится сама

Луп — это рекурсивная цель со стоп-условием: ставишь задачу один раз, и агент сам крутится «сделал → проверил → не готово → снова», пока условие не выполнится. Лупы не заменяют промптинг, а снимают ежедневную рутину — и, как признаёт сам автор, доступны уже в Claude Code и Codex через goals, а не только в его платформе.

Читать → Разбор

Многоагентный вайб-кодинг: пошаговый workflow от идеи до продакшена

Автор показывает свой процесс вайб-кодинга: главный навык — не писать код, а оркестрировать рой агентов, масштабируя их число и планы под сложность задачи. За одно видео он вживую собирает полный стек (база, API, AWS, Discord-авторизация), но половина «обязательных инструментов» — его же платные продукты.

Читать → Разбор

Sonnet 5 и новый токенайзер: почему «дешёвая» модель перестала экономить — и что значит временный возврат Fable 5

Автор BridgeMind считает Sonnet 5 провалом: новый токенайзер тратит на треть больше токенов, и «дешёвая» модель линейки местами обходится дороже старшей Opus 4.8, теряя весь смысл. Параллельно Anthropic вернула топовую Fable 5 в подписку — но лишь до 7 июля, в пределах 50% недельного лимита и с усиленными предохранителями.

Читать → Разбор

Claude Code с движком GLM 5.2: как подключить чужую модель, обойти бан и платить меньше

Бан в Claude Code перекрывает доступ к модели Anthropic, а не к самому инструменту, поэтому вместо неё можно подключить открытую китайскую GLM 5.2 через подписку Z.ai и работать в привычном харнесе. Способ дешевле подписки Claude, но заголовок «обойти всё навсегда» — маркетинг: остаются вопросы стабильности, правил Anthropic и непроверенных бенчмарков.

Читать →
← Все разборы Смотреть видео-источник