Разборы · Статья: · Видео: · 24:35
OpenClaw в руке: карманный терминал на ESP32 для общения с локальной LLM
Физик Лех Калиновский за три месяца собрал устройство размером с Game Boy — карманный AI-терминал с двумя экранами, который управляет агентом OpenClaw и локальной моделью на 120 млрд параметров. Разбор архитектуры «тонкий клиент плюс домашний сервер», полевых ошибок и идеи тихого устройства без отвлечений.
Смотреть на YouTube OpenClaw in Your Hand: Building a Physical AI Terminal - Lech Kalinowski, Callstack
AI Engineer · 24:35
Главы видео — нажми, чтобы перейти к моменту 9
- 0:02 Находка в подвале Автор находит запылённое устройство из 80-х с клавиатурой и странными экранами — и оно отвечает на естественном языке.
- 1:58 Замысел: устройство из будущего Лех Калиновский, PhD по физике, хотел собрать физический AI-native гаджет — пульт к своему OpenClaw на DGX Spark.
- 2:53 Почему текст и два экрана LLM — это в первую очередь текст. E-paper отлично читается, но медленный, поэтому в пару к нему идёт быстрый OLED.
- 4:39 AI-native ОС на микроконтроллере Своя система на маленьких MCU с четырьмя классами режимов: внутренний shell, управление ассистентом и RPG-режим.
- 6:45 Рендеринг, память и питание Страницы — one-bit образы в заранее выделенной памяти, без malloc и markdown на MCU. Отдельная боль — стабильное питание.
- 8:20 Бэкенд и локальная модель на 120B Прошивка на терминале плюс большой бэкенд с open-source моделью на 120B, TensorRT и OpenAI-совместимым прокси.
- 10:35 Полевые заметки: что сломалось Software I2C, тихий отказ GPIO, спалённые дисплеи из-за питания и шумный дешёвый энкодер.
- 12:14 RPG-режим — любимая часть Текстовая ролевая игра: LLM генерирует четыре мира, персонажей, карты и настроение — идеальный сценарий для такого устройства.
- 16:33 Итоги: это был Game Boy Цифры проекта, takeaways и вывод: тихое текстовое устройство для общения с LLM — по сути AI-native Game Boy.
Коротко
Инженер показал, как собрать карманный текстовый терминал для общения с ИИ: два экрана, дешёвый микроконтроллер, а тяжёлая модель живёт на домашнем сервере. Главная мысль — мощный ИИ не обязан жить в устройстве, поэтому в руке остаётся простой и тихий гаджет без уведомлений и отвлечений.
Выжимка голосом
Самое ценное из разбора — за пару минут
Показать текст выжимки Скрыть текст выжимки
Озвучено синтезом речи · голос alena
Объясни проще
Суть без жаргона
Простыми словами
Физик собрал карманное устройство размером с Game Boy, чтобы разговаривать с ИИ текстом. У него два экрана — быстрый для набора и электронная бумага для готового ответа, а сама модель работает на домашнем компьютере. Никаких уведомлений и картинок, только спокойное чтение и письмо.
Как ребёнку
Представь старую игровую приставку с кнопками. Но вместо игр в ней живёт умный собеседник: ты печатаешь вопрос, а на экране-бумажке появляется ответ. Думает не сама приставка, а большой компьютер дома, который ей помогает по Wi-Fi.
Аналогия — «это как…»
Это как электронная книга, скрещённая с рацией: один экранчик показывает, что ты печатаешь прямо сейчас, второй хранит готовый ответ, а «главный мозг» сидит на базе — домашнем сервере — и отвечает по радио.
Зачем это мне
Устройство показывает, что мощный ИИ не обязан жить в облаке или дорогом гаджете: модель работает на домашнем сервере, а в руке остаётся дешёвый тонкий клиент. И напоминает, что интерфейс без отвлечений — самостоятельная ценность в мире, который борется за наше внимание.
Для тех, кто в теме
Тонкий клиент на ESP32 (dual-core) с гибридным выводом: OLED как live surface для ввода плюс bistable e-paper для отрендеренного ответа. Кадры — one-bit образы в заранее выделенной памяти, без malloc и markdown-движка на MCU. Бэкенд обслуживает open-source модель на 120B через TensorRT с OpenAI-совместимым прокси; агентный слой — OpenClaw на DGX Spark. Четыре класса режимов (shell / assist / RPG), 16 классов кода, подана provisional-заявка на distraction-free текстовое устройство.
Оценка видео
Чем выше — тем больше пользы на минуту
средняя из 5
Локальные LLM, агенты и edge-инференс — одна из главных тем года, а форм-фактор персонального AI-устройства только зарождается.
Много вдохновляющей истории и общих принципов, но конкретики для повторения (схемы, код, точные компоненты) мало.
Связка OLED плюс e-paper как AI-терминал, one-bit рендеринг без malloc и RPG-режим на LLM — свежий и небанальный ход.
Это витрина одного проекта, а не гайд: полевые заметки полезны, но собрать своё по докладу не выйдет.
Сильный сторителлинг — от находки в подвале до Game Boy в финале — держит внимание и заражает азартом мейкера.
Кому будет полезно
Чем выше оценка — тем больше пользы для профессии. Разверни — почему.
Для инженеров встраиваемых систем 4.7 /5
Прямое попадание: ESP32, гибрид OLED и e-paper, one-bit фреймбуферы, software I2C, GPIO и питание — с честными граблями из полевых заметок.
Для продуктовых дизайнеров 4 /5
Живой пример calm-технологии: устройство без уведомлений, рекламы и ярких экранов, спроектированное под тихое чтение и письмо.
Для мейкеров и DIY-энтузиастов 3.9 /5
Вдохновение и ориентир по объёму: один человек за три месяца собрал работающий AI-гаджет, видно, чего это стоит.
Для разработчиков локальных AI-агентов 3.8 /5
Показан рабочий паттерн: агент OpenClaw плюс локальная 120B через TensorRT и OpenAI-совместимый прокси как единый интерфейс.
Для хардварных стартаперов 3.5 /5
Кейс про нишу «тихих» текстовых устройств, provisional-патент и путь от прототипа к возможному коммерческому продукту.
Инсайты
Нажми, чтобы раскрыть — то, что меняет взгляд на тему
01 Модель может жить не в устройстве, а на сервере 8:20
Как только тяжёлую 120B выносят на домашний бэкенд, устройство в руке становится тонким клиентом: дешёвый MCU, крохотная прошивка, один аккумулятор. Это переворачивает интуицию «мощный ИИ = мощный гаджет».
02 Минимализм интерфейса не равен минимализму вычислений 23:29
Тихая текстовая игра без единого 3D-полигона гоняет самый мощный GPU в мире, потому что весь мир, персонажей и сюжет генерирует нейросеть. Простота на экране прячет максимум работы под капотом.
03 Два дисплея с разными ролями лучше одного идеального 3:28
Быстрый OLED показывает набираемый текст, а бистабильная e-paper держит готовый ответ почти без энергии. Разделение «динамика и статика» даёт и отзывчивость, и автономность одновременно.
04 Устаревший текстовый интерфейс идеален для генеративного нарратива 12:52
То, что казалось архаикой — чистый текст без графики — оказалось лучшим носителем для LLM-RPG: воображение достраивает мир, а модель отвечает за контекст и историю.
05 Есть спрос на тишину, а не только на аудио и видео 15:18
Пока рынок гонится за голосовыми и визуальными интерфейсами, остаётся ниша спокойных устройств: сесть, успокоиться и поработать с LLM без всплывающих цветов и отвлечений.
Ключевые цитаты
Сильные фразы из видео — нажми тайм-код, чтобы услышать в оригинале
«История, которую я вам рассказал, могла бы стать отличной историей для маркетинга. Но, честно говоря, я просто хотел собрать физическое AI-native устройство — как будто из будущего.»
«Я задал устройству простой вопрос — «Кто я?» — и оно ответило самым странным образом, какой я мог представить, на естественном языке.»
«Страницы живут в заранее выделенной памяти. Никакого markdown-движка и никакого malloc на стороне микроконтроллера.»
«Мне пришлось строить полноценный блок питания, потому что я спалил два дисплея, пока собирал прототип.»
«Устройство по-настоящему пуленепробиваемое: не работает OLED — работает e-paper; отказала клавиатура — есть энкодер; упал Wi-Fi — всегда есть локальный shell.»
«Тихая игра с текстовым интерфейсом требует самой мощной видеокарты в мире.»
«Ставь на нарратив: важен контекст, а в целом — не цифры.»
«Презентация была про карманное устройство для управления агентом и OpenClaw через локальные модели, но по сути — про Game Boy.»
Полезные советы
Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать
1 Раздели экраны по задачам
вечер на прототип и отзывчивый ввод, и почти нулевой расход энергии на готовом тексте
Раздели экраны по задачам
Один быстрый дисплей (OLED) под динамику набора, второй бистабильный (e-paper) — под финальный ответ, который держится без питания.
Что делать
- 1 Определи, что меняется каждую секунду (ввод), а что показывается статично (ответ).
- 2 Динамику отдай быстрому OLED, статику — e-paper.
- 3 Синхронизируй: по Enter рендерь готовый результат на e-paper.
2 Держи модель на сервере, а не в устройстве
зависит от инфраструктуры дешёвый и лёгкий гаджет вместо дорогого мощного железа в руке
Держи модель на сервере, а не в устройстве
Тяжёлую модель размести на домашнем бэкенде, а на устройстве оставь тонкую прошивку, которая только шлёт запросы и рисует ответ.
Что делать
- 1 Подними модель на отдельной машине (например, DGX Spark или свой сервер).
- 2 Открой к ней сетевой доступ по Wi-Fi.
- 3 На MCU оставь только UI и клиент запросов.
3 Заложи запас по питанию заранее
несколько дней не спалишь хрупкие дисплеи и не будешь неделями ждать замену деталей
Заложи запас по питанию заранее
Нестабильные ток и напряжение убивают OLED и e-paper. Автор спалил два дисплея, пока не собрал отдельный стабилизированный блок питания.
Что делать
- 1 Посчитай пиковое потребление всех компонентов.
- 2 Собери регулятор с запасом и стабильным напряжением.
- 3 Проверь просадки под нагрузкой до подключения дисплеев.
4 Не полагайся на software I2C
1–2 часа отладки меньше загадочных сбоев связи между чипами
Не полагайся на software I2C
Программный I2C и висящие линии без подтяжек дают нестабильность; иногда порт (как GPIO 13) тихо отказывает — надёжнее аппаратная шина и другой пин.
Что делать
- 1 Используй аппаратный I2C, где возможно.
- 2 Поставь подтягивающие резисторы на линии.
- 3 При тихом отказе перенеси сигнал на другой проверенный пин.
5 Оберни локальную модель в OpenAI-совместимый прокси
полдня один интерфейс вместо стены несовместимостей между моделями
Оберни локальную модель в OpenAI-совместимый прокси
Не все open-source модели говорят в стиле OpenAI API. Прокси приводит их к единому формату, и клиент на устройстве не переписывается под каждую модель.
Что делать
- 1 Подними серверную обёртку с OpenAI-совместимыми эндпоинтами.
- 2 Заведи за ней нужную локальную модель.
- 3 Клиент устройства ходит только в прокси.
6 Сделай устройство отказоустойчивым
заложи на этапе дизайна гаджет остаётся полезным, даже если часть узлов отказала
Сделай устройство отказоустойчивым
Несколько путей ввода и вывода: отказал OLED — есть e-paper, отказала клавиатура — есть энкодер, упал Wi-Fi — остаётся локальный shell.
7 Ставь на нарратив, а не на цифры
постоянно более живой и полезный опыт общения с LLM
Ставь на нарратив, а не на цифры
Автор выделяет главный takeaway: для опыта с моделью важнее контекст и история, чем сухие метрики. Продумывай мир и роль, а не только параметры.
Сценарии применения
Как разные люди применяют это на практике
Я как Инженер встраиваемых систем
Проблема: хочется проект в портфолио, который совмещает железо и современный ИИ
Хочу: понять реальную архитектуру карманного AI-терминала
Поможет: видит стек ESP32 плюс два дисплея плюс бэкенд и типичные грабли с I2C и питанием
Я как Продуктовый дизайнер
Проблема: интерфейсы перегружены уведомлениями и борьбой за внимание
Хочу: живой пример спокойного устройства без отвлечений
Поможет: получает концепт calm-гаджета для тихого чтения и письма с ИИ
Я как Хардварный стартапер
Проблема: непонятно, сколько сил уходит на MVP физического устройства
Хочу: оценить объём работ и подводные камни
Поможет: видит путь за три месяца, ошибки по питанию и идею защиты через provisional-патент
Я как ML-инженер
Проблема: как обслуживать open-source модель на 120B локально и удобно
Хочу: рабочий паттерн serving для собственных клиентов
Поможет: берёт связку TensorRT плюс OpenAI-совместимый прокси как единую точку входа
Я как Преподаватель электроники
Проблема: нужны реальные кейсы с честными ошибками для студентов
Хочу: разобрать проект, где что-то шло не так
Поможет: использует полевые заметки про software I2C, GPIO 13 и стабилизацию питания
Я как Родитель-гик
Проблема: хочется живой text-RPG для вечеров без экранного шума
Хочу: идею тихого устройства для семейных игр
Поможет: видит концепт RPG-консоли, где LLM генерирует миры и персонажей
Я как Мейкер-любитель
Проблема: кажется, что AI-железо — это слишком сложно для одиночки
Хочу: вдохновение и ориентир, что реально по силам
Поможет: убеждается, что один человек собирает работающий AI-гаджет за пару месяцев
Логика повествования
Как устроена аргументация видео — пройди по шагам
-
Предпосылка LLM — это в первую очередь текст 2:53
Когда думаешь об LLM, сперва приходит текст, а не аудио или картинки. Значит, устройству нужен хороший текстовый вывод.
-
Аргумент Нужен дисплей под чтение и письмо 3:10
E-paper отлично читается и экономит энергию, но медленно обновляется — для динамичного набора он не годится.
-
Аргумент Отсюда — два экрана 3:28
Быстрый OLED показывает набираемый текст, бистабильная e-paper держит готовый ответ. Мощно и энергоэффективно.
-
Аргумент Мощную модель не запихнуть в MCU 8:20
AI-native устройство прожорливо, поэтому тяжёлую модель выносят на отдельный бэкенд, а на MCU остаётся тонкий клиент.
-
Пример Терминал на ESP32 плюс локальная 120B 8:55
Прошивка на устройстве, бэкенд с open-source моделью на 120B через TensorRT и OpenAI-совместимый прокси, агент OpenClaw на DGX Spark.
-
Пример RPG-режим: LLM генерирует целые миры 13:46
Четыре мира, персонажи, карты и настроение — всё из модели, конвертируется в one-bit образы для дисплеев.
-
Вывод Получился AI-native Game Boy 23:47
Тихое текстовое устройство для общения с LLM без отвлечений — по сути карманная консоль для разговора с ИИ.
Подробный разбор
Полный разбор — разверни, если нужно глубже
Развернуть подробный разбор Свернуть подробный разбор
Стоит ли смотреть целиком
Да — если тебе интересно железо, локальные LLM или спокойные интерфейсы. Это не туториал, а вдохновляющая история одного инженера: от находки запылённого «терминала из будущего» в подвале до карманного устройства, которое он сам называет AI-native Game Boy. Доклад держится на азарте мейкера и нескольких сильных идеях, а не на пошаговых схемах.
Главная ценность — не «как повторить», а «как думать». Автор наглядно показывает архитектуру «тонкий клиент плюс домашний сервер»: тяжёлую модель на 120 млрд параметров выносят на DGX Spark, а в руке остаётся дешёвый ESP32 с двумя экранами. Это переворачивает привычную логику «мощный ИИ = мощный гаджет».
Что забрать с собой
Три практичные мысли переживут этот конкретный проект. Первая — разделяй экраны и задачи: быстрый OLED под ввод, бистабильная e-paper под готовый ответ, который держится без энергии. Вторая — решай питание раньше всего: автор спалил два дисплея, пока не собрал стабилизированный блок. Третья — оборачивай локальную модель в OpenAI-совместимый прокси, чтобы клиент не переписывался под каждую новую модель.
И самое запоминающееся наблюдение доклада: тихая текстовая игра без единого 3D-полигона требует самой мощной видеокарты в мире, потому что весь мир, персонажей и сюжет генерирует нейросеть. Минимализм на экране — это максимум работы под капотом.
План внедрения
С чего начать — отмечай шаги, прогресс сохранится
Выполнено 0 из 6
Проверь себя
Ответь на вопросы, чтобы материал закрепился
-
1. Где выполняется тяжёлая работа языковой модели в этом устройстве?
-
2. Зачем в устройстве сразу два дисплея?
-
3. Какую модель автор подключил к терминалу?
-
4. Что автор советует помнить про модель и «железо» устройства?
-
5. В чём ирония с RPG-режимом и вычислениями?
-
6. Что оказалось главной технической болью при сборке?
Словарь терминов
Понять незнакомое простым языком
Показать 10 терминов Свернуть словарь
- OpenClaw
- Агентный слой, который принимает команды и выполняет их через LLM (здесь — на DGX Spark): например, написать код и сохранить файл на машине.
- DGX Spark
- Компактный AI-компьютер NVIDIA для локального инференса — тут выступает домашним сервером, где крутится модель.
- ESP32
- Дешёвый двухъядерный микроконтроллер с Wi-Fi — «мозг» самого устройства, который занимается интерфейсом, а не моделью.
- E-paper (электронная бумага)
- Дисплей, который держит картинку без энергии (бистабильный), но обновляется медленно — идеален для чтения готового текста.
- OLED
- Быстрый самосветящийся дисплей; здесь — маленький одноцветный экран под динамичный ввод.
- I2C
- Шина связи между чипами по двум проводам. Программная (software) реализация менее надёжна, чем аппаратная.
- MCU
- Микроконтроллер — маленький чип-компьютер, который управляет железом устройства.
- TensorRT
- Библиотека NVIDIA для быстрого запуска нейросетей на её GPU.
- One-bit образ
- Чёрно-белое изображение без градаций (каждый пиксель — 0 или 1). Занимает мало памяти, поэтому удобно для слабого MCU и e-paper.
- Provisional patent
- Предварительная патентная заявка — способ зафиксировать приоритет идеи до полноценного патента.
Критический взгляд
Объективно: с какими тезисами можно поспорить и что преувеличено
Ниша и патент подаются как доказанный рыночный спрос
Одно работающее устройство и provisional-заявка показывают возможность, но не подтверждают, что люди готовы это покупать. Ниша «тихих» гаджетов реальна, однако её размер и платёжеспособность в докладе не измерены.
Заявление, что устройство «пуленепробиваемое»
Резервные пути ввода и вывода — хорошо, но при падении Wi-Fi локальный shell не даёт доступа к самой LLM. То есть в оффлайне «AI-терминал» деградирует до печатной машинки, а не остаётся полноценным.
Практическая автономность устройства преувеличена
Гаджет дешёвый и лёгкий только потому, что вся мощь вынесена на дорогой сервер и зависит от сети. Это не самодостаточное устройство, а пульт к домашней инфраструктуре — важный нюанс для «устройства из будущего».
Доклад — вдохновляющая витрина, а не воспроизводимый гайд
Много «я сделал так» и мало схем, кода и точных компонентов. Полевые заметки полезны, но повторить проект по одному выступлению не получится — ценность скорее в идее, чем в инструкции.
Взгляни иначе
Новый угол, смежные области и потенциал на стыке — пища для размышлений
Ценность не в железе, а в праве на тишину
Возможно, главный продукт здесь — не гаджет, а сам режим внимания: устройство, которое физически не умеет отвлекать, в мире экономики внимания становится роскошью, а не ограничением.
Возвращение терминалов 70-х в эпоху LLM
Тонкий клиент плюс мощный сервер — это старая архитектура мейнфреймов и терминалов, вернувшаяся на новом витке: «тупое» устройство у человека, весь интеллект — по сети. История вычислений повторяется.
Тихий текстовый гаджет как инструмент доступности
Устройство без ярких экранов, звуков и мельтешения может быть находкой для людей с сенсорной чувствительностью, для пожилых или для тех, кому вредна визуальная перегрузка.
Форм-фактор дисциплинирует мышление
Ограничение до чистого текста работает как бумажный ежедневник: рамка заставляет формулировать мысль, а не залипать в интерфейсе. Иногда меньше возможностей — это больше внимания.
Генеративные text-RPG как обучение и терапия
LLM-нарратив на дешёвом карманном устройстве — это не только развлечение: тем же движком можно учить языкам, тренировать переговоры или мягко прорабатывать сценарии в спокойной обстановке.
Похожие разборы
NVIDIA RTX Spark против Apple Silicon: CUDA, память и вопрос цены
RTX Spark выглядит как первый реальный шанс Windows-ноутбуков на ARM ударить по Apple не только батареей, но и графикой, CUDA и локальными AI-агентами. Но главный вопрос пока не в том, можно ли такое железо собрать, а в том, будет ли оно достаточно быстрым, совместимым и доступным по цене.
Читать → РазборApple M5 Pro против RTX 5090 для локального ИИ: почему 64 ГБ памяти бьют сырую скорость
На моделях, которые влезают в 32 ГБ, RTX 5090 уверенно быстрее MacBook (123 против 42 токенов/с), но как только модель перестаёт помещаться в VRAM, она «проливается» в системную память и резко тормозит. На большой модели Qwen 3.5 (35 млрд параметров) MacBook с 64 ГБ объединённой памяти оказался почти вдвое быстрее десктопа с RTX 5090.
Читать → РазборDomain-specific агенты: почему будущее за роем узких ИИ, а не за одним всемогущим
Компании пытаются интегрировать ИИ, навешивая на один большой агент всё больше MCP и skills — и упираются в раздувание контекста и хрупкость. Автор доказывает, что будущее за композицией: рой узких доменных агентов, каждый со своей моделью, инструментами и памятью, координируемых на обычном языке — это дешевле, безопаснее и масштабируется.
Читать → РазборПромпт — это всё ещё перфокарта: почему мы до сих пор учимся говорить с ИИ
Модели поумнели невероятно, но протокол общения с ними остался пакетным, как у перфокарт 1950-х: собери всю просьбу, отправь, жди ответ. Настоящий следующий шаг ИИ — не более умная модель за тем же окном ввода, а интерфейс, который сам участвует в разговоре и снимает лишнюю ношу с человека.
Читать →