Разборы · Статья: · Видео: · 1 ч 00 мин
Большие языковые модели простыми словами: от сжатия интернета до «ОС будущего»
Часовая вводная лекция Андрея Карпаты, разобранная по полочкам: что такое LLM, откуда берутся их «знания», почему они врут и куда всё это движется.
Коротко
Карпаты объясняет LLM как систему из двух файлов — гигантского набора параметров и кода, который их запускает, — полученную «сжатием» огромного куска интернета. Во второй половине он смотрит вперёд: модель как новая операционная система и её главные уязвимости в безопасности.
Оценка видео
Чем выше — тем больше пользы на минуту
средняя из 5
Основы не устарели, но конкретные модели и цифры — из конца 2023-го.
Час концентрированной базы практически без воды.
Не новые исследования, а сильные объясняющие метафоры.
Понятно даже без математической подготовки.
Инсайты
Нажми, чтобы раскрыть — то, что меняет взгляд на тему
01 Модель — это всего два файла
Вся «магия» запущенной LLM — это файл весов и пара сотен строк кода. Сложное и дорогое здесь не запуск, а обучение: запустить модель локально проще, чем принято думать.
02 Обучение — это сжатие интернета с потерями
Около 10 ТБ текста ужимаются в несколько гигабайт параметров. Модель не хранит факты дословно, а выучивает закономерности — поэтому она уверенно ошибается и «галлюцинирует».
03 Дообучение меняет не знания, а поведение
Базовые знания закладываются на дорогом этапе предобучения, а «ассистентом» модель делает второй, дешёвый этап на качественных диалогах. Характер ИИ можно поменять, не переучивая его с нуля.
04 LLM — это новая операционная система
Модель — ядро, контекстное окно — оперативная память, а инструменты (браузер, код, калькулятор) — периферия. ИИ-приложения стоит проектировать как ОС, а не как один большой промпт.
05 «Думать» — значит тратить больше токенов
Точность растёт, когда модель рассуждает по шагам: вычисление «размазывается» по большему числу токенов. Это и объясняет силу reasoning-моделей.
Полезные советы
Что можно применить уже сегодня. Разверни совет — сколько займёт, что даст и что конкретно делать
Запусти модель локально
Скачай открытую модель (например, через ollama) и подними её на ноутбуке — это снимает мистику и даёт интуицию о реальных размерах и скорости.
Проси рассуждать по шагам
Для сложных задач добавляй «давай по шагам» или дроби задачу на части — так модель тратит больше токенов на размышление и реже ошибается.
Давай инструменты, а не требуй памяти
Не заставляй LLM считать в уме или помнить точные факты — подключай калькулятор, поиск и код. Это её сильная сторона как «ядра ОС».
Перепроверяй факты
Помни, что модель сжимает, а не цитирует: все числа, имена и даты сверяй с первоисточником.
Освой базовую безопасность промптов
Познакомься с jailbreak и prompt injection до того, как пустишь LLM к своим данным и действиям.
Логика повествования
Как устроена аргументация видео — пройди по шагам
-
Предпосылка Что такое LLM? Два файла: веса и код запуска
Карпаты показывает: модель Llama-2-70b — это файл параметров (~140 ГБ) плюс небольшой код, который их исполняет. Больше ничего не нужно, чтобы она работала офлайн.
-
Аргумент Откуда берутся веса — предобучение как сжатие интернета
Берётся огромный кусок интернета (≈10 ТБ), на дорогом кластере он «сжимается» в параметры. Результат — не архив, а выученные закономерности языка.
-
Аргумент Как автодополнение превращается в ассистента — дообучение
Второй этап дешевле: модель дообучают на качественных диалогах «вопрос — ответ». Знания те же, но поведение становится «помощником».
-
Пример Демонстрация возможностей и галлюцинаций
Примеры работы модели и моменты, где она уверенно выдаёт неправду — прямое следствие сжатия с потерями.
-
Аргумент Куда всё идёт — LLM как ядро новой ОС
Инструменты, мультимодальность, агенты, «System 2»-рассуждение, дообучение под себя — модель обрастает периферией как операционная система.
-
Аргумент Новая поверхность атаки — безопасность LLM
Jailbreak, prompt injection, отравление данных — целый класс уязвимостей, которого раньше не существовало.
-
Вывод Вывод: строится новый вычислительный стек
Мы в начале большой смены парадигмы, и правила работы с этим стеком ещё только формируются.
Подробный разбор
Полный разбор — разверни, если нужно глубже
Развернуть подробный разбор Свернуть подробный разбор
Лекция делится на две неравные части. Первая — спокойное и очень наглядное объяснение, что такое языковая модель и откуда она берётся. Вторая — взгляд вперёд: чем LLM становятся и какие у них принципиально новые уязвимости.
Две части одной истории
В первой половине Карпаты намеренно убирает всю математику и сводит модель к двум файлам: набору параметров и коду, который их запускает. Дальше он отвечает на главный вопрос — откуда берутся эти параметры — и вводит метафору сжатия: предобучение «утрамбовывает» огромный кусок интернета в веса. Отсюда же растут и сильные стороны, и фирменная болезнь моделей — галлюцинации.
Почему это до сих пор актуально
Конкретные модели и цифры из 2023 года уже устарели, но каркас мышления — нет. Деление на предобучение и дообучение, идея контекста как оперативной памяти, инструменты как периферия и новый класс атак на промпты — всё это по-прежнему лучший «скелет», на который удобно навешивать любые новости из мира ИИ.
Полезнее всего смотреть лекцию не ради фактов, а ради рамки: она помогает быстро встраивать новое и отличать существенное от шума.
План внедрения
С чего начать — отмечай шаги, прогресс сохранится
Выполнено 0 из 5
Проверь себя
Ответь на вопросы, чтобы материал закрепился
-
1. Из чего, по Карпаты, по сути состоит запущенная LLM?
-
2. Что происходит на этапе предобучения (pretraining)?
-
3. Почему LLM «галлюцинируют»?
-
4. Какую метафору Карпаты предлагает для будущего LLM?
-
5. Как надёжнее всего повысить точность на сложной задаче?
Похожие разборы
Локальный ИИ без дорогой видеокарты: как запустить Google Gemma через Ollama
Google Gemma — семейство лёгких открытых моделей, которые благодаря квантизации запускаются локально через Ollama даже на ноутбуке с 8 ГБ ОЗУ без дискретной видеокарты. Ценность не в том, что Gemma «лучше ChatGPT», а в приватности, работе офлайн и отсутствии облачных счетов — ценой того, что маленькая локальная модель слабее больших облачных.
Читать → РазборРекурсивные кодинг-агенты: почему надёжность важнее интеллекта
Главное узкое место ИИ-агентов — не интеллект, а надёжность: модель уже всё знает, но ей нельзя доверить результат. Рекурсивные языковые модели решают это оркестрацией — задачу символически дробят на части, поручают рекурсивным сабагентам и проверяют, а те же принципы переносятся на кодинг-агентов через dynamic workflows и OpenProse.
Читать → РазборOpenClaw в руке: карманный терминал на ESP32 для общения с локальной LLM
Инженер показал, как собрать карманный текстовый терминал для общения с ИИ: два экрана, дешёвый микроконтроллер, а тяжёлая модель живёт на домашнем сервере. Главная мысль — мощный ИИ не обязан жить в устройстве, поэтому в руке остаётся простой и тихий гаджет без уведомлений и отвлечений.
Читать → РазборПромпт как платформа: почему ценность переезжает из кода в спецификацию
Когда ИИ-агенты научатся генерировать реализацию под конкретную инфраструктуру, повторно использовать будут не библиотеку, а спецификацию — и ценность продукта переедет из кода в протокол. Главный приём доклада: дать агенту детерминированный симулятор, который честно воспроизводит редкие сбои и объясняет причину ошибки, чтобы агент проектировал корректный алгоритм, а не просто писал код.
Читать →