Skip to content
RiverCore
Саттон уходит из лаборатории Кармака, чтобы объявить войну LLM
Richard Sutton Oak Labreinforcement learningLLM alternativesRichard Sutton leaves Keen Technologiesreinforcement learning vs large language models

Саттон уходит из лаборатории Кармака, чтобы объявить войну LLM

15 июл 20267 мин. чтенияJames O'Brien

Представьте себе индустрию ИИ как огромную скоростную магистраль: восемь полос, все движутся в одном направлении, все жмут на газ в сторону всё более крупных трансформеров и всё большего объёма текстовых данных. 14 июля 68-летний мужчина из Альберты съехал на ближайшем съезде, развернул машину и поехал в обратном направлении. На пассажирском сиденье у него лежала премия Тьюринга.

Ричард Саттон — человек, которого большинство специалистов в области ИИ назовут изобретателем обучения с подкреплением, — ушёл из ИИ-стартапа Джона Кармака, чтобы создать нечто, не имеющее ничего общего с GPT. И он не скрывает причин своего решения.

Что произошло

Как сообщило BigGo Finance, Саттон объявил в X, что вместе с соавтором Хуррамом Джавидом покидает Keen Technologies — ИИ-компанию, основанную легендарным разработчиком игр Джоном Кармаком, — чтобы основать Oak Lab. Новая компания зарегистрирована в Канаде, где Саттон провёл свою академическую карьеру в качестве профессора информатики в Университете Альберты.

Регалии важны, потому что масштаб заявления огромен. Саттон получил степень бакалавра по психологии в Стэнфорде, затем защитил докторскую диссертацию в UMass Amherst под руководством Эндрю Барто. Он создал алгоритм обучения с временны́ми разностями, в соавторстве с Барто написал книгу Reinforcement Learning: An Introduction, а в 2025 году оба совместно получили премию ACM Тьюринга за основополагающий вклад в обучение с подкреплением. Среди его бывших студентов — Дэвид Силвер, создавший AlphaGo и основавший Ineffable Intelligence, и Дойна Прекуп, руководящая DeepMind Montreal.

Oak Lab строится вокруг архитектуры OaK — аббревиатуры от Options and Knowledge («Опции и Знания»), возникшей из исследовательской программы «Альбертский план». Долгосрочная цель — агент с триллионом параметров, работающий на мощности 20 ватт, то есть с таким же энергетическим бюджетом, что и человеческий мозг. Саттон хочет обучения в реальном времени с размером батча равным единице. Никакого предварительного обучения, никаких замороженных весов, никакого принципа «выпустил и забыл».

К этому он шёл давно. В сентябре 2025 года в интервью Двракешу Пателю он утверждал, что LLM не воплощают дух его эссе 2019 года «Горький урок» ("The Bitter Lesson"). В мае 2026 года на лекции Dertouzos Distinguished Lecture в MIT он прямо заявил, что ИИ как масштабная индустрия в значительной мере сбилась с пути. Oak Lab — это то, как выглядит это утверждение, когда за ним стоят деньги и инженеры.

Техническая анатомия

Чтобы понять эту ставку, нужно понять, на каком съезде, по мнению Саттона, индустрия свернула не туда. В эссе «Горький урок» был проведён обзор 70 лет исследований в области ИИ, и вывод звучал так: закодированные вручную человеческие знания всегда проигрывают общим методам плюс масштабированию. Ведущие лаборатории прочитали это эссе и услышали: масштабируйте трансформеры. Саттон перечитал собственное эссе и слышит совсем другое: учитесь на опыте, а не на чужих домашних заданиях.

Ядро OaK покоится на трёх принципах. Агент должен быть универсальным, без заранее запрограммированных предметно-специфических знаний. Все знания должны приходить из опыта. А движущей силой служит максимизация накопленного вознаграждения. «Опции» в названии — это поведенческие политики, растянутые во времени: последовательности действий с условиями завершения, а не однократные реакции. «Знание» — это то, что агент накапливает, выполняя эти опции в реальном мире.

Требование размера батча, равного единице, — вот где начинается самое интересное. Каждый, кто обучал современные нейросети, знает: батч размером один — это то, где всё рассыпается. Шум градиента разрушает всё. Современное глубокое обучение — это по существу очень сложная машина усреднения, а усреднение по батчу из одного элемента — это просто отсутствие усреднения. Саттон и его команда считают, что сочетание их алгоритмов с событийно-управляемыми нейронными сетями способно снизить необходимые вычисления и энергопотребление на несколько порядков. Это единственный реалистичный путь к 20 ваттам. До бюджета мощности мозга нельзя добраться, просто уменьшив транзисторы в преемнике H100. К нему приходишь, вообще не выполняя лишнюю работу.

Две проблемы, которые Саттон открыто признаёт, — это катастрофическое забывание, когда новое обучение перезаписывает старые знания, и потеря пластичности, когда сеть постепенно утрачивает способность усваивать что-либо новое. Обе остаются нерешёнными в серьёзном смысле слова. LLM обходят их, попросту не обучаясь после тренировки. Oak Lab вынуждена смотреть им в лицо напрямую, поскольку непрерывное обучение — это и есть весь смысл проекта. О долгосрочных амбициях сообщало издание 36Kr, но ближайшая исследовательская задача чрезвычайно сложна, и честные специалисты в этой области скажут вам, что никто её ещё не решил.

Кому это грозит

Короткий ответ: не ведущим лабораториям, по крайней мере пока. OpenAI, Anthropic и Google не заметят канадский исследовательский стартап в своих финансовых отчётах в следующем квартале. Внимание стоит обратить тем, кто находится на уровень ниже.

Начнём с фреймворков агентов. Многое из того, что в 2026 году продаётся под видом «ИИ-агентов», — это языковая модель в цикле с инструментами и каким-то костылём для памяти. Если Саттон и Силвер правы в том, что настоящее непрерывное обучение имеет значение, то такие системы — по существу очень сложные марионетки. Они не могут учиться у пользователя, не могут исправлять собственные ошибки, не могут изобретать новые стратегии. AlphaZero отказался от человеческих шахматных партий и нашёл игру лучше, чем когда-либо играли люди. Ни один агент на основе LLM, выпущенный сегодня, не делает ничего подобного. Основателям, строящим на агентных стеках Claude или Gemini, стоит хотя бы спросить себя: как выглядит их конкурентное преимущество, если весь подход окажется локальным максимумом?

Во-вторых, магазины RLHF и дообучения. Если обучение с подкреплением как полноправный инструмент вернётся, то индустрия «добавить модель предпочтений поверх базовой LLM» окажется под давлением с обеих сторон. Ведущие лаборатории будут продолжать делать это внутри, а новая волна систем, нативных для RL, сделает такой подход поверхностным.

В-третьих, и это особенно интересно для команд в финтехе и iGaming: обещание агента, обучающегося онлайн, в реальном времени, на основе собственных действий, с размером батча равным единице, — это именно та форма задачи, которую решают эти отрасли. Обнаружение мошенничества, динамическое ценообразование в режиме реального времени, петли персонализации. Никому в этих отраслях на самом деле не нужна замороженная модель. Им нужна система, которая адаптируется к сегодняшнему трафику, а не к прошлоквартальному. Если Oak Lab выпустит что-то пригодное к использованию в ближайшие три года, первыми коммерческими клиентами станут прикладные ИИ-команды в платежах и беттинге, а не компании потребительских чат-ботов.

Стратегия для разработки ИИ

Никому не стоит выбрасывать свой LLM-стек на этой неделе. Это было бы глупо. Но есть три шага, которые стоит сделать.

Первый: прочитайте «Горький урок» и сентябрьское интервью 2025 года с Двракешем Пателем самостоятельно, прежде чем позволять своим архитекторам объяснять вам, что имел в виду Саттон. Это эссе цитируют два противоположных лагеря в обоснование противоположных выводов. Это намёк на то, что стоит составить собственное мнение.

Второй: проверьте, какие части вашей ИИ-системы действительно нуждаются в непрерывном обучении, а какие вполне устраивает замороженная модель. Большинству продуктовых функций оно не нужно. Некоторым — нужно, и именно там LLM плюс векторная база данных — это пока что скотч. Будьте честны с собой насчёт того, что есть что. Если вы каждую неделю прогоняете дообучение через пайплайны Hugging Face только для того, чтобы держать модель актуальной, — это сигнал, что вы работаете против подхода, а не вместе с ним.

Третий: следите за Ineffable Intelligence и Oak Lab вместе. Источник описывает их как скоординированный вызов доминирующему подходу к ИИ. Две команды с родословной, восходящей к лауреату премии Тьюринга, указывающие в одном направлении, — это не погрешность округления. Возможно, они не выпустят ничего готового к применению в течение пяти лет. Но возможно и то, что они создадут нечто, способное поглотить значительную часть того, на чём вы строите сегодня.

Ключевые выводы

  • Саттон и Хуррам Джавид покинули Keen Technologies 14 июля, чтобы основать Oak Lab в Канаде, построенную вокруг архитектуры OaK (Options and Knowledge) из программы «Альбертский план».
  • Долгосрочная цель — агент с триллионом параметров, работающий на мощности 20 ватт, соответствующей энергетическому бюджету человеческого мозга, с обучением в реальном времени при размере батча равном единице.
  • Саттон утверждает, что LLM нарушают дух его эссе 2019 года «Горький урок», поскольку учатся на человеческих данных, а не на опыте.
  • Этот шаг перекликается с Ineffable Intelligence Дэвида Силвера, формируя скоординированный вызов со стороны ветеранов обучения с подкреплением.
  • Катастрофическое забывание и потеря пластичности по-прежнему остаются открытыми проблемами, поэтому это исследовательская ставка на горизонт в десятилетие, а не угроза ведущим лабораториям в следующем квартале.

Вернёмся к магистрали. Все по-прежнему мчатся в одном направлении, а съезды пусты. Но когда человек, написавший руководство по одному из двух общих методов, масштабируемых бесконечно, в 68 лет разворачивает машину, — вы хотя бы бросаете взгляд в зеркало заднего вида.

Часто задаваемые вопросы

В: Кто такой Ричард Саттон и почему его решение важно?

Саттон широко считается отцом обучения с подкреплением и лауреатом премии ACM Тьюринга 2025 года совместно с Эндрю Барто. Среди его студентов — создатель AlphaGo Дэвид Силвер и глава DeepMind Montreal Дойна Прекуп, поэтому когда он отказывается от мейнстримного подхода на основе LLM ради создания Oak Lab, индустрия обращает на это внимание.

В: Что такое архитектура OaK?

OaK расшифровывается как Options and Knowledge («Опции и Знания») и происходит из исследовательской программы «Альбертский план». Она строится на трёх принципах: никаких заранее запрограммированных предметных знаний, всё обучение — из опыта, максимизация вознаграждения как движущая сила. Опции — это последовательности действий, растянутые во времени, а знания — это то, что агент накапливает в процессе их выполнения.

В: Должны ли инженерные команды перестать использовать LLM из-за этого?

Нет. Oak Lab — это исследовательская ставка на многолетний горизонт, и компания ещё ничего не выпустила. Но командам стоит честно проверить, какие продуктовые функции действительно нуждаются в непрерывном обучении, а какие вполне устраивает замороженная модель — именно там подход на основе LLM наиболее уязвим и именно там подход в духе Саттона в конечном счёте может составить конкуренцию.

JO
James O'Brien
RiverCore Analyst · Dublin, Ireland
ПОДЕЛИТЬСЯ
// ПОХОЖИЕ СТАТЬИ
ГлавнаяРешенияПроектыО насКонтакт
Новости06
Дублин, Ирландия · ЕСGMT+1
LinkedIn
🇷🇺RU