Skip to content
RiverCore
Саттон покидає лабораторію Кармака, щоб оголосити війну LLM
Richard Sutton Oak Labreinforcement learningLLM alternativesRichard Sutton leaves Keen Technologiesreinforcement learning vs large language models

Саттон покидає лабораторію Кармака, щоб оголосити війну LLM

15 лип 20267 хв. читанняJames O'Brien

Уявіть сучасну індустрію ШІ як величезну автостраду: вісім смуг, усі рухаються в одному напрямку, кожен жме на газ до максимуму — до більших трансформерів і більшого обсягу зібраних текстів. 14 липня 68-річний чоловік з Альберти з'їхав на найближчому з'їзді, розвернув автомобіль і поїхав у протилежному напрямку. А на пасажирському сидінні у нього лежить премія Тюрінга.

Річард Саттон — людина, яку більшість фахівців у галузі назвали б першою, якби їх запитали, хто винайшов навчання з підкріпленням, — пішов зі стартапу Джона Кармака в сфері ШІ, щоб побудувати щось, що не має нічого спільного з GPT. І він не приховує своїх мотивів.

Що сталося

Як повідомив BigGo Finance, Саттон оголосив у X, що разом зі своїм співавтором Хуррамом Джаведом покидає Keen Technologies — стартап у сфері ШІ, заснований легендарним розробником ігор Джоном Кармаком, — щоб заснувати Oak Lab. Нова компанія зареєстрована в Канаді, де Саттон провів свою академічну кар'єру як професор інформатики в Університеті Альберти.

Регалії тут мають значення, адже заявка надзвичайно амбітна. Саттон здобув ступінь бакалавра з психології в Стенфорді, а потім — PhD в UMass Amherst під керівництвом Ендрю Барто. Він розробив алгоритм навчання на основі часових різниць, у співавторстві з Барто написав «Навчання з підкріпленням: вступ», а в 2025 році обидва разом отримали премію ACM Turing Award за фундаментальний внесок у навчання з підкріпленням. Серед його колишніх студентів — Девід Сілвер, який створив AlphaGo та нещодавно заснував Ineffable Intelligence, і Дойна Прекуп, яка очолює DeepMind Montreal.

Oak Lab побудована навколо архітектури під назвою OaK — скорочення від Options and Knowledge (Опції та Знання), — що походить із дослідницької програми «Alberta Plan». Заявлена довгострокова мета — агент з трильйоном параметрів, який працює на потужності 20 Вт, тобто стільки ж, скільки споживає людський мозок. Саттон прагне навчання в реальному часі з розміром батчу один. Жодного попереднього навчання, жодних заморожених ваг, жодного підходу «запустили і більше не навчаємо».

До цього він готував ґрунт досить довго. У вересні 2025 року в інтерв'ю Дваркешу Пателю він стверджував, що LLM не втілюють дух його есе 2019 року «Гірка урок» («The Bitter Lesson»). У травні 2026 року на Лекції Дертузоса в MIT він відкрито заявив, що ШІ як масштабна індустрія певною мірою збилася з курсу. Oak Lab — це те, на що схожа ця фраза, коли за нею стоять гроші та інженери.

Технічна анатомія

Щоб зрозуміти цю ставку, потрібно зрозуміти, на якому з'їзді, на думку Саттона, індустрія звернула не туди. «Гірка урок» охопив 70 років досліджень у галузі ШІ та дійшов висновку: жорстко закодовані людські знання завжди програють загальним методам плюс масштабуванню. Провідні лабораторії прочитали це есе і почули: масштабуйте трансформери. Саттон же перечитав своє власне есе і чує дещо інше: навчайтеся на досвіді, а не на домашніх завданнях інших людей.

В основі OaK лежать три принципи. Агент має бути універсальним — без попередньо запрограмованих галузевих знань. Усі знання мають здобуватися з досвіду. А рушійною силою є максимізація накопиченої винагороди. «Опції» в назві позначають поведінкові стратегії, розтягнуті в часі, — послідовності дій з умовами завершення, а не одноразові реакції. «Знання» — це те, що агент накопичує, застосовуючи ці опції у взаємодії зі світом.

Вимога розміру батчу один — ось де все стає гострим. Кожен, хто навчав сучасну мережу, знає: батч розміром один — це місце, де все розвалюється. Шум градієнта знищує вас. Сучасне глибоке навчання — це по суті дуже складна машина усереднення, а усереднення по батчу з одного елемента — це «не усереднення». Саттон і його команда вважають, що поєднання їхніх алгоритмів із подієво-керованими нейронними мережами може знизити необхідні обчислення та енергоспоживання на кілька порядків. Це єдиний достовірний шлях до 20 Вт. До рівня енергоспоживання мозку не вийде дійти, просто вдосконалюючи транзистори в наступнику H100. Туди добираються, не виконуючи роботи взагалі.

Дві проблеми, які Саттон відкрито визнає: катастрофічне забування, коли нове навчання перезаписує старі знання, і втрата пластичності, коли мережа поступово втрачає здатність засвоювати щось нове. Обидві залишаються серйозно невирішеними. LLM обходять їх, просто не навчаючись після тренування. Oak Lab має зіткнутися з ними в лоб, адже безперервне навчання — це вся суть. Аналітичний матеріал 36Kr висвітлив довгострокові амбіції, але найближча дослідницька проблема є жорсткою, і чесні люди в галузі скажуть вам, що ніхто її ще не вирішив.

Кого це зачепить

Коротка відповідь: не провідні лабораторії — принаймні поки що. OpenAI, Anthropic і Google не помітять канадський дослідницький стартап у своїх звітах про доходи наступного кварталу. На це мають звертати увагу ті, хто знаходиться на один рівень нижче.

Почнемо з фреймворків для агентів. Багато з того, що у 2026 році продається як «AI-агенти», — це мовна модель у циклі з інструментами та якимось хаком для пам'яті. Якщо Саттон і Сілвер мають рацію щодо важливості справжнього безперервного навчання, то ці системи — по суті дуже складні маріонетки. Вони не можуть навчатися у користувача, не можуть виправляти власні помилки, не можуть вигадувати нові стратегії. AlphaZero відмовився від людських шахових записів і знайшов гру кращу, ніж будь-коли грали люди. Жоден LLM-агент, що виходить сьогодні, не робить нічого еквівалентного. Засновники, які будують на агентних стеках Claude або Gemini, мають хоча б запитати себе: як виглядатиме їхня перевага, якщо весь підхід виявиться локальним максимумом?

По-друге, компанії, що займаються RLHF та дообробкою моделей. Якщо навчання з підкріпленням як повноцінний підхід повернеться, «котеджна індустрія» з додавання моделей переваг поверх базового LLM опиниться під тиском з обох сторін. Провідні лабораторії продовжать робити це власними силами, а нова хвиля систем, нативних для RL, зробить цей шар тонким.

По-третє — і тут стає цікаво для команд у fintech та iGaming: обіцянка агента, який навчається онлайн, у реальному часі, на основі власних дій, з розміром батчу один — це саме та форма задачі, яка є у цих вертикалях. Виявлення шахрайства, динамічне ціноутворення in-play, петлі персоналізації. Нікому в цих вертикалях насправді не потрібна заморожена модель. Їм потрібна система, яка адаптується до сьогоднішнього трафіку, а не до минулоквартального. Якщо Oak Lab виробить щось придатне до використання протягом наступних трьох років, першими комерційними клієнтами стануть прикладні AI-команди у платежах і ставках, а не компанії з чат-ботами для споживачів.

Дорожня карта для розробки ШІ

Ніхто не повинен цього тижня викидати свій LLM-стек. Це було б безглуздо. Але є три кроки, які варто зробити.

Перший: прочитайте «The Bitter Lesson» та вересневе інтерв'ю Дваркешу 2025 року самостійно, перш ніж дозволяти своїм архітекторам пояснювати вам, що має на увазі Саттон. Це есе цитують два протилежні табори, щоб обґрунтувати протилежні висновки. Це натяк на те, що вам варто сформувати власне прочитання.

Другий: проаудитуйте, які частини вашої AI-системи справді потребують безперервного навчання, а яким достатньо заморожених ваг. Більшість продуктових функцій у цьому не потребують. Деякі — так, і саме в цих місцях LLM плюс векторна база даних — наразі лише клейка стрічка. Будьте чесні щодо того, що є що. Якщо ви щотижня запускаєте дообробку через пайплайни Hugging Face, щоб підтримувати модель актуальною, — це сигнал, що ви працюєте проти підходу, а не разом із ним.

Третій: стежте разом за Ineffable Intelligence та Oak Lab. Джерело описує їх як скоординований виклик домінуючому підходу в ШІ. Дві команди з родоводом, пов'язаним із преміями Тюрінга, що рухаються в одному напрямку, — це не похибка округлення. Можливо, вони не випустять нічого придатного для використання протягом п'яти років. А можливо, саме вони створять те, що з'їсть значну частину того, на чому ви будуєте сьогодні.

Основні висновки

  • Саттон і Хуррам Джавед залишили Keen Technologies 14 липня, щоб заснувати Oak Lab у Канаді на основі архітектури OaK (Options and Knowledge) з програми Alberta Plan.
  • Довгострокова мета — агент з трильйоном параметрів, що працює на потужності 20 Вт, відповідно до енергетичного бюджету людського мозку, з навчанням у реальному часі при розмірі батчу один.
  • Саттон стверджує, що LLM порушують дух його есе 2019 року «The Bitter Lesson», оскільки навчаються на людських даних, а не на досвіді.
  • Цей крок паралельний Ineffable Intelligence Девіда Сілвера, формуючи скоординований виклик з боку «старої гвардії» навчання з підкріпленням.
  • Катастрофічне забування та втрата пластичності залишаються відкрито невирішеними, тому це дослідницька ставка на горизонт десятиліття, а не загроза провідним лабораторіям у наступному кварталі.

Повернемося до тієї автостради. Усі досі мчать в одному напрямку, а з'їзди порожні. Але коли людина, яка написала інструкцію до одного з двох загальних методів, що безмежно масштабуються, розвертає свій автомобіль у 68 років — ви принаймні кидаєте погляд у дзеркало заднього виду.

Часті запитання

Q: Хто такий Річард Саттон і чому його рішення має значення?

Саттона широко вважають батьком навчання з підкріпленням і лауреатом премії ACM Turing Award 2025 року разом із Ендрю Барто. Серед його студентів — творець AlphaGo Девід Сілвер та керівник DeepMind Montreal Дойна Прекуп, тому коли він відмовляється від домінуючого підходу на основі LLM заради Oak Lab, галузь звертає на це увагу.

Q: Що таке архітектура OaK?

OaK розшифровується як Options and Knowledge (Опції та Знання) і походить із дослідницької програми Alberta Plan. Вона ґрунтується на трьох принципах: відсутність попередньо запрограмованих галузевих знань, навчання виключно на основі досвіду та максимізація винагороди як рушійна сила. Опції — це послідовності дій, розтягнуті в часі, а знання — це те, що агент накопичує під час їх виконання.

Q: Чи мають інженерні команди припинити використовувати LLM через це?

Ні. Oak Lab — це дослідницька ставка на багаторічний горизонт, і вона ще нічого не випустила. Але командам варто чесно проаудитувати, які продуктові функції справді потребують безперервного навчання, а яким достатньо заморожених ваг, — адже саме там підхід на основі LLM найслабший і де підхід у стилі Саттона зрештою може скласти конкуренцію.

JO
James O'Brien
RiverCore Analyst · Dublin, Ireland
ПОДІЛИТИСЯ
// СХОЖІ СТАТТІ
ГоловнаРішенняПроєктиПро насКонтакт
Новини06
Дублін, Ірландія · ЄСGMT+1
LinkedIn
🇺🇦UK