Ноябрьские хроники ИИ: Gemini 3 Pro, Claude Opus 4.5, Nested Learning, подробности про Continuous Thought Machines и пространственный интеллект как новый тренд

ARC-AGI

Это набор визуальных логических головоломок. Модели дается несколько примеров трансформации сетки цветных пикселей (например, «синие квадраты падают вниз»), и она должна понять правило и применить его к новой тестовой сетке. Модель не видела этих задач при обучении. Это тест на fluide intelligence (подвижный интеллект) — способность обучаться новым концепциям «на лету», а не вспоминать заученное. Версия 2 добавляет новые типы абстракций, которые раньше были недоступны ИИ.

SimpleBench

Тест с множественным выбором ответов для LLM, в котором люди с неспециализированными (средними) знаниями превосходят модели SOTA. Включает более 200 вопросов, охватывающих пространственно-временное мышление, социальный интеллект и то, что мы называем лингвистической устойчивостью к противодействию (или каверзными вопросами). В подавляющем большинстве текстовых тестов LLM превосходят неспециализированных людей и все чаще превосходят экспертов.

Humanity’s Last Exam (HLE)

Пожалуй, самый сложный на данный момент тест на академическое мышление. Он создан совместно Center for AI Safety (CAIS) и Scale AI. HLE состоит из тысяч вопросов экспертного уровня по разным дисциплинам (математика, гуманитарные науки, естественные науки). Ключевая особенность: вопросы составлены так, чтобы быть «негуглируемыми» и требовать настоящего многоступенчатого рассуждения, а не просто запоминания фактов. Если модель решает их успешно, это считается признаком приближения к уровню человеческого эксперта.

MathArena Apex

Специализированный набор задач из платформы MathArena/LMArena, где модели соревнуются в решении конкурсных математических задач. Это динамический бенчмарк, который постоянно обновляется, чтобы проверить реальные способности к математическим рассуждениям.

SWE-Bench Verified (Software Engineering Benchmark)

Один из самых реалистичных тестов для программистов. Модели дается реальный репозиторий кода с GitHub и описание «issue» (бага или запроса на фичу). Модель должна сама найти нужные файлы, написать патч и пройти тесты. Версия «Verified» — это очищенная людьми подвыборка задач, где гарантировано, что задача решаема и условия корректны.

SimpleQA Verified

Бенчмарк от OpenAI. Это короткие фактологические вопросы с однозначными ответами. Цель — проверить честность модели: знает ли она точный факт или начинает «галлюцинировать» правдоподобный, но неверный ответ.

FACTS Benchmark Suite

Внутренний набор тестов Google (или DeepMind) для проверки «граундинга» (grounding). Проверяет, насколько ответы модели обоснованы реальными фактами, предоставленными в контексте, и не выдумывает ли она информацию.

MRCR v2 (8-needle)

Тест на длину контекста («Needle in a Haystack» — игла в стоге сена). В огромный текст (128 тысяч или 1 миллион токенов) прячут 8 конкретных фактов («игл»). Модель должна найти их все и, что важно, правильно связать друг с другом (Multi-Round Context Retrieval). Это проверяет надежность памяти модели.

ScreenSpot-Pro

Тест на понимание интерфейсов экранов (UI/UX). Модели показывают скриншот (например, веб-сайта или приложения) и просят найти координаты конкретной кнопки или элемента по текстовому описанию. Это критически важно для создания AI-агентов, которые могут управлять компьютером.

CharXiv Reasoning

Специализированный тест на понимание сложных научных графиков и диаграмм из статей с arXiv (научный репозиторий). Модель должна не просто «видеть» линии, а синтезировать информацию: делать выводы, сравнивать тренды и понимать легенды графиков.

Vending-Bench 2

Сложный агентный бенчмарк с «длинным горизонтом» (long-horizon). Модель управляет виртуальным бизнесом или сложной системой (например, вендинговым автоматом или торговой стратегией) на протяжении длительного времени, где каждое действие влияет на будущее состояние. Измеряется, например, в заработанных виртуальных деньгах (Net Worth).

OmniDocBench 1.5

Бенчмарк для OCR (оптического распознавания символов) и парсинга (структурирования) документов. Оценивает, насколько точно модель может превратить скан сложного документа (с таблицами, формулами, сносками) в структурированный текст. Чем ниже число, тем меньше ошибок (Edit Distance).

Статья представляет собой фундаментальное исследование от Google Research, которое предлагает новую парадигму искусственного интеллекта, названную «Вложенное обучение» (Nested Learning или NL). Авторы утверждают, что современный подход «Глубокого обучения» (Deep Learning), основанный просто на наслоении слоев нейросети друг на друга, достиг своего предела в плане способности моделей к постоянному развитию и запоминанию.  

Ниже представлен подробный разбор статьи простыми словами.

---

1. В чем проблема современного ИИ? «Иллюзия» глубокого обучения

Авторы начинают с критики текущих больших языковых моделей (LLM), таких как GPT или Gemini. Несмотря на их мощь, они статичны.

• Проблема «Амнезии»: Авторы сравнивают современные модели с людьми, страдающими антероградной амнезией (неспособностью формировать новые долгосрочные воспоминания).
  • У модели есть «Долгосрочная память»: это её веса (параметры), которые застывают после тренировки. Это то, что модель «выучила» в прошлом.  
  • У модели есть «Краткосрочная память»: это контекстное окно (то, что вы пишете ей прямо сейчас).
  • Проблема: Между ними ничего нет. Модель не может превратить ваш текущий диалог в долгосрочный опыт. Она «живет только в настоящем».  
• Статичность: Простое добавление новых слоев (делание сети «глубже») не решает проблему обучения на лету. Это лишь увеличивает вычислительную мощность, но не меняет принцип работы.  

---

2. Решение: Вложенное обучение (Nested Learning)

Вместо того чтобы рассматривать нейросеть как «блинчик» из слоев, NL предлагает смотреть на нее как на набор вложенных друг в друга процессов оптимизации (обучения).  

Аналогия с мозгом: частоты и волны

Человеческий мозг не работает с одной скоростью. В нем есть разные ритмы (волны):  

• Гамма-волны (быстрые): Обработка текущей информации здесь и сейчас.
• Дельта-волны (медленные): Долгосрочная интеграция и запоминание.

Вложенное обучение (NL) копирует этот принцип. Вместо одной скорости обучения для всей модели, разные части системы обновляются с разной частотой:  

1. Высокая частота: Быстрые обновления (реакция на каждое слово/токен).
2. Средняя частота: Обучение на основе небольших фрагментов данных.
3. Низкая частота: Глобальное, медленное накопление знаний (аналог традиционного обучения).

Это позволяет создать систему, которая одновременно помнит прошлое и быстро адаптируется к новому.  

---

3. Техническая революция: Оптимизаторы — это тоже память

Это одна из самых интересных идей статьи. В машинном обучении есть «Модель» (нейросеть) и «Оптимизатор» (алгоритм, например, SGD или Adam, который настраивает нейросеть). Обычно их считают разными вещами.

Авторы доказывают, что оптимизаторы — это на самом деле тоже формы памяти.  

• Когда оптимизатор (например, с Momentum) обновляет веса, он «помнит» прошлые ошибки (градиенты), чтобы исправить их.
• Deep Optimizers (Глубокие Оптимизаторы): Если оптимизатор — это память, то почему она такая примитивная? Авторы предлагают заменить простые математические формулы обновления весов на маленькие нейросети. То есть, одна нейросеть учит другую нейросеть, как ей обновляться.  

Простыми словами: Представьте, что раньше ученик (модель) просто зубрил учебник по строгой указке учителя (простого оптимизатора). NL предлагает заменить учителя на «умного наставника» (глубокий оптимизатор), который сам учится тому, как лучше учить этого ученика.

---

4. Новая архитектура: HOPE

На основе теории Вложенного обучения авторы создали новую модель под названием HOPE. Она состоит из двух ключевых компонентов:  

А. Self-Modifying Titans («Самонастраивающиеся Титаны»)

Это модуль, который умеет менять самого себя. Он не просто обрабатывает данные, он изучает свой собственный алгоритм обновления прямо в процессе работы. Это позволяет модели адаптироваться к новой информации мгновенно.  

Б. Continuum Memory System (Система непрерывной памяти)

Вместо жесткого деления на «краткосрочную» и «долгосрочную» память, HOPE использует спектр памяти:  

• Память уровня 1 (мгновенная).
• Память уровня 2 (чуть медленнее).
• …
• Память уровня N (очень медленная, фундаментальные знания).

Это реализуется через цепочку блоков MLP (полносвязных слоев), каждый из которых обновляется со своей скоростью.  

---

5. Результаты и превосходство

Авторы протестировали HOPE в сравнении с самыми современными архитектурами (Transformer++, RetNet, Mamba/Titans).

Ключевые результаты (Таблица 1 в статье):  

• Языковое моделирование: HOPE показывает лучшую (более низкую) перплексию (меру растерянности модели), чем трансформеры.
• Здравый смысл и логика: В задачах на рассуждение (PIQA, HellaSwag, BoolQ) HOPE обходит конкурентов.
• Эффективность: Модель достигает лучших результатов при меньшем или аналогичном количестве параметров. Например, версия HOPE на 1.3 миллиарда параметров превосходит Transformer++ аналогичного размера.  

---

Резюме

Статья «Nested Learning» утверждает, что будущее ИИ не за бесконечным увеличением размеров статических моделей (Deep Learning). Будущее — за системами, которые:

1. Многоуровневые во времени: Имеют быстрые и медленные процессы мышления.
2. Рекурсивные: Используют процессы обучения внутри процессов обучения.
3. Самомодифицирующиеся: Могут менять свои параметры на лету, преодолевая ограничение «застывших знаний».

Это шаг от «статистического попугая» к системе, которая действительно способна учиться в реальном времени, подобно человеческому мозгу.

Итак, Continuous Thought Machines в основном основаны на трех новшествах.

Первое — это наличие того, что мы называем «внутренним измерением мысли» (internal thought dimension). Это не обязательно что-то новое, это концептуально связано с идеями скрытого рассуждения (latent reasoning). И это, по сути, применение вычислений в последовательном измерении. И когда вы начинаете думать об идеях и проблемах в этой области и в этой структуре, вы начинаете понимать, что многие решения проблем, которые выглядят интеллектуальными, часто имеют последовательную природу.

Например, одной из основных задач, которые мы тестировали на CTM, была задача решения лабиринта. Решать лабиринты для глубокого обучения довольно тривиально. Это очень легко сделать, если вы облегчите задачу для машин. Один из способов — дать изображение лабиринта сверточной нейронной сети, и она выводит изображение того же размера, где нули — где нет пути, а единицы — где путь есть. Есть блестящие работы, показывающие, как можно обучать такие сети аккуратно и масштабировать их практически бесконечно. Это захватывающе и очень интересная идея, как решить эту проблему.

Однако, когда вы убираете этот подход и спрашиваете каков более человеческий способ решения этой проблемы, она становится последовательной проблемой. Вы должны сказать: иди вверх, иди направо, иди вверх, иди налево и т.д., чтобы проследить маршрут от начала до конца. И когда вы ограничиваете это простое пространство проблем и просите систему машинного обучения решить его таким образом, оказывается, что это становится гораздо, гораздо сложнее.

Так что это стало нашей «Hello World» проблемой для CTM. И применение внутреннего последовательного измерения мысли — это то, как мы подошли к ее решению.

Два других новшества, которые мы можем затронуть. Мы переосмыслили идею того, чем должны быть нейроны. Есть много отличных исследований в когнитивной нейронауке, изучающих как нейроны работают в биологических системах. А с другой стороны спектра — как работают нейроны в глубоком обучении, квинтэссенцией которых является ReLU. Они в каком-то смысле выключены или включены. И эта очень высокоуровневая абстракция нейронов в мозге кажется немного близорукой.

Поэтому мы подошли к этой проблеме и сказали: пусть на основе каждого отдельного нейрона этот нейрон будет сам маленькой моделью. И это привело к множеству интересных работ о том, как строить динамику в системе.

Третье новшество, как я сказал ранее, у нас есть это внутреннее измерение, в котором происходит мышление. Мы задаем вопрос: а каково представление? Каково представление для биологической системы, когда она думает? Это просто состояние нейронов в любой данный момент? Отражает ли это мысль, если я могу быть противоречивым и использовать термины «мышление» и «мысль»? Моя философия на этот счет — нет, не отражает.

Концепция мысли — это нечто, существующее во времени. Так как же нам ухватить это в инженерном смысле? Вместо измерения состояний рекуррентной модели, мы измеряем, как она синхронизируется, как нейроны синхронизируются в парах друг с другом. И это открывает дверь для огромного множества вещей, которые мы можем делать с этим типом представления.