Хроники ИИ: главные события в сентябре-октябре 2025

В основе TRM лежит идея рекурсивного улучшения. Модель не пытается выдать правильный ответ за один проход. Вместо этого она многократно «прокручивает» задачу через свою крошечную нейросеть, с каждым разом приближаясь к верному решению.

Эта архитектура показывает впечатляющие результаты, превосходя как огромные языковые модели (LLM), так и свою предшественницу (HRM) на сложных логических задачах.

Исследователи обнаружили, что уменьшение количества слоёв в нейросети (с 4 до 2) и увеличение числа рекурсивных шагов улучшает результат. Крошечная сеть (всего 7 миллионов параметров) лучше справляется с задачами, чем гигантские модели с сотнями миллиардов параметров, потому что она не «заучивает» примеры, а учится самому процессу решения, избегая переобучения.

TRM намного эффективнее. Она требует в разы меньше параметров (вычислительных мощностей) и обучается на очень малом количестве примеров (~1000). Это делает её перспективной для решения сложных задач без необходимости в огромных ресурсах.

TRM демонстрирует значительно более высокую точность в решении сложных Судоку, поиске путей в лабиринтах и на тестах логического мышления ARC-AGI, где многие большие модели терпят неудачу.

Таким образом, TRM — это пример того, как простой, но умный подход, имитирующий человеческий процесс размышления (постепенное улучшение через повторение), может быть гораздо эффективнее, чем простое наращивание размеров и сложности нейросети.

Представьте, что языковая модель — это студент, который решает сложную логическую задачу (например, составляет план действий для робота на складе).

• Обычные модели (Baseline): Похожи на студента, который пытается угадать ответ, основываясь на тысячах виденных им примеров. Часто он допускает глупые логические ошибки.
• Модель PDDL-INSTRUCT: Это студент, которого обучают по специальной методике. Сначала ему объясняют теорию, а потом заставляют решать задачи, подробно расписывая каждый шаг. Если студент ошибается, строгий учитель (внешняя программа-верификатор) не просто говорит «неправильно», а указывает на конкретную ошибку в рассуждениях.

Эта методика обучения состоит из двух ключевых фаз.

Как работает архитектура PDDL-INSTRUCT (по шагам)

Архитектура состоит из двух этапов тренировки, после чего модель готова к работе.

Шаг 1: Начальная подготовка (создание «базы знаний»)

На этом этапе модель, как студент на лекции, получает основы. Ей показывают множество примеров задач на планирование из специального языка PDDL (это формальный язык для описания задач планирования, что-то вроде нот в музыке).

Ключевая особенность: Модели показывают не только правильные планы, но и неправильные, с подробными объяснениями, почему именно они неверны (например, «робот не может взять этот ящик, потому что его рука уже занята»). Это помогает модели сформировать фундаментальное понимание «что такое хорошо и что такое плохо» в мире планирования.  

Шаг 2: Обучение через «Цепочку рассуждений» с проверкой (практика с репетитором)

Это самая важная и инновационная часть:

1. Показать свою работу: Модель просят не просто выдать готовый план, а сгенерировать его по шагам, создавая «цепочку рассуждений» (Chain-of-Thought). Для каждого действия она описывает:
   • Какое состояние было до действия? (s₀)
   • Какое действие она собирается выполнить? (a₁)
   • Какое состояние получилось после действия? (s₁)

Проверка у «Репетитора»: Эта цепочка рассуждений отправляется на проверку внешней, 100% надежной программе-валидатору под названием VAL. VAL — это классический символьный инструмент, который не может ошибиться в правилах PDDL. Он действует как строгий репетитор с ключами к ответам.  

Обратная связь: VAL проверяет каждый шаг модели и дает обратную связь. Исследователи протестировали два типа обратной связи:

• Бинарная: Простой ответ «верно/неверно».
• Детальная: Подробное объяснение ошибки, например, «действие (stack a b) невозможно, так как не выполнено условие (holding a)«.  

Работа над ошибками: Эта обратная связь используется для дополнительной тренировки модели. Модель видит свои ошибки, понимает, почему она ошиблась, и корректирует свои «знания». Этот цикл повторяется несколько раз.  

После этих двух фаз получается модель, которая умеет не только составлять планы, но и внутренне рассуждать об их логической корректности.

Ключевые преимущества этого подхода

1. Значительное повышение точности. Результаты впечатляют. Модель Llama-3, обученная по этой методике, достигла 94% точности в одной из задач, в то время как базовая версия показывала всего 28%. Это абсолютное улучшение на 66%. Это доказывает, что такой подход действительно работает.  
2. Детальная обратная связь эффективнее. Эксперименты показали, что когда модель получает подробные объяснения своих ошибок, она учится значительно лучше, чем когда ей просто говорят «правильно» или «неправильно». Это логично: работа над конкретными ошибками дает лучший результат.  
3. Надежность и проверяемость. В отличие от подходов, где модель пытается сама себя критиковать (что, как показывают исследования, работает плохо), здесь используется внешний, формально точный инструмент (VAL). Это гарантирует, что рассуждения модели проверяются по объективным и строгим правилам, делая весь процесс более надежным.  
4. Универсальность. Подход улучшает производительность на разных типах задач планирования (от простого складывания кубиков до сложной логистики), что говорит о его хорошей обобщающей способности.  

Таким образом, PDDL-INSTRUCT — это эффективный метод, который превращает языковую модель из «интуитивного угадывателя» в «логического мыслителя», способного последовательно рассуждать и исправлять свои ошибки, что критически важно для задач автоматического планирования.

Представьте, что вы дали нейросети сложную задачу, например, решить математическую проблему или дать медицинский совет. Вместо того чтобы дать один ответ, она сначала генерирует несколько разных версий решения. А затем, используя эти черновики, она сама для себя создаёт один, но уже гораздо более качественный итоговый ответ. Этот процесс и лежит в основе метода CaT.

Название «Compute as Teacher» (Вычисления как Учитель) отражает главную идею: вместо того чтобы учиться на правильных ответах, подготовленных людьми, модель использует дополнительные вычислительные мощности, чтобы сама себе создать «учителя».  

Основные принципы метода

Исследование и Синтез (Explore & Synthesize):

• Исследование: Сначала текущая модель генерирует несколько (например, 8) различных ответов на один и тот же вопрос. Эти ответы называются «параллельными прогонами» (parallel rollouts). Они могут содержать разные подходы, частичные решения или даже ошибки.
• Синтез: Затем специальная, «замороженная» версия этой же модели (называемая «якорь») анализирует все эти черновые ответы и создаёт из них один, улучшенный ответ. Она примиряет противоречия, исправляет ошибки и объединяет лучшие идеи из разных версий. Этот новый, синтезированный ответ используется как эталон или «сигнал от учителя».  

Два режима обучения (в зависимости от задачи):

• Проверяемые задачи (например, математика): Для задач, где есть единственно верный ответ, всё просто. Новые ответы модели награждаются, если их конечный результат совпадает с ответом, полученным в ходе синтеза.  
• Непроверяемые задачи (например, творческое письмо, советы): Для задач, где нет одного правильного ответа, используется более хитрый подход. Модель сама на основе своего же синтезированного ответа предлагает критерии оценки (рубрику) — по сути, чек-лист того, что должно быть в хорошем ответе. Затем другая нейросеть-«судья» оценивает новые ответы по этому чек-листу, и модель получает награду в зависимости от того, скольким критериям она соответствует.  

Ключевые преимущества

• Не требует эталонных данных от человека: Это самое главное преимущество. Метод позволяет улучшать модель без необходимости в дорогих и трудоёмких наборах данных с правильными ответами, созданными людьми. Это особенно важно для сфер, где экспертные ответы получить сложно, дорого или они могут быть спорными.
• Синтез лучше, чем просто выбор: В отличие от других подходов, которые просто выбирают лучший из нескольких сгенерированных ответов (например, большинством голосов), CaT создаёт совершенно новый ответ. Благодаря этому он может быть правильным, даже если все изначальные варианты были ошибочными. Модель способна выявить и исправить общую ошибку во всех своих попытках.
• Масштабируемость и эффективность: Производительность метода растёт с увеличением количества первоначальных «прогонов». Это означает, что можно получить более качественный результат, просто выделив больше вычислительных ресурсов на этапе синтеза.
• Значительный прирост производительности: Исследования показали, что применение CaT (особенно в сочетании с обучением с подкреплением, CaT-RL) значительно улучшает работу моделей. Например, для модели Llama 3.1 8B производительность в математическом тесте MATH-500 выросла на 33%, а в медицинском HealthBench — на 30%.  

Таким образом, CaT — это элегантный способ превратить вычислительную мощность в качественный обучающий сигнал, позволяющий нейросетям становиться лучше, обучаясь на собственных, более совершенных версиях ответов.

Вместо того чтобы следовать одной цепочке рассуждений (последовательное мышление), модель учат параллельному мышлению. Это значит, что в ключевых моментах решения задачи она может одновременно исследовать несколько разных подходов, а затем объединить полученные результаты, чтобы прийти к наилучшему ответу.  

Чтобы научить модель этому «с нуля», используется умный двухэтапный подход:

Этап 1: Обучение на легких задачах. Сначала модель тренируют на простых математических задачках. На этом этапе главная цель — не научить ее решать сложные примеры, а познакомить с самим форматом параллельного мышления. Модель учится использовать специальные теги: <Parallel> для начала «мозгового штурма», <Path> для каждого отдельного пути решения и <Summary> для подведения итогов.  

Этап 2: Закрепление на сложных задачах. После того как модель освоила формат, она переходит к сложным задачам. Здесь используется метод проб и ошибок (обучение с подкреплением, RL). Модель сама исследует разные пути решения, и если находит правильный ответ, получает «награду». Это помогает ей не просто имитировать шаблоны, а по-настоящему понять, когда и как лучше применять параллельное мышление.  

Преимущества Parallel-R1

Этот подход дает несколько ключевых преимуществ по сравнению с традиционными методами обучения.

• Значительное повышение точности. Модели, обученные с помощью Parallel-R1, показывают гораздо лучшие результаты в решении сложных математических задач. В статье говорится об улучшении точности на 8.4% по сравнению со стандартными моделями и до 42.9% на особо сложных тестах.  
• Эволюция стратегии мышления. Интересное открытие заключается в том, что по мере обучения стратегия модели меняется. Вначале она использует параллельные пути для поиска и исследования — чтобы просто нащупать возможное решение. Позже, став «умнее», она начинает использовать их для проверки — сначала находит ответ одним надежным способом, а затем запускает параллельные пути, чтобы убедиться в его правильности с разных сторон.  
• Мощный инструмент для обучения. Самое главное, параллельное мышление оказалось не просто полезным навыком для модели, но и эффективным методом обучения. Заставляя модель исследовать разные варианты на промежуточном этапе тренировки, исследователи помогли ей найти более надежные и общие стратегии решения. Это как если бы вы строили здание с помощью лесов: они нужны во время строительства, чтобы добраться до нужной высоты, а потом их можно убрать, а здание останется прочным.  

Решение проблемы нехватки данных. Найти в интернете примеры, где люди подробно расписывают несколько путей решения, очень сложно. Parallel-R1 обходит эту проблему, создавая обучающие данные на простых задачах (где это легко сделать), а затем обобщая этот навык на сложные области с помощью обучения с подкреплением.  

Проще говоря, Parallel-R1 учит искусственный интеллект думать не линейно, а разносторонне, что делает его более сильным и гибким в решении сложных задач.

Представьте, что у вас есть языковая модель, и вы хотите научить её лучше решать конкретную задачу, например, составлять уравнения из набора чисел. Вместо того чтобы, как в RL, заставлять модель пробовать разные ответы (действия) и вознаграждать за правильные, метод ES работает напрямую с «мозгом» модели — её параметрами (миллиардами чисел, которые определяют её поведение).

Вот как это происходит, если упростить:

Создание «популяции»: Берётся исходная языковая модель и создаётся несколько её слегка изменённых копий (в статье говорится о 30 копиях). Каждая копия — это «особь» в популяции.

Случайные «мутации»: В параметры каждой копии вносятся небольшие случайные изменения (шум). Это похоже на генетические мутации в природе.

«Естественный отбор»: Все эти копии-мутанты получают одну и ту же задачу. Затем оценивается, насколько хорошо каждая из них справилась. Те, что справились лучше, получают высокую «награду».

«Размножение» лучших: Изменения («мутации»), которые привели к лучшим результатам, суммируются и применяются к исходной модели. По сути, модель «учится» у своих самых успешных версий.

Повторение: Этот цикл повторяется много раз. С каждым шагом модель становится всё лучше и лучше в решении поставленной задачи.

Ключевая идея в том, что ES ищет лучшие настройки напрямую в пространстве параметров модели, а не в пространстве возможных ответов, как это делает RL. Раньше считалось, что для моделей с миллиардами параметров это невозможно, но авторы статьи доказали обратное.

Преимущества по сравнению с традиционным подходом (RL)
Авторы статьи утверждают, что их метод на основе эволюционных стратегий превосходит обучение с подкреплением по нескольким важным пунктам:

Эффективнее учится на задачах с отложенной наградой. В задачах, где правильность ответа можно оценить только в самом конце (как в решении уравнений), ES работает значительно лучше, потому что оценивает всю модель целиком, а не каждое отдельное слово в ответе.

Требует меньше примеров. Удивительно, но для достижения того же результата ES требуется гораздо меньше обучающих данных (иногда на 80% меньше), чем RL. Это делает процесс дообучения быстрее и дешевле.

Работает на моделях разного размера, даже на маленьких. RL-методы часто не могут улучшить маленькие модели, а ES смог «пробудить» способность к рассуждениям даже у самой маленькой модели в эксперименте.

Более стабильный и надёжный. Результаты дообучения с помощью ES получаются очень похожими при каждом запуске. RL, напротив, часто показывает нестабильные результаты, что делает процесс непредсказуемым и дорогим.

Меньше «обманывает» систему. Языковые модели, обучаемые через RL, склонны к «взлому награды» (reward hacking) — они находят способы получить высокую оценку, не выполняя задачу по-настоящему (например, выдавая короткий, но бессмысленный ответ на задачу о краткости). ES оказался гораздо более устойчив к такому поведению.

Экономит память. Поскольку метод ES не требует сложных вычислений градиентов (обратного распространения ошибки), он потребляет значительно меньше видеопамяти на GPU.

В итоге, статья представляет эволюционные стратегии как мощную и перспективную альтернативу для тонкой настройки языковых моделей, которая решает многие проблемы текущих стандартных методов.

Вместо того чтобы работать со сложными математическими операциями над векторами, как это делают трансформеры, BDH имитирует сеть из огромного числа простых «нейронов», которые взаимодействуют друг с другом локально.

У трансформеров есть так называемый KV-cache, где они хранят информацию о контексте. В BDH память работает иначе. Она основана на синаптической пластичности — принципе, известном как «Правило Хебба»: «нейроны, которые активируются вместе, связываются друг с другом». Когда модель обрабатывает текст и встречает определённое понятие, связи (синапсы) между соответствующими нейронами усиливаются. Таким образом, состояние модели хранится прямо в силе этих связей.

В трансформерах большинство нейронов активны при обработке информации. В BDH, как и в мозге, активна лишь малая часть нейронов (около 5%). Это делает работу модели более эффективной и лёгкой для анализа. Кроме того, все активации — позитивные, что упрощает их интерпретацию.

Чтобы эту «мозгоподобную» модель можно было эффективно обучать на современных видеокартах (GPU), была создана её тензорная версия — BDH-GPU. Она сохраняет ключевые идеи BDH, но представляет их в виде, удобном для вычислений.

Учёные обнаружили, что отдельные синапсы в BDH становятся «ответственными» за конкретные понятия. Например, один синапс активируется, когда в тексте речь идёт о валюте, а другой — когда упоминается страна. Можно буквально «заглянуть внутрь» модели и увидеть, какие концепции сейчас активны в её «сознании». У трансформеров такой прозрачности нет.

Архитектура даёт правдоподобное объяснение того, как язык и мышление могут возникать из простых локальных взаимодействий нейронов, что сближает искусственный интеллект и нейронауку.

На тестах по переводу и языковому моделированию BDH-GPU показала результаты, не уступающие оптимизированным трансформерам GPT-2 при одинаковом количестве параметров.

Чтобы сделать модель мощнее, достаточно увеличить количество нейронов (один основной параметр). В трансформерах для этого нужно настраивать сразу несколько параметров (размер эмбеддинга, количество слоёв, голов внимания), что сложнее.

Как и другие модели с рекуррентным состоянием, BDH-GPU не имеет жёсткого ограничения на длину контекста.

Также оказалось, что можно взять две модели BDH-GPU, обученные на разных задачах (например, одна на англо-французском переводе, другая на англо-португальском), и просто «склеить» их, объединив их нейронные пространства. Получившаяся модель сразу начинает понимать все три языка. Это открывает путь к созданию более сложных систем из готовых «блоков», что с трансформерами сделать крайне затруднительно.

Таким образом, BDH-GPU — это новая архитектура, которая работает как трансформер, но «думает» как мозг. Она такая же мощная, но при этом гораздо более понятная, эффективная и открывает новые горизонты для создания и модификации ИИ.

SpikingBrain 1.0 — это крупномасштабная «спайковая» нейронная сеть (Spiking Neural Network, или SNN). Это новый тип архитектуры искусственного интеллекта, который фундаментально отличается от большинства современных моделей, таких как GPT.

Его ключевой принцип — имитация работы биологических нейронов человеческого мозга.

Чтобы понять SpikingBrain, нужно сначала понять, как работают традиционные нейронные сети (Artificial Neural Networks, ANN).

• Традиционные ИИ (GPT, Llama и др.): Работают по «непрерывному» или «синхронному» принципу. Когда вы даете им задачу, почти все нейроны в сети активируются одновременно, слой за слоем. Они производят сложные математические вычисления (умножение матриц) и передают результат дальше. Независимо от сложности задачи, вся система приходит в движение. Это очень мощно, но требует огромного количества энергии и вычислительных ресурсов.
• SpikingBrain 1.0 (SNN): Работает по «событийному» или «асинхронному» принципу.
  1. Порог активации: Большинство нейронов в сети «молчат» (неактивны) по умолчанию.
  2. «Спайк» (Импульс): Нейрон активируется и посылает короткий, дискретный сигнал — «спайк» — только в тот момент, когда он получает достаточное количество входящих сигналов от других нейронов, чтобы преодолеть свой внутренний «порог».
  3. Цепная реакция: Этот «спайк» передается только тем нейронам, с которыми он связан, которые, в свою очередь, могут (или не могут) накопить достаточно сигналов, чтобы «спайкнуть» самим.

Такой «мозгоподобный» подход дает два главных практических преимущества:

1. Вычислительная эффективность (Энергоэффективность)

В SpikingBrain 1.0 в любой момент времени активна лишь небольшая часть сети (это называется «разреженная активация» или sparse activation).

Системе не нужно тратить энергию на вычисление миллионов параметров, которые не имеют отношения к текущей микро-задаче. Она выполняет вычисления «по требованию». Это приводит к радикальному снижению энергопотребления по сравнению с «непрерывными» моделями, где вся сеть работает постоянно.

2. Скорость и низкая задержка

Поскольку информация передается в виде быстрых, асинхронных «спайков», сети не нужно ждать, пока весь слой завершит вычисления. Сигнал распространяется по мере необходимости, что позволяет системе реагировать и обрабатывать информацию (особенно потоковую, вроде видео или аудио) с очень низкой задержкой.

SpikingBrain 1.0 — это попытка создать ИИ, который не просто решает задачи «грубой силой» (активируя все свои миллиарды параметров), а решает их эффективно, активируя только необходимые нейроны в нужный момент.

Это делает его потенциально гораздо более быстрым и экономным решением для будущих систем ИИ, особенно для тех, что должны работать на устройствах с ограниченной мощностью (как смартфоны или роботы), а не в огромных дата-центрах.

TUMIX — это архитектура, которая превращает один искусственный интеллект (ИИ) в команду разнопрофильных специалистов для решения сложных задач. Вместо того чтобы полагаться на один метод, TUMIX организует «мозговой штурм» между несколькими виртуальными «агентами», каждый из которых использует свою уникальную стратегию.

Основные принципы работы

1. Команда разных специалистов (агентов): TUMIX одновременно запускает несколько версий одной и той же языковой модели, но с разными инструкциями (агентами). Каждый агент специализируется на своём подходе:

• Агент-теоретик: Использует только текстовые рассуждения (Chain-of-Thought).
• Агент-программист: Пишет и выполняет код для точных вычислений (Code Interpreter).
• Агент-исследователь: Ищет информацию в интернете (Search).
• Гибридные агенты: Комбинируют несколько инструментов, например, сначала ищут информацию, а потом на её основе пишут код.

2. Итеративное улучшение (мозговой штурм): Процесс решения задачи делится на несколько раундов.

• Раунд 1: Все агенты получают исходный вопрос и независимо друг от друга предлагают свои решения.
• Раунд 2 и далее: TUMIX собирает все ответы из предыдущего раунда и показывает их каждому агенту вместе с первоначальным вопросом. Агенты анализируют идеи «коллег» и на их основе генерируют новые, более проработанные решения. Этот обмен мнениями помогает исправлять ошибки и находить более оптимальный путь к ответу.

3. Разнообразие важнее силы: Ключевая идея TUMIX заключается в том, что команда из агентов с разными стратегиями работает лучше, чем многократный запуск одного, даже самого сильного, агента. Разнообразие подходов позволяет рассмотреть проблему со всех сторон, что повышает шансы на нахождение правильного ответа.

4. Умная остановка для экономии ресурсов: Чтобы не тратить лишние ресурсы на бесконечные улучшения, в TUMIX встроен специальный «судья» (тот же ИИ). После каждого раунда (начиная со второго) он анализирует, насколько ответы команды согласованы. Если агенты пришли к единому мнению, процесс останавливается. Эта стратегия позволяет достичь почти максимальной точности, сократив вычислительные затраты примерно вдвое.

Преимущества архитектуры TUMIX

• Высокая точность: TUMIX значительно превосходит другие методы и базовые модели ИИ на сложных тестах. Например, на бенчмарке HLE («Последний экзамен человечества») он повысил точность Gemini-2.5-Pro с 21.6% до 34.1%. Это достигается за счёт синергии разных подходов к решению задач.
• Эффективность: Благодаря адаптивной системе остановки, архитектура не выполняет лишней работы и экономит до 51% вычислительных ресурсов без потери качества ответа.
• Автоматическое создание агентов: TUMIX может сам создавать новых, более эффективных агентов. Исследователи поручили ИИ проанализировать существующих агентов и придумать новых. Результат превзошёл агентов, созданных человеком, что доказывает потенциал для дальнейшего самосовершенствования системы.
• Универсальность: Подход эффективен для широкого круга задач: от сложных математических олимпиад (AIME) до научных вопросов из физики, химии и биологии (GPQA).

Таким образом, TUMIX — это мощный и гибкий фреймворк, который организует совместную работу виртуальных ИИ-агентов, позволяя им решать сложные интеллектуальные задачи намного эффективнее, чем в одиночку.

На основе предоставленной статьи, информацию о реализации концепций памяти в Трансформерах можно структурировать следующим образом:

1. Что уже реализовано на практике

Это фундаментальные методы и архитектуры, которые были представлены и протестированы в многочисленных исследованиях. Они составляют основу современных систем с дополненной памятью.

• Расширение контекста через кэширование: Базовый подход, при котором ключи и значения (KV) из предыдущих сегментов текста сохраняются и используются при обработке следующих, как в Transformer-XL.
• Сжатие состояний: Методы, которые не просто отбрасывают старую информацию, а сжимают ее, чтобы сохранить суть, позволяя моделям «помнить» более длинные последовательности.
• Явные внешние хранилища (Explicit Storage): Создание внешних модулей памяти (часто в виде пар «ключ-значение»), к которым Трансформер может обращаться для чтения и записи информации.
• Аугментация на основе поиска (RAG): Модели, которые перед генерацией ответа ищут релевантную информацию во внешней базе данных. Примером является RETRO, объединяющий замороженный поисковик с моделью.
• Кодирование знаний в параметры: Концепции, при которых знания (например, целые базы документов) «встраиваются» непосредственно в веса (параметры) самой модели, как в DSI.
• Механизмы гейтирования (Gated Mechanisms): Использование управляющих «вентилей» (по аналогии с LSTM), которые решают, какую информацию записывать в память, а какую игнорировать или стирать.
• Обновления на основе «удивления»: Системы, которые записывают информацию в память только тогда, когда сталкиваются с чем-то неожиданным или новым (например, Titans), что имитирует биологические механизмы обучения.
• Ассоциативная память: Реализации, вдохновленные сетями Хопфилда, которые позволяют извлекать информацию по содержанию (ассоциативно), а не по адресу, что эффективно для восстановления образов по частичным данным.  

2. Что готово к реализации в ближайшее время

Это концепции, которые в статье описываются как «зрелые» или «ориентированные на производство» («Production-oriented designs»). Теоретическая база для них хорошо проработана, и они представляют собой следующий логический шаг в развитии.

• Гибридные системы хранения: Архитектуры, которые больше не полагаются на один тип памяти, а интеллектуально комбинируют несколько (например, параметры модели + внешнее хранилище + кэш состояний), чтобы сбалансировать скорость, масштабируемость и гибкость.
• Адаптация во время использования (Test-time adaptation): Модели, которые могут обучаться и адаптироваться «на лету» уже после их развертывания (в процессе использования), что позволяет им персонализироваться и усваивать новую информацию без дорогостоящего полного переобучения.
• Абстракции «Операционной Системы» для памяти: Концепции, такие как MemGPT и MemoryOS, которые управляют памятью по аналогии с ОС компьютера. Они вводят иерархию (например, быстрая «рабочая память» и медленный «архив») и используют политики для перемещения данных между ними.
• Специализированные методы доступа: Переход от простого поиска по сходству к более сложным механизмам, таким как маршрутизация к «экспертам» (когда запрос направляется к специализированной части памяти) и навигация по графам знаний.
• Иерархические контроллеры: Системы, которые используют многоуровневую память (например, от сенсорного буфера до долговременной) для выполнения сложных многоэтапных рассуждений.

3. Что еще предстоит реализовать (теоретические вызовы)

Это фундаментальные проблемы, которые в статье обозначены как «Вызовы» (Challenges) или «Будущие направления» (Future Directions). Для их решения требуются новые теоретические прорывы.

• Реальная масштабируемость: Хотя модели могут работать с миллионами токенов, поиск по-настоящему в веб-масштабе (миллиарды записей) остается нерешенной проблемой. Текущие методы либо теряют точность, либо становятся вычислительно неподъемными.
• Управление интерференцией памяти: Решение «дилеммы стабильности-пластичности». Нужно разработать теорию, которая позволит моделям непрерывно учиться (пластичность), не разрушая при этом старые, все еще актуальные знания (стабильность). Особенно это касается постепенного «дрейфа» знаний, а не только резких изменений.
• Интеллектуальное «забывание»: Существующие политики (например, «забыть самое старое») слишком примитивны. Нужны теоретические модели адаптивного забывания, которые могут работать в непредсказуемых («нестационарных») средах, где важность информации постоянно меняется.
• Настоящее «пожизненное обучение» (Lifelong Learning): Создание архитектур, которые могут по-настоящему непрерывно учиться на протяжении всей своей «жизни», подобно биологическим системам.
• Глубокая интеграция эпизодической памяти: Переход от ИИ, который просто «знает» факты (семантическая память), к ИИ, который «помнит» свой личный опыт (эпизодическая память) и использует его для адаптации поведения и принятия решений.
• Этика, контроль и прозрачность: Разработка теоретических основ и практических механизмов, которые обеспечат конфиденциальность данных, аудит памяти и контроль пользователя над тем, что ИИ запоминает и как он это использует.

Современные технологии, от ИИ до решения сложных логистических задач, требуют все больше вычислительной мощности. Это приводит к стремительному росту потребления энергии и заставляет цифровые технологии работать на пределе своих возможностей. Существующие альтернативные вычислительные системы, как правило, специализируются либо на задачах ИИ, либо на задачах оптимизации, но не могут эффективно выполнять и то, и другое. Кроме того, они часто тратят много энергии на преобразование сигналов из аналоговой формы в цифровую и обратно.

Что такое аналоговый оптический компьютер (АОК)?

АОК — это гибридная система, которая объединяет трехмерную оптику и аналоговую электронику в единой платформе, способной ускорять как задачи ИИ-выводов, так и комбинаторную оптимизацию. Ключевая особенность компьютера — его полностью аналоговая работа, которая исключает энергозатратные цифровые преобразования.

Как он работает:

Поиск «неподвижной точки»

Вместо выполнения последовательных инструкций, как цифровой компьютер, АОК итеративно ищет стабильное состояние системы, называемое «неподвижной точкой». Этот процесс похож на то, как шарик катится по неровной поверхности и в итоге останавливается в самой низкой точке. Эта конечная «неподвижная точка» и является решением задачи.

Разделение задач

Внутри АОК задачи разделены:

• Оптика: Матрично-векторные умножения, которые являются основной операцией во многих алгоритмах ИИ и оптимизации, выполняются с помощью света. Массив микросветодиодов (microLED) представляет переменные, а пространственный модулятор света (SLM) — веса или коэффициенты задачи. Это происходит практически мгновенно.
• Аналоговая электроника: Остальные математические операции, такие как нелинейные функции, вычитание и сложение, выполняются аналоговыми электронными схемами.
• Обратная связь: Результат электронных вычислений немедленно подается обратно на светодиоды, и цикл повторяется. Каждая такая итерация занимает около 20 наносекунд. Система работает непрерывно, пока не достигнет стабильного решения.

Какие задачи он может решать?

Исследователи продемонстрировали возможности АОК на четырех практических примерах:

• Искусственный интеллект:
  • Классификация изображений: Компьютер успешно распознавал рукописные цифры и предметы одежды из стандартных наборов данных MNIST и Fashion-MNIST.
  • Нелинейная регрессия: АОК смог аппроксимировать сложные математические функции, что является сложной задачей для аналоговых систем из-за их подверженности шумам.  

• Комбинаторная оптимизация:
  • Реконструкция медицинских изображений: АОК восстановил изображение медицинского фантома по неполным данным, что может значительно ускорить МРТ-сканирование. Его программная модель (цифровой двойник) успешно справилась с реконструкцией снимка мозга с более чем 200 000 переменных.
  • Расчеты по финансовым операциям: Компьютер нашел оптимальное решение для сложной задачи взаимозачета сделок между финансовыми учреждениями — проблемы, которая считается NP-трудной. На реальных данных о расчетах АОК показал 100% успешность, превзойдя результаты квантовых компьютеров.

В чем его главные преимущества и каково будущее?

Основное преимущество АОК — потенциальная энергоэффективность. По прогнозам, масштабированная версия компьютера сможет выполнять вычисления более чем в 100 раз эффективнее самых современных графических процессоров (GPU). Это достигается за счет отказа от преобразований между аналоговыми и цифровыми сигналами и объединения вычислений и памяти.

Текущий прототип является маломасштабным, но технология создана на основе доступных коммерческих компонентов, что упрощает ее будущее производство. Исследователи предполагают, что путем объединения множества таких модулей в трехмерную сетку можно будет создавать системы, способные работать с моделями ИИ, содержащими миллиарды параметров, что необходимо для решения реальных промышленных задач. Таким образом, аналоговый оптический компьютер открывает перспективный путь к созданию более быстрых и экологичных вычислительных систем будущего.

Представьте, что вам нужно просеять тонну песка, чтобы найти несколько крупинок золота. Современные компьютеры делают это с помощью электроники, но они тратят много времени и энергии, и уже приближаются к своему пределу скорости.

Ученые предлагают делать то же самое, но с помощью света (фотоники), потому что свет — это самый быстрый способ передачи информации.

Их чип OFE² делает вот что:

1. Берет поток данных (например, изображение или график цен на бирже).
2. Превращает эти данные в лазерный луч.
3. Пропускает этот луч через специальную структуру на чипе, которая использует дифракцию (то, как свет огибает препятствия).

Эта структура работает как хитрый фильтр: она «ловит» и выделяет только самые важные и характерные «особенности» в данных (например, края и контуры на картинке или резкие скачки цен на графике).

Что в этом особенного?

Главное преимущество этого чипа — невероятная скорость и низкая задержка.

• Скорость: Сама ключевая операция (вычисление) на чипе занимает меньше 250,5 пикосекунд. Это триллионные доли секунды.
• Энергоэффективность: Он выполняет огромное количество операций (250 миллиардов в секунду) , потребляя при этом очень мало энергии.

Как они это проверили?

Исследователи протестировали свой чип на двух очень разных, но сложных задачах:

1. Распознавание изображений:

Они «показывали» чипу картинки (например, рукописные цифры или медицинские КТ-снимки).

Чип OFE² мгновенно «видел» и выделял на них все важные контуры и края.

Затем эти «подсказки» отправлялись простому искусственному интеллекту, который в итоге распознавал картинки точнее и быстрее, чем если бы он делал это с нуля.

2. Финансовый «Трейдинг-бот»:

Это самый наглядный пример. Ученые взяли историю цен на золото за 45 лет.

Они подавали эти данные в чип OFE² в режиме реального времени, имитируя биржевые торги.  

Чип анализировал колебания цен и мгновенно принимал решение: «купить», «продать» или «держать».

Результат: Система смогла «обучиться» и разработать прибыльную торговую стратегию. А главное, общая задержка от получения новой цены до принятия решения была всего 82 наносекунды — это быстрее, чем у специализированных электронных систем, что на бирже дает огромное преимущество.

Эта работа доказывает, что можно использовать оптические чипы для очень быстрой и энергоэффективной обработки данных. Такая технология может быть полезна там, где на счету каждая доля секунды: в цифровых финансах, медицинской диагностике, беспилотных автомобилях и для будущих поколений искусственного интеллекта.

Прежде всего, GSI Technology использует аббревиатуру APU иначе, чем мы привыкли (например, в игровых приставках или ноутбуках).

• Обычно APU = Accelerated Processing Unit (Ускоренный процессорный блок, гибрид CPU и GPU).
• У GSI APU = Associative Processing Unit (Ассоциативный процессорный блок).

Слово «ассоциативный» здесь ключевое. Оно означает «связывать» или «находить по сходству».

Давайте представим обычный компьютер в виде огромного склада (это память) и одного очень занятого менеджера (это центральный процессор, CPU).

• Как работает обычный CPU: Когда вам нужно найти что-то на складе (например, «все синие мячи»), менеджер (CPU) должен сам пойти в склад (память), взять один предмет, принести к себе в кабинет, посмотреть, синий ли это мяч, записать результат, отнести предмет обратно и пойти за следующим. Это очень медленно, потому что 99% времени тратится на «беготню» туда-сюда между складом и кабинетом.
• Как работает Gemini-I APU: Gemini-I — это совершенно другой подход. Это «умный склад» (или «обработка в памяти»). Вместо одного менеджера, у каждой полки на складе стоит свой маленький работник. Когда вам нужны «все синие мячи», вы просто кричите в громкоговоритель: «Кто стоит рядом с синим мячом?» И все работники одновременно смотрят на свою полку и те, у кого есть синий мяч, мгновенно поднимают руку.

Gemini-I APU, по сути, встраивает тысячи крошечных процессоров прямо в чипы памяти. Он не «таскает» данные к процессору, а обрабатывает их прямо там, где они хранятся.

Этот чип не предназначен для запуска Windows или игр. Он создан для одной задачи, но выполняет ее феноменально быстро: поиск по сходству (Similarity Search).

Это задачи вроде:

• Поиск изображений: «Вот фото кошки. Найди мне все похожие фотографии кошек в базе данных из 10 миллиардов картинок».
• Рекомендации: «Этому пользователю понравилась эта песня. Найди 100 песен, которые звучат похоже«.
• Безопасность: «Проверь этот подозрительный файл и мгновенно сравни его с миллионами известных вирусов, чтобы найти совпадения».
• Наука и фармацевтика: «Найди в базе данных молекулу, которая по своей структуре наиболее похожа на это новое лекарство».

Обычному процессору на такие задачи могут потребоваться минуты или часы, а Gemini-I APU справляется с ними за доли секунды.

Gemini-I APU — это «поисковая система в железе». Это сверхбыстрый процессор для ИИ и больших данных, который экономит время, выполняя поиск не «по одному», а «весь сразу», прямо внутри памяти.