Увольнение Сэма Олтмена из OpenAI может быть связано с прорывом в области искусственного интеллекта — но каким именно?

Как вы уже наверняка знаете, скандальное увольнение Сэма Олтмена из возглавляемой им OpenAI закончилось бунтом сотрудников компании (абсолютное большинство которых поддержало бывшего босса и пригрозило своим увольнением), покаянием Ильи Суцкевера (который, будучи членом совета директоров, сначала участвовал в этом увольнении, а потом вместе с остальными выступил против него), и, наконец, триумфальным возвращением Олтмена в OpenAI. Это одно из главных, если не самое главное, событий в мире бизнеса за этот год, и обсуждать его будут еще долго. С предпосылками раскола в OpenAI можно ознакомиться здесь (на английском), а мы сейчас поговорим про нашумевшую с утра новость информагентства Reuters. Она не просто излагает очередную версию увольнения Олтмена, но и раскрывает возможные перспективы в сфере развития ИИ. Пока это только слухи, но слухи достаточно правдоподобные и при этом многообещающие.

Итак, ссылаясь на два осведомленных источника, пожелавших остаться неизвестными, Reuters сообщает, что за четыре дня до увольнения Сэма Олтмена несколько исследователей OpenAI написали совету директоров письмо, в котором сообщили о мощном открытии в области ИИ — которое, возможно, станет для человечества угрозой. После этого совет директоров разослал сотрудникам компании письмо, в котором сообщил о проекте под названием Q* (Q-звездочка) и предупредил о возможном появлении в СМИ соответствующей информации — никак не комментируя её достоверность. Источники также подтвердили, что в компании уже давно назревал конфликт вокруг того факта, что коммерциализация ИИ-продуктов происходит быстрее, чем будут понятны возможные последствия для человечества.

Как сообщил один из источников, речь идет о новой модели, способной решать определенные математические задачи. И хотя пока это задачи школьного уровня, были получены весьма многообещающие результаты. По мнению некоторых сотрудников OpenAI, Q* может оказаться прорывом в разработке того, что принято называть AGI или сильным искусственным интеллектом.

Из всех этих утечек казалось бы напрашивается вывод, что именно эти прорывные исследования Сэм Олтмен скрыл от совета директоров — например, во избежание очередного конфликта по вопросу о безопасности подобных технологий для человечества. Однако на состоявшемся в Сан-Франциско Саммите Азиатско-Тихоокеанского экономического сотрудничества на некий прорыв в исследованиях туманно намекнул сам Олтмен:

Уже четыре раза за всю историю OpenAI, последний раз — буквально за последние пару недель, мне доводилось присутствовать в комнате, когда мы как бы отодвигали завесу невежества и продвигали границы открытий, и получить такую возможность — это профессиональная честь всей жизни.

Олтмен произнес эти слова 16 ноября — а уже на следующий день, 17 ноября, он был уволен. Но было бы странно думать, что Олтмен решился на подобные откровения до того, как поставил в известность совет директоров возглавляемой им компании. А самое главное, что одним из этих директоров (который возможно и был инициатором увольнения Олтмена, или как минимум участвовал в этом) на тот момент был Илья Суцкевер. А это, на минуточку, главный ученый компании — было бы странно, если о подобных исследованиях и их результатах он был осведомлен хуже Олтмена.

Но куда интереснее вопрос о сути прорыва, который возможно состоялся в недрах OpenAI. Принимая во внимание имеющиеся утечки о решении математических задач, наши коллеги с Телеграм-канала Сиолошная высказали предположение, что речь может идти о научной работе Let’s Verify Step by Step, опубликованной сотрудниками компании (среди которых значится и Илья Суцкевер) еще в мае. Вот как описана суть исследования на канале Сиолошная:

В работе обучается модель, генерирующая решения математических задач. При этом во время тренировки предлагается поощрять нейронку за каждый правильный шаг рассуждения (делается «контроль процесса») вместо вознаграждения за правильный окончательный ответ («контроль результата», именно так обучалась GPT-4).

Простыми словами вместо того, чтобы смотреть на всё решение целиком и говорить «ну, ответ неправильный, поэтому решение фигня» (как ваш препод в универе), теперь делают так: «ага, вот эти первые 6 шагов правильные, а в 7м ошибка, из-за которой ответ не получился». Это даёт куда больше полезного сигнала, что приводит к более качественным результатам.

Один из артефактов обучения новым методом — в ходе тренировки мы получаем модель, которая для каждого отдельного шага решения учится предсказывать, является ли оно корректным. Такая модель может обнаруживать как галлюцинации, когда модель что-то сказанула не подумав, так и ошибки в чистой математике, когда задним числом понимаешь, что что-то не сходится.

А теперь давайте сделаем вот такой трюк: через GPT сгенерируем тысячу решений задачи, а затем используем упомянутую выше модель-оценщика для того, чтобы выбрать самое правильное. Если ChatGPT достаточно умна, чтобы хотя бы раз в 1000 генераций выдавать правильный ответ (не так много и требуем, кстати), а оценщик достаточно хорошо пост-фактум по решению определяет его корректность, то это ведёт к увеличению доли решённых задач. И действительно — вы можете в этом убедиться на приложенном графике. По горизонтали увеличивается количество генерируемых гипотез, а по вертикали видим рост качества. Интересно, что оно не выходит на плато — в теории, можно и сто тысяч гипотез генерировать, и качество лишь улучшится.

Надо заметить, что труднее всего большим языковым моделям дается именно математика. С одной стороны, она не не допускает расплывчатых и многозначных ответов, а во-вторых, изобилующие сжатыми формулами и уравнениями математические дата-сеты сильно не дотягивают до размеров повествовательных текстов, из которых, по текстовым статистическим закономерностям, можно извлечь ответы на вопросы в области гуманитарных знаний. Например, в бенчмарке MATH (задачи по математике для средних и старших классов, написанные в формате LaTeX) наилучший результат (GPT-4) составляет всего 42.5% (у LLaMa 2 и вовсе 13.5%). Для сравнения, предварительно полученные при помощи нового метода результаты (на репрезентативном подмножестве этого бенчмарка) составили 78% (процент правильно решенных задач) — то есть почти вдвое лучше. Авторы работы обозначили данный подход как модели вознаграждения с контролем процесса — в противовес нынешним моделям вознаграждения с контролем результата.

Но дело не только и не столько в том, чтобы подтянуть большие языковые модели еще и по математике — поэтапное решение (с пониманием конкретного этапа, на котором в решении была допущена ошибка) и построенный на этом перебор всех возможных решений обещают серьезные подвижки в решении любых научных задач вообще. Об этой миссии AGI (или скорее ASI, artificial super inteligence) ведущие сотрудники OpenAI (особенно Илья Суцкевер) говорили часто, и если все эти слухи верны, то возможно в ближайшие годы благодаря ИИ нас ожидают прорывы в самых разных областях науки и техники. Конечно, в этом нет никакой уверенности, но даже при относительно небольшой вероятности того, что это случится (хотя бы спустя несколько десятилетий), от огромной социально-исторической важности этих событий захватывает дух.