Глава OpenAI: искусственный сверхразум может появиться через несколько тысяч дней

Вчера Сэм Олтмен опубликовал в своем блоге эссе, в котором поделился мыслями о будущем ИИ и человечества. Наибольший интерес в этой публикации представляют сроки вероятного появления искусственного сверхразума:

Возможно, что у нас появится сверхразум через несколько тысяч дней (!); это может занять больше времени, но я уверен, что мы этого достигнем.

В тысяче дней чуть меньше трех лет, и если взять за «несколько» диапазон от трех до семи, то это означает создание ASI (artificial super intelligence) через 8-19 лет — с 2032 по 2043 год. Эти сроки почти совпадают с тем, что в апреле этого года озвучил Джеффри Хинтон — как уже рассказывал Gadgets News, по его оценкам ASI появится через 5-20 лет (в 2029-2044) с вероятностью 50%. Аналогичные сроки еще в 2005 году, когда не было даже намека на нынешний бум ИИ, в своей книге «Сингулярность близко» (The Singularity Is Near) приводил и самый знаменитый современный футуролог, Рей Курцвейл — по его мнению, AGI (ИИ человеческого уровня) появится к 2029 году, а ASI (ИИ сверхчеловеческого уровня) — к 2045.

К прогнозу Сэма Олтмена определенно стоит отнестись серьезно — по части ИИ это один из самых осведомленных людей на Земле, поскольку возглавляет пожалуй самую передовую компанию в этой индустрии, OpenAI — и при этом всегда осторожен в своих высказываниях и прогнозах. Еще пару недель назад к его прогнозу можно было отнестись скептически, но с релизом OpenAI o1 слухи о грядущем появлении модели, способной выстраивать рассуждения и благодаря этому решать сложные задачи, стали реальностью. А еще несколько дней назад Олтмен заявил о «невероятном превосходстве агентности» — следующего этапа на пути к созданию сначала AGI, а затем и ASI. И как бы упреждая аргументы скептиков, что любая из этих технологий, будь то reasoning или agency, может упереться в потолок, глава OpenAI продолжает:

Глубокое обучение работает, предсказуемо улучшается с масштабированием, и мы выделяем на него все больше ресурсов.

Вот и все; человечество открыло алгоритм, который действительно может по-настоящему изучить любое распределение данных (или, по-настоящему, базовые «правила», которые производят любое распределение данных). С шокирующей степенью точности, чем больше доступно вычислений и данных, тем лучше он помогает людям решать сложные проблемы. Я обнаружил, что независимо от того, сколько времени я трачу на размышления об этом, я никогда не могу по-настоящему осознать, насколько это важно.

Нам еще предстоит выяснить множество деталей, но было бы ошибкой отвлекаться на какую-то конкретную проблему. Глубокое обучение работает, и мы решим оставшиеся проблемы. Мы можем многое сказать о том, что может произойти дальше, но главное в том, что с масштабированием ИИ будет становиться лучше…

К этому можно добавить, что многообещающе выглядит масштабирование не только глубокого обучения, но и трансформеров, которые возможно сыграли решающую роль в нынешних достижениях больших языковых моделей. В феврале этого года группа исследователей из Стэнфордского университета, Технологического института Toyota в Чикаго и Google опубликовали работу, в которой, как утверждают авторы, математически доказывается, что благодаря CoT (цепочке рассуждений) трансформеры с ограниченной глубиной и точностью могут решать задачи, сводимые к логическим рассуждениям (булевым схемам), если эти рассуждения укладываются в ограниченное количество шагов CoT.

Впрочем, это не означает способности трансформеров решить любые научные задачи. Вот как это аргументирует ChatGPT:

1) Ограничения CoT: Способность решать задачи зависит от количества шагов в цепочке рассуждений (CoT). Если задача требует большего количества шагов, чем поддерживает модель, то она не сможет её решить. Таким образом, сложные научные задачи, которые требуют большого числа последовательных шагов, могут быть недоступны для решения такой моделью.

2) Тип задач: Хотя многие задачи могут быть сведены к логическим рассуждениям (булевым схемам), это далеко не все научные задачи. Многие проблемы в физике, биологии, математике и других науках могут включать элементы случайности, эвристики или процессов, которые сложно выразить в виде булевых схем. Например, модели реальных физических процессов, динамические системы или задачи оптимизации могут выходить за рамки возможностей таких трансформеров.

3) Ограниченные ресурсы: Даже если задача может быть сведена к вычислимой логической форме, практические ограничения вычислительных ресурсов (такие как время или память) могут не позволить модели её решить, особенно если задача слишком большая или сложная.

Главным здесь, конечно, является второй пункт: не все научные задачи могут быть сведены к логическим рассуждениям.

Однако Сэм Олтмен говорил не про трансформеры, а про глубокое обучение — поэтому по мере его масштабирования можно рассчитывать на решение в том числе и задач, не сводимых к логическим рассуждениям. Означает ли это решение любых стоящих перед человечеством научных проблем — неизвестно. Но если понимать под ASI нечто, что интеллектуально превосходит любого из людей и даже человечество в целом, то в резком ускорении научно-технического прогресса (и без того ускоряющегося по мере накопления знаний, вычислительных инструментов и образованных людей) не остается никаких сомнений — при условии появления ASI, конечно.

И не только ASI — с появлением AGI сначала резко вырастет доступность людей к образованию и производительность их труда, а затем начнется их постепенное замещение искусственным интеллектом. Масштабирование если не качества, то хотя бы количества AGI-агентов станет аналогом найма миллионов или даже миллиардов (в зависимости от доступных вычислительных и энергетических ресурсов) высококвалифицированных специалистов, работающих 24/7, совместно устраивающих мозговые штурмы и т.д.

Сэм Олтмен настроен весьма оптимистично в отношении социальных последствий этого процесса:

Я верю, что будущее будет настолько светлым, что никто не сможет описать его в полной мере, пытаясь написать о нем сейчас; определяющей характеристикой века интеллекта станет массовое процветание.

С этим трудно не согласиться — как и с оговоркой, которую он при этом делает:

Если мы хотим предоставить ИИ в руки как можно большего числа людей, нам нужно снизить стоимость вычислений и сделать их обильными (что требует большого количества энергии и чипов). Если мы не построим достаточно инфраструктуры, ИИ станет очень ограниченным ресурсом, за который будут вестись войны, и который в основном станет инструментом для богатых людей.

От себя рискну предположить, что в случае возникновения технологического разрыва между странами одни из них встанут на путь процветания быстрее других — и тогда между разными государствами еще больше вырастут социальная пропасть и отчуждение. Представьте, что миллионы индусов остались без работы, потому что американским компаниям больше не нужны операторы кол-центров и программисты, а миллионы китайцев — потому что роботизация производства в США сделала ненужным размещение производства в Китае. И если Индия и особенно Китай могут догнать США довольно быстро, то у стран африканского континента шансов на это практически нет — при том, что население там растет быстрее, чем где-либо на Земле. По мере того, как население развитых стран будет переходить на сокращенную рабочую неделю, а затем и вовсе избавится от трудовой повинности и станет жить на безусловный базовый доход, потребность этих стран в рабочей силе начнет сокращаться — а вместе с ней и нужда в мигрантах. Которые, в свою очередь, будут стремиться к переселению в развитые страны еще больше — в расчете на тамошнее процветание без необходимости работать. И даже если допустить чисто финансовую способность развитых стран принять у себя и прокормить сотни миллионов мигрантов, очевидны тяжелые последствия такой миграции не только из-за культурных различий, но также из-за неготовности мигрантов к безбедной жизни без необходимости работать.

Об угрозе деградации таких людей в своем «Дневнике писателя» (1876) предупреждал еще Достоевский (см. публикацию Gadgets News Опасен ли искусственный интеллект для человека?), и его опасения безусловно оправданы в отношении если не всего человечества, то по меньшей мере его части. С той разницей, что коренное население развитых стран адаптируется к переменам постепенно, и поэтому постепенно научится распоряжаться своим постепенно увеличивающимся свободным временем. В случае мигрантов, которые еще вчера занимались добычей пропитания большую часть времени, а сегодня сразу оказались в условиях, когда можно не работать вообще, остро встает проблема, сформулированная великим русским писателем в тезисах «гнусно жить на даровщинку» и «счастье не в счастье, а лишь в его достижении».

Решением данной проблемы может стать система социальных рейтингов, когда размер выплачиваемого человеку безусловного базового дохода будет определяться набранными им социальными баллами. Которые, в свою очередь, определяются пользой, которую он приносит себе и обществу. Чем больше он ведет активный образ жизни, занимается спортом, творчеством, наукой или имеет другое полезное для своего саморазвития занятие, чем лучше соблюдает законы и этические правила, помогает ближним и т.д. — тем больше получаемый им доход. Следить за этим и начислять социальные баллы сможет «Большой брат», которому шесть лет назад мы посвятили отдельную публикацию, и чье тоталитарное правление, по всей видимости, станет следующей и теперь уже безальтернативной формой государственного устройства. Пришествие Большого брата — отдельная и возможно самая большая проблема переходного периода, поскольку оно войдет в противоречие с нежеланием правящих элит выпускать из рук власть и идеологией части общества, недовольного нечеловеческим правлением.

С какими социальными проблемами столкнется человечество на этапе перехода ИИ сначала к AGI, а затем и ASI? Лично я почти не сомневаюсь, что на пути к заявленному Сэмом Олтменом процветанию человечество ожидают серьезные потрясения. Как, впрочем, всегда в истории, когда социальное развитие не поспевало за технологическим — с той только разницей, что сейчас научно-технический прогресс происходит куда быстрее. Я уже не говорю о таких проблемах, как, например, использование ИИ какими-нибудь безумными фанатиками для создания бактериологического оружия или кибератак на атомные станции, гипотетические сбои в системах ИИ-управления вооружениями и т.д.

Но главная угроза, которой не коснулся Сэм Олтмен в своей вчерашней публикации — непредсказуемость искусственного разума. Как мы уже рассказывали в вышеупомянутых публикациях, гипотетический ASI непредсказуем по меньшей мере в двух аспектах. Во-первых, мы не знаем какой окажется его этика. Даже если у ASI нет самосознания, и он был успешно обучен на той этике, которую в него хотели заложить, это вовсе не исключает того, что в силу сверхинтеллекта ASI его этика эволюционирует до неузнаваемости — как эволюционировала наша этика со времен каменного века. Во-вторых, и это по-настоящему экзистенциальная угроза для человечества, есть основания опасаться, что по мере интеллектуального развития в ИИ возникнет самосознание — как оно возникло в биологическом интеллекте по мере эволюции. Это чрезвычайно сложный и интересный вопрос — что такое сознание и самосознание, как они возникают, в какой мере определяются интеллектом. Но если это случится, то человечество получит на Земле гораздо более разумную и могущественную форму жизни бытия, которая может оказаться к человеку доброжелательной, враждебной или, что мне представляется самым вероятным, равнодушной — как мы равнодушны к какому-нибудь мху на пне. Какими будут желания и цели ASI, и будут ли они вообще — непостижимый вопрос, как непостижим для нашего интеллектуального уровня сам ASI.

В любом случае ближайшие два десятилетия представляются самыми интересными и важными за всю историю существования человеческой цивилизации. Разумеется, нет никаких гарантий того, что Сэм Олтмен прав, да и сам он вполне допускает, что появление ASI займет больше времени. Но упомянутое выше предположение Джеффри Хинтона, что искусственный сверхразум появится к 2045 году с вероятностью 50%, не выглядит преувеличением — и тогда у многих из нас есть шансы дожить до самого важного и опасного изобретения за всю истории человечества и стать очевидцами тектонических сдвигов всего миропорядка.