Надо ли запретить искусственный интеллект в летальных вооружениях?

На днях под эгидой Future of Life Institute (организации, которая изучает грозящие человечеству риски, особенно в области искусственного интеллекта) была опубликована декларация, посвященная использованию ИИ в летальных (способных убивать) вооружениях. Подписавшие её 160 компаний и организаций (из 36 стран), занятых в области искусственного интеллекта, обязались «никогда не участвовать в поддержке развития, производства, продажи или использования летального автономного вооружения«. Они также призвали правительства «создать будущее со строгими международными нормами, направленными против летального автономного вооружения«. В качестве аргументов против его распространения подписанты приводят следующие аргументы:

1. Соображения этического характера: машине нельзя давать право на самостоятельное принятие решений об убийстве человека, за которые ответственность будут нести другие или вообще никто;
2. Не знающее сомнений летальное автономное вооружение может привести к всплеску насилия;
3. В отличие от ядерного, химического и бактериологического оружия, одностороннее создание автономных систем вооружения может легко спровоцировать неконтролируемую гонку вооружений в этой области.

Декларацию подписала, в частности, одна из ведущих мировых организаций в области искусственного интеллекта, Google DeepMind. С 2014 года этой британской компании владеет Google, три тысячи сотрудников которой в апреле этого года призвали свое руководство отказаться от разработки алгоритмов компьютерного зрения, заказанных Пентагоном. В результате Google вышла из этого проекта, и вот теперь её ключевое структурное подразделение официально закрепило свои обязательства не участвовать в разработке искусственного интеллекта для летальных вооружений.

Вместе с тем среди тех, кто подписал декларацию, отсутствуют такие серьезные игроки как IBM, Microsoft, Amazon, Apple, Facebook, Массачусетский технологический институт, Стэнфордский университет и многие другие (хотя присутствуют отдельные сотрудники некоторых из этих организаций). И действительно, полного единодушия в вопросе об угрозах искусственного интеллекта среди специалистов нет. Год назад между Илоном Маском и Марком Цукербергом разгорелся публичный спор: Маск объявил ИИ величайшей угрозой человечеству, а Цукерберг назвал это заявление безответственным. В этой публикации я возьму на себя смелость поделиться собственными соображениями об этом щепетильном вопросе, который вскользь затронул в статье «Опасен ли искусственный интеллект для человека?».

Итак, попробуем рассмотреть каждый из приведенных в декларации аргументов. Первый из них, на мой взгляд, является довольно спорным и относится не столько к этике, сколько к праву. С этической точки зрения едва ли имеет значение кто принимает решение об убийстве или каким способом это решение реализует — главное, чтобы это решение было правильным. А вот в отношении ответственности за это решение и качество его исполнения действительно возникает правовая коллизия — кто будет отвечать за ошибку: разработчик программного обеспечения, или тот кто его испытал и одобрил, или командир воинского подразделения (который несет ответственность за действия своих подчиненных)? Вопрос действительно непростой, но он актуален и для других областей применения искусственного интеллекта, сопряженных с человеческими жертвами — например, беспилотного автомобиля. Что совсем не отменяет огромной пользы от его применения — в том числе с точки зрения сокращения количества жертв ДТП.

Второй аргумент из декларации также представляется сомнительным. Авторы стоят на позиции, что искусственный интеллект будет вести себя как бездушная машина из фантастических кинофильмов. Но в действительно её обучение будет строится на тех же принципах, которыми руководствуется человек. Машина действительно не знает сомнений — но только потому, что её решение просчитано. А просчитано оно с учетом всего того опыта, который был в неё заложен на этапе обучения. На самом простом уровне реализации это может быть корректное распознавание объектов каким-нибудь дроном, который наводит на цель артиллерию с авиацией или наносит удар самостоятельно. По сути сторонники запрета применения ИИ в армии хотят, чтобы это решение принимал или хотя бы перепроверял человек — но с тем же успехом можно требовать подстраховки автопилота живым водителем. На данном этапе такой водитель действительно нужен — но конечная цель автопилота состоит как раз в том, чтобы от него избавиться и таким образом нивелировать человеческий фактор в ДТП: неопытность, невнимательность, недосып, вождение в нетрезвом виде, наконец объективную неспособность быстро просчитать правильный маневр в какой-то экстремальной ситуации.

Все это справедливо и для решений, принимаемых в боевой обстановке — если искусственная система распознавания целей превосходит любого, даже самого опытного, оператора, то какой смысл запрещать её применение? Известно немало случаев, когда в результате ошибки или даже злонамеренных побуждений, пилоты или операторы дистанционно управляемых дронов открывали огонь по гражданским целям. Очевидно, что располагая качественной системой распознавания целей количество таких жертв удастся свести к минимуму.

То же самое можно сказать и про принятие более сложных решений, когда возникает сложная этическая ситуация. Например, ударный дрон распознает огневые точки противника в жилом доме. При всей трудности выбора сделать его придется — либо подавлять эти огневые точки залпом артиллерии, который снесет дом и убьет всех его жителей, либо производить более точечную «зачистку» — и нести потери в своем личном составе. Парадокс в том, что делегирование подобных решений машине сделает войну более гуманной и регламентированной. Ведь военные уставы, международное гуманитарное право и прочие нормативные документы не в состоянии предусмотреть и описать все возможные нюансы. Хотя и в самой этой регламентации смысла немного — военные чаще руководствуются поставленной перед ними боевой задачей, заботой о личном составе и эмоциями, чем какими-то отпущенными сверху инструкциями.

Но представьте, что принятие решения делегируется машине. Это значит, что она будет действовать в рамках заложенного в неё обучающего опыта. Соответственно безнравственным может быть не принятое искусственным интеллектом решение, а его обучение. Решение возникающих на войне сложных этических проблем лежит в области своего рода международной стандартизации систем искусственного интеллекта, которые будут применяться при выполнении боевых операций. Это куда действеннее письменных указаний «за всё хорошее против всего плохого» — аналогом международных конвенций может стать обязательная сертификация подобных систем, которые протестированы на различных сценариях и удостоверены на предмет соблюдения согласованных международным сообществом этических стандартов.

Разумеется это вовсе не значит, что все участники вооруженных конфликтов на эту сертификацию согласятся, а если и согласятся, то будут ей следовать. Но с тем же успехом бойкотировать или нарушать международные конвенции могут и живые участники боевых действий — проблема не в технологии, а том, кто и как её применяет. Причем проконтролировать применения летальных вооружений с ИИ гораздо проще, чем действия живых военных. Например, можно обязать государства, использующие такие системы, в случае жертв среди гражданского населения предоставлять международным надзорным органам журналы операций, хранящиеся в памяти систем ИИ и фиксирующие все их действия (электронный аналог журнала боевых действий). Отказ от предоставления такой информации будет равносилен нарушению гуманитарного права и повлечет за собой соответсвующие санкции против данного государства.

А вот с третим аргументом трудно не согласиться. Действительно — разработку и испытание военных систем искусственного интеллекта скрыть значительно легче, чем в случае ядерного, химического и бактериологического оружия. Но авторы декларации, на мой взгляд, ошибаются, когда приравнивают системы искусственного интеллекта к этим ужасным вооружениям. Угроза последних состоит в том, что они носят массовый характер и не различают цели, убивая или калеча всех подряд — и военных, и гражданских. Между тем для любой армии очень важно правильно распознавать цели и уничтожать только те, которые представляют военную угрозу. Конечно, бывают исключения — некоторые войны, особенно локальные, часто сопровождаются этническими чистками. Но искусственный интеллект для этого, к счастью, не нужен — перед ним стоит противоположная задача: отличить военную цель от гражданской и уничтожить её. Война становится все более дорогим «удовольствием», поэтому накрывать гражданский объект ракетой стоимостью в миллионы долларов не только безнравственно, но и слишком расточительно.

Таким образом, приведенные в декларации аргументы против применения ИИ в летальных вооружениях неубедительны и скорее обусловлены иррациональным страхом человека перед машиной — особенно, когда речь заходит о его, человека, прерогативе убивать себе подобных.

К сказанному выше можно добавить еще пару соображений в защиту применения ИИ в летальном вооружении. Во-первых, заменив человека, боевые роботы способны резко сократить потери в личном составе. Не будут гибнуть пехотинцы, экипажи танков, пилоты самолетов и вертолетов и т.д. В случае обоюдного применения таких вооружений война превратится в бескровное соперничество технологий и ресурсов.

Во-вторых, летальное вооружение способно не только убивать, но и спасать жизни. В общем случае это относится к любому вооружению — с нашей точки зрения куда правильнее силами роботов уничтожить армию ИГИЛ, чем проиграть ей войну из-за своей щепетильности — и в результате получить истребление гражданского населения в езидских, шиитских и христианских городах. Но спасение искусственным интеллектом человеческих жизней может быть и непосредственным — взаимодействуя с ПВО, хорошая система позволит сбить вражескую ракету, которая летит на населенный пункт — даже если теоретически эта система умеет сбивать и гражданские самолеты.

Вместе с тем от летального оружия с ИИ действительно исходит серьезная угроза, которую авторы декларации даже не упомянули. Не сделали они этого вероятно потому, что речь идет о долгосрочной перспективе. Речь, как вы наверное поняли, идет о так называемом сильном или сверхсильном искусственном интеллекте. Как уже рассказывал Gadgets News, в первом случае подразумевается машина с интеллектом, не уступающим человеческому, а во втором — машина, которая настолько превосходит наш разум, что будет для нас совершенно непредсказуема. Подробно исходящие от искусственного интеллекта угрозы я рассматривал в упомянутой выше публикации «Опасен ли искусственный интеллект для человека?», а здесь ограничусь констатацией очевидного факта, что в ряде случаев (сильный ИИ с самосознанием, обучение сильного ИИ агрессивным этическим нормам, самостоятельный пересмотр сильным ИИ вложенной в него этики, и наконец непредсказуемый сверхсильный ИИ) искусственный интеллект может оказаться опасным. И вот тогда управляемое им летальное оружие может стать вполне реальным инструментом истребления человечества или его части.

Впрочем и здесь проблема шире, чем просто автономные системы летального вооружения. Как раз по-настоящему автономные системы могут оказаться безопасными — другое дело вооружения, которые управляются дистанционно, или даже просто бортовая электроника с выходом во внешний мир (откуда попытается проникнуть созданная злодейским ИИ вредоносная инструкция). Это касается и других сфер жизнедеятельности — энергетики, транспорта, промышленного производства и т.д. По мере того, как они автоматизируются и усовершенствуются системами искусственного интеллекта, человечество становится все более уязвимым по отношению к сбою или злонамеренному вмешательству. Избежать этого невозможно — уязвимость человечества от технологий есть неизбежное зло, которое перевешивается пользой от их повседневного использования. Возможно когда-нибудь произойдет нечто настолько ужасное, что сведет на нет даже эту пользу, но это скорее из области все того же долгосрочного гипотетического сценария, в котором ИИ попытается уничтожить или поработить человечество. По сути мы стали заложниками созданных нами технологий и добровольно от них уже не откажемся.

Это относится и к военному применению искусственного интеллекта — разработки в этой области не прекратятся по причине их очевидной пользы (в чем она состоит я попытался описать выше). Но даже если негативные последствия перевешивают позитивные, эти разработки все равно продолжатся — военное и политическое руководство любой страны будет справедливо полагать, что кто-нибудь другой подобной технологией все равно воспользуется. Даже если все государства присоединяться к официальному мораторию на такие разработки, едва ли между ними будет полное доверие — проводить их тайно большого труда не составляет. А главное в мире наверняка найдутся силы (например, в лице крупных террористических организаций), которые будут активно работать в этом направлении. И в случае, если автономное летальное оружие окажется эффективнее оружия, управляемого человеком (а в перспективе это совершенно неизбежно), то своим мораторием приверженная гуманистическим принципам часть мирового сообщества окажется уязвимой перед силами, которые не обременены моральными «предрассудками».

Все это вовсе не означает, что использование искусственного интеллекта на войне не должно быть предметом пристального внимания. Возможно сейчас человечество стоит на пороге изобретения, перед которым померкнут все предшествующие — изобретения нового разумного вида. Будет ли он с нами мирно сосуществовать (например, как человек мирно сосуществует с каким-нибудь мхом на пне) или попытается нас уничтожить (как мы пытаемся уничтожить плесень, которая завелась у нас в доме) в какой-то степени будет зависеть от наших собственных усилий. И даже если людям не удастся предотвратить неизбежное, возможно в наших силах его хотя бы отсрочить на неопределенное время — но не запретом, а контролем и регулированием.