Чат-бот для поисковика Microsoft Bing уличили во множестве допущенных на презентации ошибок

Как уже рассказывал Gadgets News, в опубликованном Google примере того, как её чат-бот Bard отвечает на вопрос, была обнаружена ошибка — что привело к тому, что акции Alphabet подешевели на $8 и рыночная капитализация компании сократилась на $100 млрд. Но как выясняется, аналогичную небрежность, причем в гораздо больших масштабах, проявила Microsoft, которая на днях анонсировала интеграцию чат-бота ChatGPT в её поисковик Bard. По меньшей мере два источника (блог на платформе Medium.com и DKB Blog) утверждают, что во множестве примеров, продемонстрированных на презентации Microsoft, чат бот допустил фактические ошибки. В частности:

  • исказил ключевые показатели в финансовой отчетности, о которой его спросили
  • исказил запрошенные у него данные об известных деятелях
  • исказил технические характеристики рекомендованных им товаров бытовой техники
  • неверно указал часы работы рекомендованных им ночных заведений (один из которых похоже уже давно не существует, а другой и вовсе является гей-баром).

Сделанная нами выборочная проверка подтвердила правдивость по крайней мере части этих претензий, поэтому скорее всего и остальные соответствуют действительности. Небрежность сотрудников Microsoft вызывает недоумение, но гораздо больше тревожит низкий уровень качества подобных сервисов. Судя по всему, пока полагаться на результаты их работы преждевременно — в лучшем случае их следует тщательно перепроверять.

Еще одним тревожным сигналом стало проведенное нашими коллегами из SemiAnalysis исследование вычислительных ресурсов (и соответствующих им финансовых вложений), требуемых для обработки чат-ботом всех пользовательских запросов в поисковике Google. По их оценкам, эта обработка потребует больше 4 млн графических ускорителей Nvidia A100 (2020) и соответственно больше $100 млрд инвестиций в серверную инфраструктуру. Что конечно не исключает использования более эффективного оборудования, от уже существующих тензорных процессоров (таких как Google TPU v4) до находящихся в разработке нейроморфных и импульсных процессоров (больших аналогов Intel Loihi 2). Поэтому надо быть готовым к тому, что введенная недавно плата за неограниченный доступ к ChatGPT ($20 в месяц) станет нормой.