Google Assistant vs Siri vs Cortana vs Alexa: очередное сравнение

Digital-Assistants

Три месяца назад Gadgets News рассказывал про рейтинг интеллектуальных помощников, опубликованный маркетинговым агентством Stone Temple. В нем оценивались два критерия: попытка ответить на вопрос (коей не является ответ «Не знаю» или «Вот что я нагуглил») и правильность ответа. По первому критерию 1-ое место тогда занял Google Assistant (почти 80% попыток ответить на вопрос), за которым по убыванию шли Cortana, Alexa и Siri (последняя — всего 40%). По второму критерию помощники показали результат примерно от 80% (Siri) до 95% (Google Assistant). Тестирование проводилось на базе 4,942 вопросов.

А сегодня свой рейтинг опубликовала другая компания, Loup Ventures. Ею оценивались способность интеллектуального помощника корректно распознать запрос (по сути — преобразовать голос в текст) и правильно на него ответить. В общей сложности были сделаны 800 запросов пяти категорий: место («Где находится ближайшая кофейня?»), покупки («Закажи бумажные полотенца»), навигация («Как проехать за город на автобусе?») и команды («Напомни мне позвонить Стиву завтра в 14:00»). Таким образом, данный тест оценивал не только интеллектуальные способности ассистентов, но также их интеграцию с различными сервисами и приложениями.

По первому параметру все испытуемые показали очень высокий и примерно одинаковый результат: 100% (Google Assistant), 99% (Siri) и 98% (Cortana и Alexa). А вот по второму разброс получился куда более значительным и заметно отличающимся от полученного Stone Temple:

Google Assistant vs Siri vs Cortana vs Alexa 2018

Как видим, здесь по-прежнему лидирует Google, за которым с небольшим отрывом идет Apple и с большим отрывом — Amazon и Microsoft. Причем следует отметить значительный прогресс, продемонстрированный Siri с прошлого года — доля правильных ответов выросла с 66% до 78%. Что касается упомянутых выше категорий, то по ним результаты распределились следующим образом:

Google Assistant vs Siri vs Cortana vs Alexa 2018 by category

Здесь мы видим, что труднее всего интеллектуальным помощникам даются покупки, причем, как ни странно, голосовой ассистент крупнейшего в мире интернет-магазина значительно уступает Google Assistant (44% vs 77%). Ну а самые плаченые результаты у Cortana — всего 20%. При этом Siri хоть и проигрывает Google Assistant в общем зачете, но заняла первое место по качеству исполнения команд: 90% vs 76%.

Как справедливо пишут авторы теста, несмотря на заметный прогресс в качестве выполнения простеньких запросов, едва ли интеллектуальные помощники смогут отвечать на любые вопросы (во всяком случае в обозримом будущем). Gadgets News неоднократно отмечал в материалах на тему искусственного интеллекта, что несмотря на впечатляющие достижения (умение спорить и делать заказ по телефону), он ни йоту не приблизился к истинному пониманию смысла в тексте. Очевидно, что для такого понимания требуется принципиально новый подход, появление которого в обозримом будущем пока ничто не предвещает. Тем не менее, как мы уже рассказывали, сегодня т.н. слабый (узкоспециализированный) ИИ справляется с задачами, которые относительно недавно считались прерогативой сильного (универсального и не уступающего человеческому разуму). Поэтому вполне возможно, кто даже в рамках нынешних несовершенных концепций в будущем будут созданы системы, справляющиеся если не со всеми посильными человеку задачами, то во всяком случае со значительной их частью.

Loup Ventures