Google Assistant vs Siri vs Cortana vs Alexa: очередное сравнение

Digital-Assistants

Три месяца назад Gadgets News рассказывал про рейтинг интеллектуальных помощников, опубликованный маркетинговым агентством Stone Temple. В нем оценивались два критерия: попытка ответить на вопрос (коей не является ответ «Не знаю» или «Вот что я нагуглил») и правильность ответа. По первому критерию 1-ое место тогда занял Google Assistant (почти 80% попыток ответить на вопрос), за которым по убыванию шли Cortana, Alexa и Siri (последняя — всего 40%). По второму критерию помощники показали результат примерно от 80% (Siri) до 95% (Google Assistant). Тестирование проводилось на базе 4,942 вопросов.

А сегодня свой рейтинг опубликовала другая компания, Loup Ventures. Ею оценивались способность интеллектуального помощника корректно распознать запрос (по сути — преобразовать голос в текст) и правильно на него ответить. В общей сложности были сделаны 800 запросов пяти категорий: место («Где находится ближайшая кофейня?»), покупки («Закажи бумажные полотенца»), навигация («Как проехать за город на автобусе?») и команды («Напомни мне позвонить Стиву завтра в 14:00»). Таким образом, данный тест оценивал не только интеллектуальные способности ассистентов, но также их интеграцию с различными сервисами и приложениями.

По первому параметру все испытуемые показали очень высокий и примерно одинаковый результат: 100% (Google Assistant), 99% (Siri) и 98% (Cortana и Alexa). А вот по второму разброс получился куда более значительным и заметно отличающимся от полученного Stone Temple:

Google Assistant vs Siri vs Cortana vs Alexa 2018

Как видим, здесь по-прежнему лидирует Google, за которым с небольшим отрывом идет Apple и с большим отрывом — Amazon и Microsoft. Причем следует отметить значительный прогресс, продемонстрированный Siri с прошлого года — доля правильных ответов выросла с 66% до 78%. Что касается упомянутых выше категорий, то по ним результаты распределились следующим образом:

Google Assistant vs Siri vs Cortana vs Alexa 2018 by category

Здесь мы видим, что труднее всего интеллектуальным помощникам даются покупки, причем, как ни странно, голосовой ассистент крупнейшего в мире интернет-магазина значительно уступает Google Assistant (44% vs 77%). Ну а самые плаченые результаты у Cortana — всего 20%. При этом Siri хоть и проигрывает Google Assistant в общем зачете, но заняла первое место по качеству исполнения команд: 90% vs 76%.

Как справедливо пишут авторы теста, несмотря на заметный прогресс в качестве выполнения простеньких запросов, едва ли интеллектуальные помощники смогут отвечать на любые вопросы (во всяком случае в обозримом будущем). Gadgets News неоднократно отмечал в материалах на тему искусственного интеллекта, что несмотря на впечатляющие достижения (умение спорить и делать заказ по телефону), он ни йоту не приблизился к истинному пониманию смысла в тексте. Очевидно, что для такого понимания требуется принципиально новый подход, появление которого в обозримом будущем пока ничто не предвещает. Тем не менее, как мы уже рассказывали, сегодня т.н. слабый (узкоспециализированный) ИИ справляется с задачами, которые относительно недавно считались прерогативой сильного (универсального и не уступающего человеческому разуму). Поэтому вполне возможно, кто даже в рамках нынешних несовершенных концепций в будущем будут созданы системы, справляющиеся если не со всеми посильными человеку задачами, то во всяком случае со значительной их частью.

Loup Ventures

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *