Как изменилось качество переводов Google с переходом на машинное обучение?

Три недели назад Google объявила, что стартовавший в конце прошлого года переход её переводческого сервиса на машинное обучение добрался наконец до русского языка. Положившись на собственные познания в английском, ваш покорный слуга не вполне точно понял текст новости и решил, что это произойдет в течение пары недель после анонса. Но на самом деле машинное обучение в переводах с русского и на русский появилось одновременно с новостью. Поэтому к сожалению у меня нет возможности сравнить качество переводов на русский язык конкретно той новости (до и после перехода на нейросети). Зато можно смело утверждать, что за эти три недели оно никак не изменилось. Что в день новости, что сегодня, её русский перевод выглядит следующим образом:

В ноябре прошлого года люди из Бразилии в Турцию в Японию обнаружили, что Google Translate для их языка стал более точным и понятным. Это потому, что мы ввели нейронный машинный перевод — используя глубокие нейронные сети для перевода целых предложений, а не просто фраз — на восемь языков в целом. В течение следующих нескольких недель эти улучшения появятся в Google Translate на многих других языках, начиная с хинди, русского и вьетнамского языков.

Нейронный перевод намного лучше, чем наша предыдущая технология, потому что мы переводим целые предложения за раз, а не части предложения. (Разумеется, есть масса машин, изучающих магию, которые подпитывают это под капотом, о котором вы можете прочитать в блоге Исследования.) Это делает переводы, которые обычно более точны и звучат ближе к тому, как люди говорят на этом языке. Вот один пример, чтобы показать, насколько он улучшен:

Вы получите эти новые переводы автоматически в большинстве мест. Переводчик Google доступен: в приложениях для iOS и Android, на сайте translate.google.com, а также через Google Поиск и приложение Google. В ближайшие несколько недель мы переводим нейро-машинный перевод на еще большее количество языков, поэтому следите за более плавным и более быстрым переводом.

Наконец, продолжайте вносить вклад в трансляцию сообщества! Наши переводы по-прежнему далеки от совершенства, и это помогает всем, кто использует Google Translate, предлагать улучшения.

Прямо скажем — не впечатляет. Любопытно, что один фрагмент система перевела так же неправильно как и я: В течение следующих нескольких недель эти улучшения появятся в Google Translate на многих других языках, начиная с хинди, русского и вьетнамского языков. В оригинале — Over the next couple of weeks, these improvements are coming to Google Translate in many more languages, starting right now with Hindi, Russian and Vietnamese. Выделенное переводчик почему-то пропустил, в результате чего довольно существенно изменился смысл — русский язык получает машинное обучение не сразу, а в течение пары недель. Причем это одно из немногих предложений в тексте, которые звучит более-менее по-русски.

Чтобы оценить насколько изменилось качество переводов с переходом на нейросети, я нагуглил несколько примеров, больше года назад опубликованных на Хабрахабре. Главный интерес представляет фрагмент из детектива Агаты Кристи «Десять негритят». Вот как выглядят оригинал, Google-перевод до и после перехода на машинное обучение, и наконец литературный перевод, сделанный человеком:

• In the corner of a first-class smoking carriage, Mr. Justice Wargrave, lately retired from the bench, puffed at a cigar and ran an interested eye through the political news in the Times.
• В углу вагона первого класса курения, г-н судья Wargrave, в последнее время в отставку со скамейки, пыхтел сигарой и побежал заинтересованного глаз через политических новостей в Times.
• В углу первоклассной курительной коляски мистер Юджин Уоргрейв в последнее время удалился со скамьи, пыхнул сигарой и внимательно просмотрел политические новости в «Таймс».
• В углу курительного вагона первого класса судья Уоргрейв — он недавно вышел в отставку — попыхивал сигарой и просматривал отдел политики в «Таймс».

Как видим, оба машинных перевода неудовлетворительны, причем если более ранний правильно понял, что речь идет о вагоне и отставке, то второй в этом отношении явно деградировал. Правда при этом он вполне корректно перевел вторую часть фразы, которая в более раннем переводе звучит совершенно бессвязно.

Идем дальше:

• He laid the paper down and glanced out of the window. They were running now through Somerset. He glanced at his watch — another two hours to go.
• Он положил газету и выглянул в окно. Они бежали теперь через Сомерсет. Он взглянул на часы еще два часа, чтобы пойти.
• Он положил бумагу и посмотрел в окно. Теперь они бежали через Сомерсет. Он взглянул на часы — еще два часа.
• Вскоре он отложил газету и выглянул из окна. Поезд проезжал через Сомерсет. Судья подсчитал — ему оставалось еще два часа пути.

Имеем аналогичную картину: первую фразу точнее перевела более ранняя версия. Со второй не справилась ни одна из них. Перевод третьей явно получился лучше у более свежей версии.

Ну и наконец заключительная часть фрагмента:

• He went over in his mind all that had appeared in the papers about Indian Island.
  There had been its original purchase by an American millionaire who was crazy about yachting — and an account of the luxurious modern house he had built on this little island off the Devon coast.
• Он пошел в уме все, что появилось в газетах о индийской острова. Там было первичной продажи американского миллионера, который был без ума от яхтинга и отчет о роскошном современном доме он устроил на этом маленьком острове у берегов Девона.
• Он вспомнил все, что появилось в газетах об Индийском острове.
  Это была его первоначальная покупка американским миллионером, который был без ума от яхтинга, — и рассказ о роскошном современном доме, который он построил на этом маленьком острове у побережья Девона.
• Снова и снова он перебрал в уме все, что писалось в газетах о Негритянском острове. Первоначально его приобрел американский миллионер — страстный яхтсмен, который построил на этом островке неподалеку от берегов Девона роскошный дом в современном стиле.

Здесь налицо явное превосходство перевода, основанного на машинном обучении. Но по тексту в целом его качество продолжает оставаться весьма низким.

Правда, речь идет о переводе художественного текста — посмотрим как Google справился со статьей на политическую тему. Для этого воспользуемся ресурсом ИноСМИ, который содержит профессиональные переводы со ссылкой на оригинал. Разберем свежую статью из британской газеты The Gurdian. Поскольку сделать перевод старой версией уже не получится, я приведу оригинал, свежий машинный перевод и перевод, выполненный профессиональным переводчиком. Начнем с заголовка:

• Russia’s 1989 plea for a new world order was rejected, and so Putinism was born
• В 1989 году призыв России к новому мировому порядку был отвергнут, и поэтому родился Путинизм
• В 1989 году призывы России были отвергнуты, что породило путинизм

Пока вполне сносно. Далее разберем каждый из абзацев:

• Long before Vladimir Putin came to power in 2000, the stage was set for Russia’s current confrontation with the west by the failure to achieve a transformed and inclusive peace order after the collapse of the Soviet Union.
• Еще задолго до прихода Владимира Путина к власти в 2000 году была поставлена ​​точка для нынешнего противостояния России с Западом неспособностью добиться трансформированного и всеобъемлющего мирного порядка после распада Советского Союза.
• Почва для нынешней конфронтации между Россией и Западом была подготовлена задолго до 2000 года, в котором пришел к власти Владимир Путин. Проблема заключалась в том, что после распада Советского Союза мир и порядок не удалось установить на новых, равноправных условиях.

Машинный перевод получился грамматически корректным, но весьма тяжеловесным — а главное неверным по смыслу («поставлена точка» — вместо «подготовлена почва»).

• Two incompatible narratives came into conflict after the Eastern Bloc began to crumble in 1989. For the west, nothing needed to change. The Atlantic community had effectively won the cold war, demonstrating the superiority of the western order, and thus all that was required was for Russia to join the expanded western community. The door was indeed opened, but the terms were not right. Boris Yeltsin made this clear, in an incoherent and contradictory manner. Putin ultimately made the same point, rather more forcefully. The west invited Russia to join an expanded Atlantic community, but Russia sought to join a transformed west and a reconfigured Europe, goals that remain active to this day.
• Два несовместимых повествования вступили в конфликт после того, как в 1989 году Восточный блок начал рушиться. Для Запада ничего не нужно было менять. Атлантическое сообщество фактически выиграло «холодную войну», продемонстрировав превосходство западного порядка, и, следовательно, все, что требовалось, — это чтобы Россия присоединилась к расширенному западному сообществу. Дверь действительно была открыта, но условия были неправильными. Борис Ельцин дал это ясно, бессвязно и противоречиво. В конечном итоге Путин сделал то же самое, но более решительно. Запад пригласил Россию присоединиться к расширенному атлантическому сообществу, но Россия стремилась присоединиться к преобразованному Западу и перестроенной Европе, цели, которые остаются активными и по сей день.
• После того, как в 1989 году Восточный блок начал рушиться, на международной арене столкнулись два несовместимых точки зрения. На Западе считали, что менять ничего не нужно. Атлантическое сообщество фактически выиграло холодную войну, продемонстрировав превосходство западного порядка, и России осталось только присоединиться к западному миру. Ей действительно открыли дверь — но на неподходящих условиях. Это дал это понять — пусть в непоследовательной и противоречивой форме — еще Борис Ельцин. Путин в итоге продолжил эту же линию, но намного жестче. Запад пригласил Россию в расширенное атлантическое сообщество, в то время, как она хотела — и до сих пор хочет — стать частью реформированного западного мира и трансформированной Европы.

На мой взгляд для таких больших и сложных предложений получилось очень неплохо. Впечатление портят выделенные курсивом повествование и Борис Ельцин дал это ясно, бессвязно и противоречиво, понимание которого значительно бы улучшилось вставкой слова «понять».

• For Mikhail Gorbachev, the last Soviet leader, the end of the cold war represented a moment when Moscow could work with the western powers to create a new political community as equal founding members. The historical west, with Nato and the European Union at its core, would, in the Russian idea, become a greater west, with Russia a founding member of a new political community. This was accompanied by various Gaullist ideas to establish some sort of pan-continental greater Europe, stretching from Lisbon to Vladivostok.
• Для Михаила Горбачева, последнего советского лидера, окончание холодной войны представляло собой момент, когда Москва могла работать с западными державами, чтобы создать новое политическое сообщество в качестве равных членов-основателей. Исторический Запад, с НАТО и Европейским Союзом в его основе, в российской идее стал бы большим западом, а Россия стала бы одним из основателей нового политического сообщества. Это сопровождалось различными голлистскими идеями о создании какой-то панконтинентальной большей Европы, простирающейся от Лиссабона до Владивостока.
• С точки зрения Михаила Горбачева — последнего советского лидера — конец холодной войны казался моментом, когда Москва и западные державы могли на равных создать новое политическое сообщество. Он полагал, что исторический Запад, ядром которого служили НАТО и Европейский Союз, должен превратиться в Запад в широком смысле — новую общность, в число основателей которой войдет и Россия. Это пересекалось с различными голлистскими идеями о создании некоей панконтинентальной «Большой Европы» от Лиссабона до Владивостока.

И снова очень неплохо, придраться почти не к чему.

• But the Atlantic powers, fearing that Russia was trying to drive a wedge between its two wings in Europe and America, rejected these ideas. In practice, Russian and western views were not so far apart. What was required was some sort of reconciliatory framework, and it is this intangible but essential ingredient that has been missing in the post-cold war years.
• Но атлантические державы, опасаясь, что Россия пытается вбить клин между двумя своими крыльями в Европе и Америке, отвергли эти идеи. На практике взгляды России и Запада не были столь далеки друг от друга. Для этого требовались какие-то примирительные рамки, и именно этот неосязаемый, но важный компонент отсутствует в годы после окончания холодной войны.
• Однако атлантические державы испугались, что Россия пытается вбить клин между Европой и Америкой, и отвергли эти идеи. При этом на практике российские и западные взгляды не так уж сильно отличались друг от друга. Сторонам требовался только некий примирительный механизм, но именно этого неуловимого ингредиента и не нашлось в последовавшие за холодной войной годы.

Впечатление немного портят крылья, но по сути и здесь придраться не к чему — с грамматической и лексической точек зрения перевод вполне точен. В данном случае профессиональный переводчик не перевел эти непонятные крылья, а просто проигнорировал их.

• Instead, the end of the cold war reinforced one side at the expense of the other, and without a transformation of world order. This means that in structural terms the cold war never really ended. Russia could have become part of the winning constellation, as Germany and Japan did after 1945, but that would have required some sort of admission of defeat, and that is something that no Russian leader, certainly not Yeltsin nor Putin, were ready to concede. Instead, the institutions and ideas triumphant at the end of the cold war enlarged, driving Russia into a strategic impasse.
• Вместо этого окончание «холодной войны» укрепило одну сторону за счет другой и без трансформации мирового порядка. Это означает, что в структурном плане холодная война так и не закончилась. Россия могла бы стать частью выигрышного созвездия, как это делали Германия и Япония после 1945 года, но это потребовало бы своего рода признания поражения, и это то, что ни один российский лидер, конечно, не Ельцин и Путин, не был готов уступить. Вместо этого расширялись институты и идеи, торжествующие в конце холодной войны, вызывая Россию в стратегический тупик.
• В итоге окончание холодной войны лишь усилило одну из сторон за счет другой, но не изменило миропорядок. Таким образом, в структурном смысле холодная война, в сущности, не закончилась. Россия могла стать частью содружества победителей, как Германия и Япония после 1945 года, но для этого ей нужно было в той или иной форме признать свое поражение, на что не мог пойти ни Ельцин, ни Путин и вообще ни один российский лидер. Вместо этого институты и идеи времен конца холодной войны только усилились, загнав Россию в стратегический тупик.

Как и прежде, весьма адекватный, на мой взгляд перевод — не считая пропущенной запятой в первом предложении (она бы слегка изменила смысл на более точный), а также словосочетания «вызывая в тупик» — в последнем.

• A difference of intellectual emphasis became a political division, and the gulf between expansion and transformation defines the confrontation today. The existing order was simply enlarged, and thereby radicalised, rather than transformed. Instead of transcending the logic of conflict in Europe and in global affairs, it was perpetuated in new forms. In the end, Russia reacted by adopting a policy of resistance to what was considered a liberal political order that asserted its values not as an autonomous good, but as part of the enlarging power system itself.
• Разница интеллектуального акцента стала политическим разделением, а пропасть между экспансией и трансформацией определяет сегодняшнюю конфронтацию. Существующий порядок был просто расширен и тем самым радикализировался, а не трансформировался. Вместо того, чтобы преодолеть логику конфликта в Европе и в глобальных делах, она была увековечена в новых формах. В конце концов, Россия отреагировала, приняв политику сопротивления тому, что считалось либеральным политическим порядком, который утверждал свои ценности не как автономное благо, а как часть самой расширяющейся системы власти.
• Таким образом, сравнительно небольшие расхождения во взглядах переросли в политический раскол. В основе противостояния до сих пор лежит этот давний выбор между экспансией и трансформацией. Существующий порядок не трансформировался. Его просто расширили, что только обострило ситуацию. Европа и мир не вышли за пределы логики конфликта, а сохранили ее в новых формах. В результате Россия отреагировала на это переходом к политике противодействия либеральному политическому порядку, ценности которого, по ее мнению, насаждаются как часть расширяющейся мировой системы, а не потому, что они хороши сами по себе.

Возьму на себя смелость утверждать, что и в данном случае перевод получился неплохим, хотя и тяжеловесным.

• Without the Soviet Union to act as a constraining force, the world order established after 1989 turned out to be effectively unipolar, with all of the dangers that attend such a situation. Neither Russia nor China is in a position, nor do they desire, to balance against the dominance of the American-led power system. What they do want is a more pluralist international order, rather than a single dominant power system. They wish to see the institutions of international society, notably the UN, the WTO and international financial institutions, work autonomously and impartially. Russian politicians repeatedly talk of the need to establish a more multipolar system.
• Без того, чтобы Советский Союз выступал в качестве сдерживающей силы, мировой порядок, установленный после 1989 года, оказался фактически однополярным, со всеми опасностями, которые присутствуют в такой ситуации. Ни Россия, ни Китай не в состоянии и не хотят балансировать против доминирования возглавляемой США системы власти. То, что они хотят, — это более плюралистический международный порядок, а не единая доминирующая система власти. Они хотят видеть, что институты международного общества, в частности ООН, ВТО и международные финансовые институты, работают автономно и беспристрастно. Российские политики неоднократно говорят о необходимости создания более многополярной системы.
• Без Советского Союза как сдерживающей силы миропорядок, созданный после 1989 года, оказался фактически однополярным, что небезопасно. Ни Россия, ни Китай не могут и не хотят служить противовесом возглавляемой Америкой системе. Однако они хотят, чтобы международный порядок стал более плюралистическим и чтобы в нем не было одной господствующей силы. Им нужно, чтобы такие институты, как ООН, ВТО и международные структуры работали автономно и беспристрастно. Российские политики постоянно говорят о переходе к более многополярному миру.

Как и в большинстве остальных случаев, перевод получился точным по смыслу и грамотным по грамматическом строению.

• The gap between the proclaimed values of the Atlantic order and its practical manifestations can also be formulated as the gulf between principles and practices (the problem of “double standards”). This provoked Russia’s critique of western practices in defence of its proclaimed principles. Just as Russia has long positioned itself as the defender of the “true Europe” against the alleged degenerate actual version, Russia today claims to be the chief exponent of genuine European values that it asserts the west as a whole has lost. Naturally, this presumptuous claim is rejected by the west. But for Russia, the assertion of some sort of distinctive values is broader than a return to obscurantist conservatism and part of the larger reassertion of cultural and civilisational pluralism and diversity. The values challenge is also a challenge to the power system established at the end of the cold war.
• Разрыв между провозглашенными ценностями Атлантического порядка и его практическими проявлениями также может быть сформулирован как пропасть между принципами и практикой (проблема «двойных стандартов»). Это спровоцировало критику России западных практик в защиту ее провозглашенных принципов. Подобно тому, как Россия давно зарекомендовала себя как защитник «истинной Европы» против предполагаемой дегенеративной фактической версии, Россия сегодня претендует на то, чтобы быть главным выразителем подлинно европейских ценностей, что она утверждает, что Запад в целом проиграл. Естественно, это самонадеянное требование отвергается Западом. Но для России утверждение каких-то отличительных ценностей шире, чем возврат к обскурантистскому консерватизму и часть более широкого подтверждения культурного и цивилизационного плюрализма и многообразия. Задача в области ценностей также является вызовом для энергетической системы, созданной в конце «холодной войны».
• Разрыв между провозглашаемыми атлантическим порядком ценностями и их воплощением в реальности можно также назвать разрывом между принципами и практиками или проблемой «двойных стандартов». Именно эта проблема позволяет русским критиковать западные практики с позиции провозглашаемых Западом принципов. Долгое время Москва провозглашала себя защитницей «подлинной Европы» от ее вырожденной современной версии. Сейчас Россия объявляет себя главной носительницей истинных европейских ценностей, которые, как она утверждает, Запад, успел в целом утратить. Западу, естественно, эти самоуверенные заявления не нравятся. Однако для России продвижение ценностей определенного рода означает не только возвращение к обскурантистскому консерватизму или попытку утвердить культурный и цивилизационный плюрализм. Взывание к этим ценностям с ее точки зрения, — это также и вызов всей созданной в конце холодной войны политической системе.

В этот раз ляпов (выделены курсивом) заметно больше. Все более очевидно, что машинный переводчик умеет работать со сложноподчиненными предложениями, грамматически правильно их строит — но, увы, не понимает их смысла.

• The attempt to change not just the balance of power between the hegemonic ambitions of different world orders, but to change the nature of hegemony itself was not achieved. Instead, Russia was subjected to various forms of “soft containment”, which has hardened over time. The crisis over Ukraine in 2014 was a symptom and not the cause of the breakdown in European security.
• Попытка изменить не только баланс сил между гегемонистскими амбициями разных мировых порядков, но и изменить характер самой гегемонии не была достигнута. Вместо этого Россия подвергалась различным формам «мягкого сдерживания», которые со временем стали жестче. Кризис в отношении Украины в 2014 году был симптомом, а не причиной развала европейской безопасности.
• Попытка изменить не только баланс претензий разных миропорядков на гегемонию, но и природу самой гегемонии так и не состоялась. Вместо этого к России начали применяться разнообразные формы «мягкого сдерживания», ужесточавшиеся со временем. Украинский кризис 2014 года был лишь симптомом, а не причиной распада европейской системы безопасности.

И снова без нареканий.

• But the larger process of post-cold war adjustment and the emergence of an anti-hegemonic alignment of Russia, China and some other powers can hardly be called a new cold war. The original cold war was a regional confrontation with global implications, while the present seismic shift is a global process with regional implications. The anti-hegemonic powers now amplify Russia’s original demand at the end of the cold war in 1989: for a transformation of global politics based on a pan-continental peace order in Europe and a more pluralistic (and just) international system.
• Но более масштабный процесс корректировки после окончания «холодной войны» и возникновения антигегемонического расклада России, Китая и некоторых других стран вряд ли можно назвать новой холодной войной. Первоначальная «холодная война» была региональной конфронтацией с глобальными последствиями, в то время как нынешний сейсмический сдвиг представляет собой глобальный процесс с региональными последствиями. Антигегемонистские силы усиливают первоначальное требование России в конце «холодной войны» в 1989 году: для трансформации глобальной политики, основанной на пан-континентальном миропорядке в Европе и более плюралистической (и справедливой) международной системе.
• При этом процесс изменения сложившегося после холодной войны порядка и совместные выступления России, Китая и ряда других держав против гегемонии вряд ли можно назвать новой холодной войной. Холодная война была региональной конфронтацией с глобальными последствиями, в то время как нынешний сейсмический сдвиг — это глобальный процесс с региональными последствиями. Выступающие против гегемонии державы сейчас выдвигают, по сути, те же требования, которые выдвигала Россия в 1989 году. Они добиваются трансформации глобальной политики на основе панконтинентального мира и порядка в Европе и более плюралистической и справедливой международной системы.

Здесь мы видим почти безупречный перевод, который можно было бы даже принять за сделанный человеком — если бы не выделенное курсивом для, выдающее непонимание переводчиком смысла переводимого им текста.

Но в целом весь этот перевод лично на меня произвел впечатление — почти безупречное грамматическое построение сложноподчиненных предложений, достаточно точная передача смысла (хотя местами явно ощущается его непонимание переводчиком). Еще более сильное впечатление производит голосовое произношение английского текста — интонация в основном настолько естественная, что возникает ощущение как от живого человека.

Перевод двух других текстов, околотехнического и художественного, оставляет удручающее впечатление. Рискну предположить, что относительно высокое качество текста на тему политики связанно с возможным обучением нейросети на базе официальных документов ООН, ЮНЕСКО и других политических структур, на сайтах которых хранятся строго идентичные переводы тысяч документов.