Googleと言えば人工知能研究に最も力を入れている企業の1つです。
特に近年発展しているニューラルネットの研究に関しては非常に力を入れています。特にDeepmindは機械学習の著名なカンファレンスであるNIPSに毎年論文を採択されており、応用分野だけでなく研究分野でも力を発揮していることが伺えます。
今回はそんなGoogleが、翻訳のソフトにニューラルネットを導入したことで精度が大きく向上したという報告がなされています。そのことを他の翻訳ソフトと比較して検証してみたいと思います。
翻訳ソフトの機械学習
翻訳など、我々の使う言語を機械に認識させる技術は「自然言語処理」と呼ばれる分野で研究がされてきました。従来は言語モデルを構築し、文法などのルールを用いて自然言語を構築することがメインでしたが、近年の機械学習の発達により、大量の文書から使われるワードの組み合わせなどを学習させ、上手く予測を行えるようになってきました。
特にword2vecと呼ばれるワードをベクトル化する手法は大きな発展を及ぼしています。これは関連の深い言葉をベクトルとして近い値に設定する技術ですが、このワードのベクトル化も機械学習によって行われます。
自然言語処理では、通常日本語は日本語、英語は英語で研究が進んでおり、基本的に言語依存で機械学習のチューニングは行われています。各言語それぞれにword2vecが適応され、言語ごとにベクトル化されたワードたちがあるというような状態です。
今回適応されたニューラルネットでは、ある言語のベクトル間の関係をなるべく保持しながら、文章（系列データ）を別の言語のベクトルの系列に書き換え、そしてそのベクトルデータを文章にします。
すなわち、
英語 ⇛ （英語の）ベクトル ⇛ ニューラルネット ⇛ （日本の）ベクトル ⇛日本語
というような形で翻訳を成立させています。つまり自然言語処理で研究されているそれぞれの言語の成果を上手く生かすようなニューラルネットを開発したということでしょう。
論文翻訳実験
「natural neural networks」という2015年NIPSの採択論文のabstractを翻訳してみます。
元英語
We introduce Natural Neural Networks, a novel family of algorithms that speed up convergence by adapting their internal representation during training to improve conditioning of the Fisher matrix. In particular, we show a specific example that employs a simple and efficient reparametrization of the neural network weights by implicitly whitening the representation obtained at each layer, while preserving the feed-forward computation of the network. Such networks can be trained efficiently via the proposed Projected Natural Gradient Descent algorithm (PRONG), which amortizes the cost of these reparametrizations over many parameter updates and is closely related to the Mirror Descent online learning algorithm. We highlight the benefits of our method on both unsupervised and supervised learning tasks, and showcase its scalability by training on the large-scale ImageNet Challenge dataset.
専門用語が頻出する論文では、文法や表現自体は単純だとしても、単語自体を正しく認識できないことが問題となってきます。太字は今回着目していただきたい専門用語です。
google翻訳された日本語
フィッシャーマトリックスのコンディショニングを改善するために、訓練中の内部表現を適応させることによって収束をスピードアップする新しいアルゴリズムファミリーのNatural Neural Networksを紹介します。 特に、ネットワークのフィードフォワード計算を維持しながら、各層で得られた表現を暗黙的に白色化することによって、ニューラルネットワーク重みの単純で効率的な再パラメータ化を使用する特定の例を示す。 そのようなネットワークは、提案された予測自然勾配降下アルゴリズム（PRONG）を介して効率的に訓練することができ、多くのパラメータ更新にわたってこれらの再パラメータ化のコストを償却し、ミラー降下オンライン学習アルゴリズムに密接に関連する。 監督されていない学習タスクと監督された学習タスクの両方でこの方法の利点を強調し、大規模なImageNetチャレンジデータセットでトレーニングすることでスケーラビリティを示します。
「whitening」が「白色化」と翻訳されています。白色化とは、ベクトルデータの平均を0、分散を1とし、更に各成分を無相関化する変換処理のことです。
実はgoogle翻訳に単に「whitening」と入力すると「美白」という表現になります。文章全体から、白色化が良いだろうと判断がなされているのでしょうか。これは素晴らしいです。
「Projected Natural Gradient Descent」が「予測自然勾配降下」と翻訳されています。これは完全に機械学習でしか出てこない言葉になっていますが、上手く対応できているようです。
「Mirror Descent online learning」は「ミラー降下オンライン学習」となっており、まあまあでしょう。元々対応づく日本語が無いためこんな感じで大丈夫でしょう。
以外だったのが「unsupervised and supervised learning tasks」です。「 監督されていない学習タスクと監督された学習タスク」と訳されています。これはご存知の通り「教師あり学習と教師なし学習のタスク」です。
本来、「supervised learning」だけを入力すれば「教師あり学習」と翻訳してくれるはずなのですが。ただ、日本語への対応は失敗しているものの、「教師あり」を「監督された」と表現しているにすぎなく、文章は正しいです。
weblio翻訳された日本語
我々は、Natural Neural Networks（フィッシャー・マトリックスの条件付けを改善するための訓練を受けることの間、彼らの内部の代表を適応させることによって、収束の速度を上げるアルゴリズムの新しいファミリー）を導入します。
特に、我々は各々の層で得られる表現を暗黙のうちに白くすることによって、ニューラル・ネットワーク重量の単純で効率的な再パラメーター表示を使用する特定の例を示します、その一方で、ネットワークのフィードフォワード計算を維持します。
そのようなネットワークは提案されたProjected Natural Gradient Descentアルゴリズム（PRONG）によって効率的に訓練されることができます。そして、それは多くのパラメータ最新版の上にこれらの再パラメーター表示のコストを償還して、Mirror Descentオンライン学習アルゴリズムに密接に関連があります。
我々は管理されなくて監督された学習作業に関して方法の利点をハイライトして、大規模なImageNet Challengeデータセットで、トレーニングによってそのスケーラビリティを公開します。
各専門用語は全て直訳する（あるいは英語のまま）ということになっています。おそらく人間も文章で理解できない単語があればそうするでしょうし、専門的な内容に関しては疎い状態であると言えます。
注目すべきは「unsupervised and supervised learning tasks」が「管理されなくて監督された学習作業」となっていることです。
専門用語の翻訳は置いといて、単純に文章の構成を間違えています。「and」は「unsupervised learningとsupervised learningの2つのtasks」と言いたいのですが、「tasks」とこの翻訳では「unsupervisedかつsupervisedなtasks」と言うことになっています。つまり「教師なしかつ教師ありの学習のタスクを複数個」と解釈しており、完全に間違いです。
感想
文章の見た目上、思ったほど大きな差異はありませんでした。どこの翻訳ソフトも昔に比べればかなり向上していることが伺えます。
しかし細かく見てみると、文章の意味を完全に間違えてしまいかねないミスなどがweblioにあったのに対して、Googleには（専門用語の翻訳はさておいて）文章として強烈におかしい部分はなかったように思います。
事前知識があれば、少しくらい文章が間違っていても自分で修正できますが、最新の論文を翻訳してほしいともなれば、そもそも内容が理解できていないために翻訳の間違いに気づかない可能性があります。その点を考えると、Google翻訳のアドバンテージはかなり大きいのではないかなと思いました。
みなさんも色々な翻訳サイトを試してみては如何でしょうか。
