深層学習の新しい半教師あり学習アルゴリズム

その買うを、もっとハッピーに。|ハピタス

ライス大学とベイラー医科大学の神経科学と人工知能の専門家が、人間の脳からヒントを得て、コンピューターが、人間の赤ちゃんがやるのと同じやり方で、視覚世界についてほとんど自身で学習するのを可能にする、新しい深層学習方法を考案しました。

今月、スペインのバルセロナで開催された、Neural Information Processing Systems (神経情報処理システム:NIPS)会議でプレゼンされたテスト結果では、連邦職員や高校生等によって書かれた、手書きの1万の数字の見分け方を、ほとんどコンピュータ自身が学習している、深層学習混合モデルが使われています。今回のテストで、研究者は、コンピュータに事前に、それぞれの手書き数字の0~9までの10数字の正しい例しか教えておらず、後はコンピュータが勝手に自分で数千の例を学習するアルゴリズムが使われていて、過去のどの一つ一つ数千に及ぶ正しい例を教え込むアルゴリズムよりも、正確に手書き数字を認識する事ができたみたいです。

スポンサーリンク

半教師付き学習

Rice, Baylor team sets new mark for ‘deep learning’

“In deep-learning parlance, our system uses a method known as semisupervised learning,”

「深層学習専門用語で言うところの、我々の今回のテストで使ったシステムでは、半教師付き学習として知られている手法を用いています。」

semi-supervised learningは、半教師付き学習、または、半教師あり学習と訳すみたいです。最初冗談かと思ったのですが、本当にそう訳されているようなのでビビりました。半自動学習やスーパーバイズド学習と訳しているサイトもあります。

“The most successful efforts in this area have used a different technique called supervised learning, where the machine is trained with thousands of examples: This is a one. This is a two.

「この分野で最も上手くいっている試みでは、機械が数千の例を、これは1です、これは2ですと訓練されている、教師あり学習と呼ばれている別の手法を用いています。」

人間の子供もそうやって物を覚えていくような気もしますが、ここでは、人間はそうやって物を覚えていないと言ってます。個人的な経験だと、親や親族、周囲の人間、幼稚園、保育園なんかで、あらゆる事を教え込まれましたし、自分で好き好んで学習するという事はなかったような気がします。そもそも、人間は人間らしくなる教育を受けないと人間のようには振る舞えないと言われているので、そこのところがしっくりきません。

“When babies learn to see during their first year, they get very little input about what things are. Parents may label a few things: ‘Bottle. Chair. Momma.’ But the baby can’t even understand spoken words at that point. It’s learning mostly unsupervised via some interaction with the world.”

「赤ん坊が最初の年の間に見て学ぶ時、彼等は、物事が何であるかほとんどインプットされません。親は、いくつかは、これはボトル、椅子、マンマのように、ラベル付けするかもしれませんが、赤ちゃんは、その段階ではまだ言葉さえ理解できていません。大部分は周囲の世界とのある程度のやりとりを通して勝手に学習していきます。」

赤ん坊の時の記憶がないので何とも言えませんが、例えば、トイレなんかは、ちゃんと教え込まないと垂れ流し状態になるので、やっぱり勝手に覚えていくようなことはないと思うんですけどね。箸のちゃんとした持ち方を教えられなかった私は、未だにはしをきちんと持つことができないので、やはり勝手に学習することはないような気がします。ただ、学習する習慣を身に付けるように、厳しく教育されさえすれば、後は勝手に学習していくという性質は人間にはあるので、要は、全ての人間の脳が勝手に学習するように生まれつきできているというよりは、学習するように徹底的に訓練されると言った方が、個人的にしっくりきます。本能的に教えられなくても身に付いている動物的な特性もありますが、人間が人間らしく振る舞うようになるには、人間らしくなる厳しい躾と教育が必要です。

Mixed National Institute of Standards and Technology (MNIST)データベースの1万の手書き数字のテストをする前に、従来の深層学習における教師付き学習法だと、数百から数千もの手書き数字の例を教え込まれていたようですが、半教師あり学習の場合は、ほんの数十の正しい手書き例を示すだけで、手書き数字が認識できてしまうみたいです。

The semisupervised Rice-Baylor algorithm is a “convolutional neural network,” a piece of software made up of layers of artificial neurons whose design was inspired by biological neurons. These artificial neurons, or processing units, are organized in layers, and the first layer scans an image and does simple tasks like searching for edges and color changes. The second layer examines the output from the first layer and searches for more complex patterns. Mathematically, this nested method of looking for patterns within patterns within patterns is referred to as a nonlinear process.

「今回のセミスーパーバイズド・ライス・ベイラー・アルゴリズムは、畳み込みニューラルネットワークと呼ばれているもので、ソフトウェアの一部が、生物学的なニューロンにヒントを得てデザインされている、人工ニューロンの積層で構成されています。これらの人工ニューロン、もしくは、プロセッシングユニット(処理装置)が、層状に編成され、最初の層は、イメージをスキャンして、エッジや色の変化を探し出すような簡単なタスクを行っています。2番目のレイヤーは、最初のレイヤーからの情報出力を精査し、より複雑なパターンを捜します。数学的に、この、パターンの中のパターンの中のパターンを探し出すネスト化手法は、非線形プロセスと呼ばれています。」

これは簡単な視覚野みたいなものらしいです。ネスト毎にどんどんイメージを理解していき、最後の層で奥深い抽象的なイメージ認識が可能になるとの事で、それ故に、この畳み込みニューラルネットワークが、自動運転車のビジョンに用いられているみたいです。

映画やテレビを見た時、フレーム毎の全ての物の名前や、キャラの動き、シーンを理解して、ストーリーラインを認識・推理していくような、3次元空間における複雑な物事の動きを追っていく作業は、コンピューターに教え込むのは並大抵の作業ではなく、人間はこれを自然に学習しているので、そういった意味では、人間の脳は確かにすごいです。私も物心が付いた4~5歳ぐらいの時に初めて見たGメン’75の詳細な内容をしっかりと覚えていますし、その時、怖くて一人でトイレに行けなくなったことまで覚えています。

今回の研究で使われたアルゴリズムは、実際の脳で行われている視覚処理よりは、はるかに劣っていますが、それでも今後の叩き台としては、今までよりはるかに優れたアルゴリズムみたいなので、今後のさらなる改良が期待できるのではないでしょうか。

スポンサーリンク
スポンサーリンク