ベルギーにあるブリュッセル自由大学の研究者達が、どんなタスクでもそつなくこなすための自己学習能力を持つ、ニューロ型アナログコンピュータを開発したことが、自己学習システムに関する研究論文として、最新号のPhysical Review Letters誌に掲載されました。
実験検証が、リザーバコンピューティングとして知られている、AIアルゴリズムに基づいているその新システムが、そのアルゴを使用しないシステムより複雑な処理を上手くこなすだけではなく、従来型リザーバコンピューティングでは不可能と見られていた処理をも、同様にこなすことができることを示しています。
研究成果は、複雑な処理に対する自己学習機械の潜在的な強みを強調し、高いエネルギー効率と超高速の可能性を秘めた自己学習マシンが、予想されているムーアの法則の終焉の延長をもたらし得る可能性も支持しています。
ムーアの法則の終焉
Self-learning computer tackles problems beyond the reach of previous systems
“On the one hand, over the past decade there has been remarkable progress in artificial intelligence, such as spectacular advances in image recognition, and a computer beating the human Go world champion for the first time, and this progress is largely based on the use of error backpropagation,” Antonik told Phys.org. “On the other hand, there is growing interest, both in academia and industry (for example, by IBM and Hewlett Packard) in analog, brain-inspired computing as a possible route to circumvent the end of Moore’s law.
「”一方では過去10年の間、画像認識の目を見張る進歩や、コンピュータが初めて人間の囲碁世界チャンピオンを破ったような人工知能分野の驚くべき進歩が存在し、この進歩は、主に誤差逆伝搬の利用に基いています”が”他方では、ムーアの法則終焉を回避するための可能な道として、学界と産業界(例えば、IBMやヒューレットパッカード)双方のアナログ脳型計算への関心が高まっています。”」
脳型コンピューターを使った脳型コンピューティングに昨今関心が集まっていて、その基礎構成要素としての人工ニューロン、人口シナプスの開発も猛烈な勢いで進んでいます。人間の脳内には、数千兆~1京と言われるシナプスが存在しているらしいので、1京個の人工シナプスを用意できるのかという疑問も残ります。
人間の脳には約1000~2000億個のニューロンが存在すると言われています。さらに1個の神経細胞が何と数万~10万個のシナプスを有していると言われているので、2000億×5万で1京個のシナプスという計算になります。実際にどの程度が使われているのかは謎ですが、ノーベル賞級の脳と、私のサル並みの脳では、同じ人間でも脳の利用度が相当違ってくるのではないでしょうか。ノーベル脳は猿脳の10万倍は脳を使っているような気がするので、猿脳の場合は、ほとんど宝の持ち腐れ状態と言えるかもしれません。
誤差逆伝播アルゴリズム
“Our work shows that the backpropagation algorithm can, under certain conditions, be implemented using the same hardware used for the analog computing, which could enhance the performance of these hardware systems.”
「我々の研究が、誤差逆伝播アルゴリズムが、一定の条件下で、これらのハードウェアシステムの性能を高める可能性があるアナログ計算用に使われている同じハードウェアを用いて実装できる事を証明しています。」
誤差逆伝搬アルゴリズムは調べましたが、ちょっと調べてどうにかなるもんではありません。少し時間をかけて調べる必要があります。
Developed over the past decade, reservoir computing is a neural algorithm that is inspired by the brain’s ability to process information. Early studies have shown that reservoir computing can solve complex computing tasks, such as speech and image recognition, and do so more efficiently than conventional algorithms. More recently, research has demonstrated that certain experimental implementations, in particular optical implementations, of ”reservoir computing” can perform as well as digital ones.
「過去10年の間に開発された、リザーバー計算は、情報を処理する脳の能力にヒントを得ているニューラルアルゴリズムです。初期の研究は、リザーバ計算が、音声認識や画像認識などの複雑な演算タスクをこなし、従来型のアルゴリズムより効率的にそうすることが可能であることを示唆しています。最近になって、研究が、リザーバーコンピューティングの特定の実験実装、特に光学的実装が、デジタル実装並に実行可能であることを実証しました。」
reservoir computingは直訳すれば蓄積計算、蓄積演算、貯蔵計算、貯蔵演算、無理に直訳しないで、リザーバコンピューティング、リザーバ計算くらいで訳しておくのが無難みたいな感じです。リザーバー計算でもOKです。
逆伝搬アルゴリズム
In more recent years, scientists have shown that the performance of reservoir computing can be improved by combining it with another algorithm called backpropagation. The backpropagation algorithm is at the heart of the recent advances in artificial intelligence, such as the milestone earlier this year of a computer beating the human world champion at the game of Go.
「さらに近年になって、科学者は、リザーバコンピューティングの性能が、逆伝播アルゴリズムと呼ばれている、別のアルゴリズムと組み合わせることで向上することを証明しています。そのバックプロパゲーションアルゴリズムは、例えば、年初のコンピュータが碁の対局で人間の世界チャンプを打ち破った画期的な出来事など、最近の人工知能における進歩の心臓部にもなっています。」
逆伝搬アルゴとかイミフなので調べてもイミフでした。
The basic idea of backpropagation is that the system performs thousands of iterative calculations that reduce the error a little bit each time, bringing the computed value closer and closer to the optimal value. In the end, the repeated computations teach the system an improved way of computing a solution to a problem.
「逆伝搬の基本的な考えは、システムが、毎回エラーを少しずつ減らしていく、何千もの繰り返し演算を実行し、計算中の値を限りなく最適値に近づけます。最終的に繰り返し演算は、システムに問題の答え算出のための改善方法を学ばせます。」
アルファGoなんかも自分で碁の対戦をさせて、上達させています。
In 2015, researchers performed the first proof-of-concept experiment in which the backpropagation algorithm in conjunction with the reservoir computing paradigm was tested on a simple task.
「2015年、研究者は、リザーバコンピューティングパラダイムと連動した逆伝搬アルゴリズムが単純作業による試験を受けた、最初の概念実証実験を実施しました。」
In the new paper, the researchers have demonstrated that the algorithm can perform three much more complicated tasks, outperforming reservoir computing systems that do not use backpropagation. The present system is based on a photonic setup (specifically, a delay-coupled electro-optical system) in which the information is coded as the intensity of light pulses propagating in an optical fiber. The key to the demonstration is to physically implement both the reservoir computer and the backpropagation algorithm on the same photonic setup.
「新しい研究論文で、研究者は、そのアルゴリズムが、もっとずっと複雑な3つのタスクが実行可能で、逆伝播を使わないリザーバ計算システムの性能を遥かに上回ることを実証しています。現在のシステムは、情報が、光ファイバー中を伝播している光パルスの強度として符号化されている、光学的設定(特に遅延結合電子光学システム)を基礎にしています。その実証へのカギは、リザーバコンピューターと逆伝播アルゴリズムを同じ光学的設定によって物理的に実装することにあります。」
神経形態システム
The three tasks performed were a speech recognition task (TIMIT), an academic task often used to test reservoir computers (NARMA10), and a complex nonlinear task (VARDEL5) that is considered beyond the reach of traditional reservoir computing. The fact that the new system can tackle this third task suggests that the new approach to self-training has potential for expanding the computing territory of neuromorphic systems.
「実行された3つのタスクは、言語認識タスクと、リザーバーコンピューターをテストするのによく使われる学術的タスクと、従来型リザーバ計算では実行不可能と考えられている複雑な非線形タスクでした。新システムがこの3つ目のタスクに対処できるという事実が、自己訓練(独習)への新しいアプローチが、神経形態システムの計算領域を拡大するための可能性を持っていることを示唆しています。」
TIMITはTexas Instruments (TI) and Massachusetts Institute of Technology (MIT)の合成語で、コーパスらしく、ネイティブの発音データベースらしいです。NARMA10はリザーバー計算で最もよく使われているタスクの一つなようです。非線形タスクは相当厄介なタスクみたいで、従来型RCではムリポ状態です。
“We are trying to broaden as much as possible the range of problems to which experimental reservoir computing can be applied,” Antonik said. “We are, for instance, writing up a manuscript in which we show that it can be used to generate periodic patterns and emulate chaotic systems.”
「”我々は実験的なリザーバー計算に適応可能な問題の範囲をできる限り広げるよう努めています。”とAntonikは語った。”我々は、例えば、周期パターン生成とカオス系エミュレートに利用可能であることを証明する手書き原稿を書き上げています。”」
自己学習アルゴなので、勝手にどんどんやれることが増えていくのかもしれませんが、最終的には自分で考えて何かを実行出来るようになるみたいです。
マシン性能が追い付かない
While the demonstration shows that the new approach is robust against various experimental imperfections, the current set-up is limited by the speed of some of the data processing and data transfer, which the researchers expect can be improved in future work.
「そのデモが、新しいアプローチが、さまざまな実験的欠陥に対して堅牢であることを明らかにし、現在の設定が、一部のデータ処理とデータ転送の速度によって制限されていて、研究者はそれが将来の研究において改善可能な事を予想しています。」
初代ガンダムでいうところの、アムロのニュータイプ覚醒に、マシンの性能がが付いていけないみたいな感じです。ガンダムNT-1(アレックス)がアムロに届けられていたら、シャアは一瞬で撃破されていたと言われています。全てはバーニーの活躍のおかげです。
“We aim to increase the speed of our experiments,” Antonik said. “The present experiment was implemented using a rather slow system, in which the neurons (internal variables) were processed one after the other. We are currently testing photonic systems in which the internal variables are all processed simultaneously—we call this a parallel architecture. This can provide several orders of magnitude of speed-up. Further in the future, we may revisit physical error backpropagation, but in these faster, parallel, systems.”
「”今は実験速度の向上を目指しています”とAntonikは言った。”現在の実験は、ニューロン(内部変数)が交互に処理されている、かなり遅いシステムを使って実施されています。我々は現在は、内部変数が全て同時に処理される、光システムをテストしています。我々はこの新システムを並列アーキテクチャと呼んでいます。この事が、数桁違いのスピードアップを提供することができます。さらに将来的に、私達は、これらの高速で並列なシステムにおいても、物理的誤差逆伝搬を再訪するかもしれません。”」
光コンピュータを使ったリザーバ計算は相当早そうですが、実現できれば、自己学習が飛躍的に向上して、脳型コンピュータ実現への大きな一歩になるかもしれません。人工知能がニュータイプのように覚醒することがあるとしたら、人類にとってはかなり厄介な問題になるのではないでしょうか。と訳の分からない事を言っておきます。