脳がどの程度効率的に新しい事を学べるのかを調査中に、物理学者達は、学習効率は、最終的に、他の多くの馴染み深いプロセスの効率性を制限している同じ原則の、熱力学の法則によって制限されていることを、ニューロンレベルで明らかにしています。第2法則は、変化が可能な事を証明し、学習も、エネルギーを代償にした神経回路網のただの変化に過ぎません。今回の研究は、神経回路網の効率性の究極限界を理解するための最初の一歩になっています。
今回の研究結果は、最新号のPhysical Review Letters誌に掲載されています。
ニューロン発火
The thermodynamics of learning
Since all brain activity is tied to the firing of billions of neurons, at the neuronal level, the question of “how efficiently can we learn?” becomes the question of “how efficiently can a neuron adjust its output signal in response to the patterns of input signals it receives from other neurons?” As neurons get better at firing in response to certain patterns, the corresponding thoughts are reinforced in our brains, as implied by the adage “fire together, wire together.”
‘全ての脳活動は、数十億のニューロン発火と結び付いているので、ニューロンレベルで、どの程度まで効率的に人は学べるのか？という疑問は、1つのニューロンが、どれくらい効率的に他のニューロンから受け取る入力信号のパターンに応答して、出力信号を調節できるのか？という質問になっています。ニューロンが特定のパターンに応答して発火することが上達していくに連れ、それに対応している思考は、我々の脳内で補強されていき、格言でほのめかされているように、一緒に発火するニューロンは結合し合います(fire together, wire together.)。’
学習効率性はエントロピーが制限
新しい研究の中で、科学者達は、学習効率性は、ニューラル・ネットワークの総エントロピー生産によって制限されていることを明らかにしています。彼等は、ニューロンの学習速度が遅ければ遅いほど、それが産み出す熱とエントロピーも少なくなっていって、効率性が増す事を証明しています。この発見に鑑みて、科学者達は、エネルギー必要量と熱力学に基づく学習効率性の新しい測定法を紹介しています。今回の研究結果は非常に一般的なので、それらは、人工神経回路網で使われている学習アルゴリズムのように、フィードバックを利用しない、いかなる学習アルゴリズムにも適用することが可能です。
ニューラルネットワークに関して熱力学的な見方をすることは、我々に、それらの効率性について考えるための新しいツールを与え、また、我々に、それらのパフォーマンスを評価するための新しい方法を与えてくれています。そのレーティングに対して最適の人工神経回路網を見付け出すことは、エキサイティングな可能性であると共に、非常に困難でもあります。
フィードバック付き学習アルゴ
将来的に、研究者達は、実際にフィードバックを利用する学習アルゴリズムの効率性を分析する事と、さらに、実験的にその新しいモデルをテストするための可能性を調査予定です。
“On the one hand, we are currently researching what thermodynamics can teach us about other learning problems,” Goldt said. “At the same time, we are looking at ways to make our models and hence our results more general. It’s an exciting time to work on neural networks!”
‘一方においては、我々は、現在、熱力学が他の学習問題について我々に教えてくれる事を研究中で、同時に、自分達のモデルを作り出して、ひいては、その計算結果をより一般的にしてくれるための方法を考察中です。ニューラルネットワークを研究するにはエキサイティングな時代です！と、Goldt氏は語っています。’
熱力学的なニューラルネットワークの考えは非常に面白いと思います。効率的な学習方法は人工知能における、機械学習、深層学習でも重要なので、かなり期待できる研究と言えます。