大阪大学Center of Innovation（COI）拠点は、JST（国立研究開発法人科学技術振興機構）のセンター・オブ・イノベーション（COI）プログラムによる支援のもと、脳マネジメントにより潜在力を発揮するスーパー日本人の実現を目指し、医脳理工・産学連携のプロジェクトを進めています。

このたび、沼尾正行（大阪大学産業科学研究所教授）、大谷紀子（東京都市大学メディア情報学部教授）、クリムゾンテクノロジー（株）、ベルギーの研究機関imecの連携チームは、“楽曲に対する脳の反応に基づいて自動作曲を行う人工知能の開発”に成功しました。

今後の脳マネジメントシステムは、個人の脳波の状態を検知し、それに基づいて脳の活性化手段を提供し活性化につなげると考えられており、活性化手段は音楽を提供することが有望です。しかし、現在の音楽提供システムは、過去に聴いた曲の類似曲を推薦するか、曲の特徴を細かく指定する必要のある自動作曲システムしか存在せず、手軽に音楽で脳の活性化に結びつけることが困難でした。

しかし今回、ヘッドホンと一体化した脳波センサを開発したことで曲に対する脳波データの収集が容易になり、収集した曲への反応と脳波の関係を機械学習し、ユーザのメンタル状態を活性化させるオリジナルの音楽を容易に生成することが可能になりました。作曲結果は、その場で直ちに、Musical Instrument Digital Interface (MIDI) 技術によりアレンジされ、シンセサイザを用いて豊かな音色で再生されます。

以上の技術により将来的に、個人だけではなく聴衆の反応測定が可能になり、聴衆の脳波反応に基づいた作曲の実現も期待されます。また、将来の社会実装の1つの姿として、家庭で個人の状態を脳波で測定し、個人の状態に合った音楽刺激を用いて、個人の潜在力を常に発揮できるシステムの実現が期待されます。

また1月18日（水）～20日（金）に東京ビッグサイトにて開催される第3回ウェアラブルEXPO（西ホールW20-45）にて実機が展示されます。

図1　ヘッドホン付き脳波センサ

図2　音楽による活性化手法の概要

大阪大学COI拠点では、産学連携アンダーワンルーフのもと、医学・脳科学・理学・工学が連携（医脳理工連携）して、脳機能の解明を行い人間の状態（感情やストレスの状態）との因果関係を解明する研究を行っています。これらの情報を基に、人間の各状態に応じた活性化の手法を開発し、社会に提供する脳マネジメントシステムの研究開発を進めています。

今後、社会に提供される脳マネジメントシステムは状態を検知し、活性化手段を提供し、活性化状態を評価し、さらなる活性化につなげるというサイクルを繰り返しますが、活性化手段として音楽を用いることが有望です。ところが、従来の音楽推薦システムは、過去に聴いた曲の類似曲を推薦するものでした。また、従来の自動作曲システムは、曲の特徴を細かく指定する必要があり、どちらも脳の活性化に結びつけることが困難でした。

そこで、ユーザの求める反応を引き出し、希望する状態に導くため、脳波などのセンサデータに基づいて、音楽コンテンツを生成する必要がありました。

本プロジェクトで開発した人工知能により、オーダーメードの作曲が可能になり、音楽療法などの音楽を利用した活性化の手法が利用しやすくなります。また、音楽療法の現場で脳の状態を測定しながら、作曲を変化させることで、音楽刺激の効果の分析が容易になります。さらに、本人工知能の技術をゲームなどのエンターテインメントやスポーツジムなどのヘルスケアに応用することで、より高度な柔軟性を持った音楽システムとして活用することも考えられます。

なお、COIプログラムは社会実装をひとつの目的としており、脳マネジメントの方法の1つとして、将来的には家庭で脳波を測定し、その結果をもとに測定した個人の状態を判断し、個人の状態に合った音楽刺激を用いて、個人の潜在力を常に発揮できるシステムの実現が期待されています。

大阪大学COI拠点は、国立研究開発法人科学技術振興機構（JST）センター・オブ・イノベーション（COI）プログラムによる支援により、金沢大学、パナソニック（株）など17機関、27企業と共同で研究を進めています。