大阪大学大学院工学研究科機械工学専攻の石原尚准教授、大須賀公一教授、愛知産業大学スマートデザイン学科の林里奈准教授らの研究グループは、顔の動きを仕草の波の重ね合わせとして合成し、アンドロイドに「興奮している」「眠たい」といった気分の状態をダイナミックに表現させる技術を開発し、実際のアンドロイドに気分の変容を表現させられることを実証しました。気分を表現する顔の動きを波の変調と合成によって生成的に得る仕組みが実現可能であることを示した世界初の成果です。

これまで、アンドロイドのように、顔の多くの部分を動かせるロボットに長時間の表情表出をさせる際には、不自然な印象となる顔の動きが含まれないようにあらかじめ整えた動作シナリオを複数用意しておき、再生するシナリオを随時切り替える「継ぎはぎ方式」が採用されていました。この方式には、複雑な動作シナリオの事前準備が大変であること、動きの継ぎ目で不自然な動きが顕著に生じる恐れがあること、また、印象を細やかに操るために動きを微調整することが難しいこと、など実用上の問題がありました。

今回、石原准教授らの研究グループは、「呼吸」「瞬き」「あくび」などの、顔の動きを構成する各種仕草の現れ方を個別の波として表し、これらの波を関係する顔部位へと伝搬させつつ重ね合わせて複雑な顔の動きを随時生成する「波形重畳」による動的表情合成技術を開発しました（図１）。この方式では、複雑多様な動作データの事前準備も不要で、動きの継ぎ目も目立ちません。さらに、ロボット内部の状態に応じて個別の波の形を随時調整する「波形変調」の導入により、気分のような内部状態の変容を顔の動き方の変化として即座に表すことが可能になりました。この動的表情合成の研究を今後さらに進めることで、複雑多様に顔を動かせるロボットに生き生きとした表情を持たせたり、人を含めた周囲の状況に応じた気分の変容を表現させたりすることが可能となり、人とロボットの間での、とくに心情面でのコミュニケーションがより豊かになることが期待できます。

本研究成果は、ロボティクス・メカトロニクスに関する英文論文誌「Journal of Robotics and Mechatronics」に、１２月２０日（金）（日本時間）に公開されました。

図1. 動的表情合成の仕組みの概略図

従来のロボットの表情生成の研究は、笑顔や泣き顔などの特定の静的姿勢（ポーズ）をロボットの顔にとらせることによって、幸福や悲しみといった基本的・典型的な感情の状態を表現させようとする取り組みがほとんどであり、一定期間の動きの調子の背後に透けて見える気分（ムード）の動的表現に踏み込めていないという状況にありました。笑顔や泣き顔といった顔姿勢は、速く、大きく現れると活発な気分の中で出された印象になり、ゆっくりと控えめに現れると落ち着いた気分の中で出された印象に映ります。つまり、ある瞬間の姿勢の空間的な特徴だけでなく、その姿勢がどのように現れて消えていくのかという時間的な特徴もまた心情面の表現手段となりえる一方で、このような気分の動的表現を実現する仕組みについては十分な研究がなされていませんでした。

また、アンドロイドロボットのように、多数の部分を動かして人のような表情を作り出す顔ロボットにおいては、闇雲に動かすと不気味さを感じさせる姿勢が出現してしまう問題が知られています。この問題を避けるためには、どのように姿勢を変化させるかを定めた動作シナリオを慎重に作成してロボット上で試し、不気味な印象になる姿勢があれば修正するという事前準備が一般的には必要となります。ただし、このシナリオの作成には大きな労力がかかるため、シナリオバリエーションを増やすことが困難で、表現が画一的になるという問題がありました。さらに、事前に動作シナリオを用意しておく方法では、再生するシナリオの継ぎ目で意図しない動きが生じ、切り替わりが目立って不自然になるという問題や、慎重に準備した動作シナリオに不用意な変更を加えると不気味に表情が含まれてしまう恐れがあるため、再生中に生じた出来事に応じて表現する気分を微調整するのが難しいという問題がありました。

上記の問題に対し、石原准教授らの研究グループでは、表現の表層である顔の動きを人が作りこむのではなく、気分に基づいて顔の動きを自動的に調整・合成する深層の構造を人が設計してロボットに与えることによる解決に挑みました。このグループが提案する構造は、顔のどの部位のどのような連動で「呼吸」「瞬き」「あくび」などの仕草を実現するかを定める空間特徴ルールと、それらの仕草の生起から消失までの現れ方が気分に応じてどう変わるかを定める時間特徴ルールを備えるものとして設計されています。前者の空間特徴ルールは、ある仕草の出現度と、顔の個別運動の強度を結び付けるネットワークの重みとして実装されます（図１の緑部分）。たとえば、「あくび」という仕草の出現度を、「口を開ける」「上瞼を下げる」「下瞼を上げる」という個別運動の強度と大きな重みで結びつけることで、あくびの出現度が徐々に高まっていくと、それに伴って徐々に口が開き、上瞼が下がり、下瞼が上がるという連動が引き起こされ、あくびが徐々に出る様子が顔に現れます。後者の時間特徴ルールは、この仕草の出現度を波として表し、波の振幅や周期といった波形特徴量と、気分の状態値を結び付けるネットワークの重みとして実装されます（図１の赤部分）。研究グループは、仕草の出現度を決定する時間関数として減衰波を採用すれば、気分の状態の違いを効果的に表現できると考えました。たとえば、「瞬き」の場合、早く減衰する短周期の波とすれば興奮したときの瞬時・単発的なパルス状の瞬きを、遅い減衰の長周期の波とすれば眠たいときのゆらゆらとした瞬きを表現できることが期待されます。

研究グループでは、石原准教授を中心として別途開発を進めてきた子供型アンドロイド「Affetto（アフェット）」にこの表現の深層の生成構造を搭載し、落ち着いた気分状態から、異なる気分状態（興奮状態あるいは睡眠状態）への気分の移り変わりを表現する顔の動きが自動生成されるようにしました。睡眠状態へと移り変わる場合、呼吸が次第に浅くゆっくりしたものになり、瞬きの頻度も低下し、瞼も重くなり、口をむにゃむにゃさせたり、首を不安定に揺らしながらあくびを出したりする様になります（図２）。このアンドロイドの様子を実験参加者に見せ、どの程度人らしい表情に見えるかと、どのような気分に映るかを尋ねる実験を実施しました。その結果、前述の２種の重み付きネットワークを適切に設定することで、人らしさについては大きな違和感を与えることなく、異なる気分の状態の印象を伝え分けられることを確認しました。

このことは、気分を表現する顔の動きを、減衰波の変調と合成によって生成的に得る仕組みが実現可能であることを示した世界発の成果です。研究グループでは、今後、人らしい印象を向上させる研究や、気分状態の違いをより細やかに伝え分けるための研究をさらに進める予定です。

図2. Affettoが徐々に眠くなる様子（時間経過は左上、右上、左下、右下の順）

本研究成果により、顔を有するコミュニケーションロボットが、常に顔を生き生きと動かしながら、その動きの中で気分の状態を人に伝える機能を持てるようになります。同じ発言をする際にも、興奮した様子で伝えるのか、それとも落ち着いた様子で伝えるのかで、伝わり方も、説得力も変わります。落ち着いた雰囲気の中で、人と同じように徐々にまどろんで眠りにおちていったり、あるいは刺激的な出来事で一緒に興奮したりといった振る舞いもさせることで、親密度も高まることが見込まれます。このように、適応的に気分を調整して表現する機能の実現により、人らしいやり方で人と情報を交わす中で人に利益をもたらすというコミュニケーションロボットの基本的な価値が高まることが期待されます。

本研究成果は、202４年１２月２０日（金）（日本時間）にロボティクス・メカトロニクスに関する英文論文誌「Journal of Robotics and Mechatronics」に掲載されました。

タイトル：“Automatic generation of dynamic arousal expression based on decaying wave synthesis for robot faces”
著者名：Hisashi Ishihara, Rina Hayashi, Francois Lavieille, Kaito Okamoto, Takahiro Okuyama, and Koichi Osuka
ＤＯＩ：https://doi.org/10.20965/jrm.2024.p1481

なお、本研究は、JSPS科研費特別推進研究「アジアと欧米：コミュニケーションの文化差から言語の獲得過程を探る」および基盤研究（B）「顔皮膚運動の変形解析と時空間分離解析に基づく次世代型高表現アンドロイド設計」の一環として行われました。

石原尚 准教授　研究者総覧
https://rd.iai.osaka-u.ac.jp/ja/0e5c572ff1b4c24a.html

研究成果解説動画
https://youtu.be/QAvtAzdu_WQ