大阪大学大学院工学研究科機械工学専攻の三須龍さん（当時大学院生）、石原尚講師、中谷彰宏教授らの研究グループは、口角をあげる、まぶたを閉じる、などの44種の人の顔運動における皮膚の面積ひずみの状態を高い解像度で可視化し、人の顔皮膚の複雑な変形の様子（図１）を詳しくとらえる手法を開発しました。

人の顔皮膚および皮下組織の構造の複雑さから、皮膚の変形は複雑であることが予想される一方で、皮膚の各部分が様々な方向に動くことで生じる局所的な皮膚の引っぱりや圧縮といったひずみの様子がどうなっているかについては、これまでほとんど調べられてきませんでした。

今回、研究グループは、先行研究で得られた高精度のデータ（44種の顔の運動ごとに100点以上の顔皮膚空間位置の変化を計測したもの）に対してなめらかな曲面補間をかけたうえで、連続体モデルを用いた変形理論によるひずみ解析を実施しました。その結果、複雑ながら合理的なひずみの分布が明瞭に可視化されることを確認しました。

ひずみ分布には、表情筋が皮膚をけん引する位置や、皮下の動きをなめらかにしたり、あるいは妨げたりする皮下組織の配置が反映されると見込まれるため、ひずみの可視化によって、肉眼ではとらえにくい皮下構造の様子を透かし見た結果が得られている可能性があります。

今後、顔のひずみの分布の個人差や、個人の特性との関連を明らかにすることで、表情認識や個人識別の精度向上、あるいは従来人間の勘に頼っていた顔面運動の異常の自動診断などへの展開が期待されます。また、人の顔の複雑な皮下構造によって、一見単純に思える顔の筋運動から複雑なひずみが生じる力学的メカニズムをさらに調べることで、アンドロイドロボットやコンピュータグラフィクスなどの人工の顔の変形の仕組みの設計を高度化し、より奥深い表情を多様に表現させられるようになることも期待されます。

本研究成果は、2023年11月2日（木）（日本時間）に、日本機械学会欧文誌「Mechanical Engineering Journal」に早期公開版として掲載されました。最終版の論文は１２月１５日（金）（日本時間）に本公開予定です。

図1. 口角をあげる運動（右）に伴うひずみ（左）の可視化結果

人の顔は、表情筋が周囲の皮膚および皮下組織に駆動力を与えることで顔表面の３次元運動を操り、感情や意図などの情報を表示する機械装置としてとらえることができます。人の顔の皮膚下には様々な材料特性の組織が複雑に入り組んでいることから、表情筋の運動が単純なものであったとしても、その力は周囲に複雑に伝わり、その結果として、変形も一般的に複雑になっていることが予想されます。

その一方で、従来の人の顔の計測解析研究の多くは、顔運動前後の顔のおおまかな形状や特定の皮膚位置の変化を計測して表情の特徴をとらえるに留まり、皮膚の各部分が様々な方向に動くことで生じる局所的な皮膚の引っぱりや圧縮といったひずみの様子がどうなっているかについてはほとんど調べられてきませんでした。皮膚の広い範囲が同じような向きに動いている場合であっても、局所的に見れば引き伸ばされていたり、押し縮められていたり、あるいはほとんど変形せずにずれているだけといった場合があります。そのため、ひずみの様子を把握することは、人の顔が感情や意図などの情報を呈示するためにいかに皮膚の変形を操っているかを深く理解するために重要です。顔皮膚のひずみを調べた研究はいくつか例があったものの、対象となる顔の運動が限定的であったり、可視化の結果が不明瞭であったりしていたため、人の顔面において複雑で奥深い表情がいかに多様に形づくられているかを詳しく議論するには不十分でした。

これまで、石原尚講師は人のような柔らかい顔皮膚の変形で感情や意図を人に伝えるアンドロイドロボットの設計開発を進めてきました。アンドロイドのような、人の多様な表情を高い精度で再現する人工の顔を効率よく設計しようとする際には、人の顔において表情がいかにして形づくられるのかの深い理解が必要です。従来のアンドロイドロボットの設計開発においては設計者の経験や勘に頼らざるを得ない部分が多く、今後より効果的に表情を改善していくためには、人の顔運動についての定量的な知見を設計根拠としてさらに蓄積していく必要がありました。

研究グループでは、先行研究において計測した44種の顔運動に伴う皮膚運動データを用いて、面積ひずみの分布を推定する計算を実施しました。この皮膚運動データは、成人男性の顔の右半面に貼られた１００点以上の反射マーカの３次元位置をモーションキャプチャ装置で追跡して得られたものであり、このデータには、無表情の状態から、Action Unitと呼ばれる人の多様な表情を構成する単位運動（口角をあげる、まぶたを閉じる、など）を実施した際の皮膚位置の変化の空間分布データが含まれます。

研究グループではまず、この皮膚位置の変化の分布データに対してなめらかな曲面補間をかけて空間解像度を高めました。そのデータに対して連続体モデルを用いた変形理論によるひずみ解析を実施し、1mm幅の皮膚の微小領域ごとに、無表情時からどれだけの隆起もしくは沈下が生じたか、また、どれだけの引っぱりもしくは圧縮が生じたかを推定し、その様子を可視化しました。その結果、単純に思える顔運動であっても、そのひずみの分布は、引っぱりや圧縮の領域が細かく混在する複雑なものとなっている様子が確認されました。

例えば、口角をあげる動きの場合、口角から目尻に向かう皮膚の動きによって口角周辺の皮膚は沈下し、頬の皮膚は隆起するという、比較的単純な運動の様子が確認されます（図１右）。一方で、この運動におけるひずみの分布は、唇から口角および頬を通って目の下部に向かう皮膚の動きに沿った領域ごとに引っぱりと圧縮が縞状に繰り返すものになっている様子が可視化されます（図１左）。そして、この分布からは、唇の引っぱり領域と口角の圧縮領域の境目に、口角をあげる筋肉が皮膚をけん引する点が存在するであろうことや、頬の引っぱり領域の皮膚は比較的分厚く、また剛性の高い皮下組織と一体となって隆起しながら曲がっているだろうことが伺えます。

さらに、研究グループでは４４種類の運動におけるひずみの解析結果を総合的にみることで、皮膚の各微小領域が最大でどれほどの引っぱりあるいは圧縮を受けるのかも可視化しました（図２）。その結果、ほとんど引っぱられず、また圧縮もされない皮膚領域（左右のどちらの図においても黄色で塗られたひたい中央部や頬上部など）の他に、引っぱられるがほとんど圧縮はされない領域（まぶたや頬中央部など）、ほとんど引っぱられないが圧縮はされる領域（鼻筋や目尻など）、また引っぱられも圧縮されもする領域（ひたい上部や眉間、口角周辺など）といったように、多様な顔運動を通じて皮膚が受けうる変形は部位ごとに異なることが確認されました。今回得られた結果は、人によって異なる可能性があるため、今後より多くの人を対象とした解析を実施することで、年齢や性別などの属性による個人差や、個人属性によらない変形特徴の理解を進めていく予定です。

図2. 皮膚の各部分が受ける最大の引っぱり（左）と圧縮（右）の度合い

本研究成果により、従来とらえることの難しかった顔皮膚の変形の詳細を把握することができました。この変形の様子には外からは見えない皮下の構造が反映されていると考えられるため、顔の内部の様子を透かし見た結果が得られている可能性があります。今後、顔のひずみの分布の個人差や、個人の特性との関連を明らかにすることで、表情認識や個人識別の精度向上や、従来人間の勘に頼っていた顔面運動の異常の自動診断などの展開が期待されます。また、人の顔の複雑な皮下構造によって、一見単純に思える顔の筋運動から複雑なひずみが生じる力学的メカニズムをさらに調べることで、アンドロイドロボットやコンピュータグラフィクスなどの人工の顔の変形の仕組みの設計を高度化し，より奥深い表情を多様に表現させられるようになると期待されます。

本研究成果は、2023年11月2日（木）（日本時間）に日本機械学会欧文誌「Mechanical Engineering Journal」に早期公開版として掲載されました。最終版の論文は１２月１５日（金）（日本時間）に本公開予定です。

タイトル：“Visualization and analysis of skin strain distribution in various human facial actions”
著者名：Takeru MISU, Hisashi ISHIHARA, So NAGASHIMA, Yusuke DOI and Akihiro NAKATANI
ＤＯＩ：https://doi.org/10.1299/mej.23-00189

なお、本研究は、日本学術振興会（JSPS）科学研究費補助金特別推進研究（課題番号JP20H05617）の一環として行われました。

石原尚 講師 研究者総覧
https://rd.iai.osaka-u.ac.jp/ja/0e5c572ff1b4c24a.html