大阪大学大学院情報科学研究科の修了生 西村賢人さん（当時博士前期課程）、青山学院大学理工学部情報テクノロジー学科 伊藤雄一 教授（大阪大学大学院情報科学研究科招へい教授を兼務）、伊藤弘大 助教、國立中正大學心理學系（台湾） 藤原健 助理教授、東北大学電気通信研究所 藤田和之 助教からなるグループは、椅子型のセンシングデバイス（図１）によって、会話者の重心位置・重量変化を解析することで会話中のうなずきを検出し、思考課題におけるアイデアの創出数やそのタイミングを推定する技術を開発しました。

チームでの会話の盛り上がりや、ディスカッションにおける知的生産性を評価するためには、これまで議事録などの内容から推定したり、映像や音声を分析するといった方法がありました。しかし、特に映像や音声を使う方法ではプライバシーの観点から、データの取り扱いが難しいという問題がありました。そこでこの研究では、着座者の重心位置・重量変化という体動を計測することで「うなずき」という非言語的なコミュニケーションを検出し、チーム内の合意形成やアイデア創出のタイミング推定を実現しました。

本研究成果は、Springer Nature社の学術雑誌「Quality and User Experience」に、10月24日（火）に公開されました。

図1. 着座者の重量と重心位置を計測する椅子型デバイス

「うなずき」などの非言語的なコミュニケーションは、肯定的なフィードバックや共感を表すジェスチャとして使われています。同意のタイミングで「うなずき」が起こることは誰もが理解しているものの、「うなずき」がディスカッションの場においてどのような役割を果たしているかという関係性は解明されていませんでした。

また、「うなずき」は頭の動きによって行うものであるため、これまで「うなずき」検出にはカメラによる撮影が必要でした。しかし、映像や音声の記録はプライバシーの問題によって敬遠されることが多く、特に機密性の高い重要なディスカッションでは使用が困難であるというジレンマがありました。研究グループは、人にとって無意識にコンピュータの恩恵を受けられる「無意識コンピューティング」の研究の一環として、今回のような椅子型のセンシングデバイスを使うことで、人がセンサを意識することなく、ただ座るだけで着座者に対して無意識なセンシングの実現を目指しました。

研究グループは、椅子型のセンシングデバイス「SenseChair」を開発し、着座者の重心位置・重量変化を計測し、分析することで、着座者の「うなずき」が検出できることを明らかにしました。分析には周波数分析と機械学習を使用し、カメラ映像を使わずにうなずきを検出できることを検証しました。このシステムでは、うなずき動作をフレームごとに判定してラベル付けを行います。しかし、1フレームは非常に短い時間（0.033…秒）のため、ノイズによる誤判定が生じます。そこで、ノイズの影響を軽減するため、うなずき動作のラベルを結合する処理を行いました。具体的には、人のうなずき動作は早いものでも0.3秒程度必要であるという知見を利用し、2つのうなずき動作間の長さが0.3秒間（9フレーム）未満だった場合、これを1つのうなずき動作となるよう補正しました。

このシステムを利用して、例えば「レンガの使い道をできるだけ多く挙げよ」といった意見発散型思考課題のように、アイデアを多く創出することを求めるタスクを課した実験を行いました。このタスクを複数人からなるグループで実施し、グループ内でなされる「うなずき」と、グループの生み出すアイデア量の関係を調査しました。図２は、ディスカッション中のある５秒間に起きたイベント（A〜F）と、その前後５秒間の「うなずき」の数を示しています。結果、アイデアが発生した後の５秒間（F）で有意にうなずきの数が増加していることがわかりました。つまり、「うなずき」を計測することで、ディスカッション中のアイデア創出のタイミングが推定できることがわかりました。今回はアイデアの質との相関関係はありませんでしたが、グループ内の非言語的なコミュニケーションを計測するだけでも、グループにおける知的生産性の推定ができる可能性が示されました。

図2. 発生したイベントとその前後５秒間のうなずき量の関係

本研究の成果によって、プライバシーに配慮したグループのコミュニケーションの状態把握が可能となります。また、これまで客観的な評価が難しかった知的生産性などの指標を、定量的かつリアルタイムに計測することが可能となります。これにより、リモートワーク中のコミュニケーションを支援したり、遠隔学習における参加度や理解度を推定するなどの応用が考えられます。また、このシステムで得られたデータを活用することで、会議の盛り上がり箇所（知的生産性が高まった箇所）を把握し議事録の要点に自動で反映したり、計測したデータをもとにディスカッションを活性化させる支援への利用も期待できます。

本研究成果は、2023年10月24日（火）にSpringer Nature社の学術雑誌「Quality and User Experience」（オンライン）に掲載されました。

タイトル：“Detection of nodding of interlocutors using a chair-shaped device and investigating relationship between a divergent thinking task and amount of nodding”
著者名：Kento Nishimura, Kodai Ito, Ken Fujiwara, Kazuyuki Fujita, Yuichi Itoh
ＤＯＩ：https://doi.org/10.1007/s41233-023-00063-6

なお、本研究の一部は、文部科学省「Society 5.0 実現化研究拠点支援事業」、科学研究費補助金16H02891の助成を受けて実施しました。

伊藤雄一研究室（χLab.）URL
https://x-lab.team/

オフィスチェアが議論をチェック（前回のリリース）
https://resou.osaka-u.ac.jp/ja/research/2014/20140924_1