大阪大学大学院基礎工学研究科の佐藤宏介教授、岩井大輔准教授らの研究グループは、手のCGモデルを室内にプロジェクションマッピングし、その像をタブレット端末へのタッチ操作によって動かすことで、日常的な場面に応用できる身体拡張技術を開発しました。

従来の身体拡張技術の多くは、専用のカメラやグローブを用いてゲーム内のキャラクターの手足を自分の体の動きに合わせて操作するなど、バーチャルでの拡張に限られたものでしたが、今回開発した技術では、手のモデルを室内に投影し、一般のタブレット端末による操作を可能としたことで、実空間においても身体拡張を体験することが容易になりました。

本技術により、遠くのものに手を届かせることによる新たなコミュニケーション支援や、手の投影像でセンサが搭載された家電や室内環境を本来手が届かない位置にあっても制御できるなど、様々なものがインターネットに接続するIoTが流行していく社会での活躍が期待されます。

本研究成果は、3月2日から4日にかけて東京の科学技術館にて開催された情報処理学会シンポジウム インタラクション2016に採択され、3月4日にデモストレーションを行います。

図1　掃除ロボットへ向けて手を伸ばす様子

身体モデルを使用した身体拡張は、従来、バーチャルリアリティの分野で研究され、現在では主にゲームのキャラクターを体の動きに合わせて直感的に操作する場面などに見られます。中でも、手の動きに合わせてキャラクターの手を操作する研究においては、専用のグローブによる手指の曲げの検出や、専用の赤外線センサによる手のジェスチャ認識が主に利用されてきました。

佐藤教授らの研究グループは、手のモデルを実世界上にプロジェクションマッピングし、自分の手の拡張として使用する身体拡張型インタフェースExtendedHandを開発しました。佐藤教授らの過去の研究により、カメラによるジェスチャ認識で手の投影像を机の上で操作する場合に、あたかも自分の身体であるという感覚が生じることが確認されています。さらに今回、タブレットのタッチパネルを用いて手の位置や指の曲がり具合を推定する技術を開発したことで、室内の光源環境に左右されず、一般に普及されている身近な機器での手のモデルの操作を可能としました。本技術により、カメラの検出範囲で手を動かすなどの位置の拘束がなく、専用グローブの装着や赤外線センサの設置を行わずに、多くの人が持っている端末をそのまま使用して、手のモデルの操作ができます。

本システムは室内に設置されたプロジェクタと、入力装置としてのタブレットまたはスマートフォンから構成されます （図2） 。プロジェクタからはタブレット等の画面に描かれる手のCGが投影されています。ユーザはタブレットの画面を複数の指で同時にタッチし、画面から指を離さないように各指をスライドさせます。このとき、本システムでは、画面にタッチしている指先位置から、ユーザの手の移動や各指の曲げ動作を認識します。そして、これらの結果をリアルタイムに反映させることで、ユーザの手の動きを増幅して手のCGを動かします。この動作の同期は、手の投影像を自分の体の一部のように感じるために重要な要素となります。このように、5指を操作可能な投影像で、手が届く範囲を拡げることで、遠くの物に対して、指差しや選択・把持等のポーズ （図3） をとったコミュニケーションが可能になります。

図2　システムの構成

図3　タッチする手と、そのポーズの認識結果の例

本研究成果によって生活空間での身体拡張が可能となり、以下の様々な用途への応用が期待されます。

1. 手が届くことによるコミュニケーション支援

手の投影像を使って遠くの棚にある商品や、案内板・ポスターの一部を選択するといったコミュニケーションを直感的に行うことができます （図4） 。このように、手の届かない場所に手を届かせることで新たなコミュニケーションを生み出します。また、ホワイトボードやスクリーンに対して複数人が自身の端末から手の像を操作し、各々が気になる箇所を示すなど、会議などにおける協調作業にも利用できます。

図4　ポスターを指差してのコミュニケーション

2. 手の届かないモノを直感的に操作するインタフェース

これからIoTやスマート家電がますます流行し、センサ付きの室内家電やロボットが本システムと通信できる状況になれば、手の像の腕を伸ばして手先で触れることでテレビや照明のスイッチを付ける、手の像で掴んで動かすことで掃除ロボットを運ぶ （図1） といった、身体拡張を利用しての環境の操作が可能になります。タブレットでは、指差しや、親指と人指し指でのつまみ、握り、手の移動や回転を認識しているために、それらの動作に合わせて、椅子に座ったまま手を伸ばして室内の様々な物を操作することが可能になると期待されます。手の投影像は、ロボットハンドのような実物体と比べてその体積や重さがないため、室内の様々な箇所を直感的に操作する場合に環境に適応させることが容易であると考えられます。

本研究の成果は、3月2日から4日にかけて東京の科学技術館にて開催される情報処理学会シンポジウム インタラクション2016に採択されました。3月4日にデモ発表を行いました。また、本研究の成果は、Windowsタブレット向けアプリとしてExtendedHandの専用ホームページから配布されており、ダウンロードして試用していただくことができます （図5） 。

図5　配布アプリのメニュー画面

大阪大学大学院基礎工学研究科　佐藤研究室HP
http://www-sens.sys.es.osaka-u.ac.jp/