プロジェクションマッピングは、エンターテインメントから医療に至る幅広い分野での利用が進められていますが、それを実現する上で、投影映像を対象面にぴたりと位置合わせすることは不可欠です。大阪大学大学院基礎工学研究科の佐藤宏介教授、岩井大輔准教授らの研究グループは、次世代の映像投影技術として注目されているレーザープロジェクターを対象として、従来必要とされてきた特殊パターンの投影やカメラ計測が不要な、全く新しい自動位置合わせ技術の開発に成功しました（ 図1 , 図2 ）。

レーザープロジェクターは、レーザー光を2次元的に走査することで映像を表示するため、各画素は1枚の画像を表示する間に1度だけ、ある決まったタイミング（画像表示の基準時刻からの時間）で照射されます （図3） 。そこで、対象面に光センサーを埋め込み、映像コンテンツを投影している際に、センサーに照射しているプロジェクター画素の位置をその受光タイミングから求めることで、投影映像を対象面に位置合わせすることを実現しました。さらに、従来の位置合わせ技術における種々の技術的制約を解消できることを、試作システムを用いた実験により明らかにしました。

また、光センサーをプロジェクター側に設置して、対象面からの投影コンテンツの反射光を逐次計測することで、プロジェクター画素と対象面の模様との位置対応を求めることを実現しました。これは、プロジェクター視点で撮影するカメラを擬似的に再現したことに相当します。この技術を用いて、従来の画像マーカー（QRコードのような2次元の印刷パターン）を用いたカメラ計測に基づく位置合わせを、カメラなしでも行えることを明らかにしました （図4） 。

今後、IoT化が進むと、ネットワーク接続された光センサーが更に多量・高密度に生活空間に組み込まれていくことが予想されます。このような高度IoT社会において、佐藤教授らの研究グループが開発した技術によって、プロジェクションマッピングによるこれまで以上に生活に密着した様々なサービスを、カメラを用いる追加の計測系を必要とせずに提供できるようになると期待されます（ 図5 , 図6 , 図7 ）。

本研究成果は、10月9日から13日にかけてフランス・ナントにて開催される拡張現実感・ARに関する主要な国際会議ISMAR(International Symposium on Mixed and Augmented Reality)に採択され（採択率は12.4%）、10月11日に口頭発表を行います。

図1　提案システムと計測原理の概要

図2　光センサーを埋め込んだ立体物へのプロジェクションマッピング

図3　レーザープロジェクターのレーザー光が投影領域を走査する様子

図4　四隅に再帰性反射材（入射した方向に光を反射する素材）を貼付した画像マーカー（左）とそれをかざしたところだけ衛星写真を見ることのできる地図閲覧アプリケーション（右）

図5　光センサーを埋め込んだIoT型ペン（左）とそれを用いたインタラクティブなお絵かき（右）

図6　光センサーを埋め込んだIoT収納箱（左）と収納内容のプロジェクションマッピング（右）

プロジェクションマッピングは、エンターテインメントから医療に至る幅広い分野での利用が進められてきています。最近では、巨大な建築物に映像を投影する従来型のプロジェクションマッピングだけでなく、ダンサーや歌手のように動いている人に対する動的なプロジェクションマッピングを目にする機会も増えてきました。プロジェクションマッピングで所望の映像効果を得るためには、対象に位置ずれなくぴたりと映像を位置合わせする必要があります。通常の平面スクリーンであれば手動で簡単に投影映像を位置合わせすることができますが、プロジェクションマッピングでは平面でない物や動いている物や人に映像を投影しなければならず、手動での位置合わせは大変困難となります。

そこで、こういった対象面に投影映像を自動的に位置合わせする技術の研究が世界的に進められてきています。しかしながら、これまではプロジェクターから特殊なパターン（縞模様の画像）を何種類も投影しなければならなかったり、カメラを使って動いている対象面の位置姿勢の変化を計測したりする必要がありました。これに対して佐藤教授らの研究グループは、次世代の映像投影技術として注目されているレーザープロジェクターを対象として、従来必要とされてきた特殊パターンの投影やカメラ計測の必要のない、全く新しい位置合わせ技術の開発に成功しました。

図7　映像投射型ドローンからの投影映像の位置合わせ

レーザーを光源とするレーザープロジェクターは、レーザー光の照射方向を上下左右の2軸方向に回転する鏡を使って高速に画像全体を走査させることで映像を表示します （図3） 。つまり、映像中の1画素に着目すると、1枚の画像を表示する時間（16ミリ秒程度）の中で、その画素には1度だけレーザー光が照射される、ということになります。各画素が照射されるタイミング（画像表示の基準時刻からの時間）は常に一定です。佐藤教授らの研究グループは、このことを利用した2種類の位置合わせ技術の開発に成功しました。

一つ目の技術では、対象面に光センサーを埋め込み、映像コンテンツを投影している際に、センサーに照射しているプロジェクター画素の位置をその受光タイミングから求めることで、投影映像を対象面に位置合わせすることを実現しました （図1） 。そして以下に示すように、従来の位置合わせ技術における種々の技術的制約を解消できることを、試作システムを用いた実験により明らかにしました。まず、従来の特殊パターンを投影する位置合わせ技術では、対象が動くたびに位置合わせのためにパターンを投影しなければなりませんでしたが、佐藤教授らの研究グループの技術ではそのような必要はなくなります。また、カメラ計測に基づく従来技術では、対象が動いても位置合わせできますが、対象の表面を目印となるマーカーで覆う必要があり、映像投影の妨げになります。さらに、位置計測の精度は対象までの距離が離れると低下します。一方、我々が開発した技術では、埋め込まれた光センサーは極めて小さいため目立ちにくく、またプロジェクターからの距離に位置計測の精度が影響を受けないことを確認しました。

二つ目の技術では、光センサーをプロジェクター側に設置して、対象面からの投影コンテンツの反射光を逐次計測することで、プロジェクター画素と対象面の模様との位置対応を求めることを実現しました。これは、プロジェクター視点で撮影するカメラを擬似的に再現したことに相当します。この技術を用いて、従来の画像マーカー（QRコードのような2次元の印刷パターン）を用いたカメラ計測に基づく位置合わせを、カメラなしでも行えることを明らかにしました （図4） 。

なお、受光タイミングからディスプレイの画素の位置を同定する技術には、ブラウン管ディスプレイへのタッチ入力を行うために開発されたライトペンと呼ばれる技術があります。また、バーコードリーダーのように、1次元走査するレーザー光の反射強度の時間推移から、反射率の空間パターン、つまり、バーコードの白と黒の帯の幅を計測する技術も既に利用されています。佐藤教授らの研究グループが開発した技術は、こういった受光タイミングからディスプレイ上の位置を計測する従来技術を、プロジェクションマッピングへと転用したものです。

本研究成果は、あらゆる形態のプロジェクションマッピングへの適用が可能であり、幅広い用途への応用が期待されます。特に、動いている対象に追従して投影映像を位置合わせし続けるケースでは、佐藤教授らの研究グループの開発した技術は従来の技術に比べて制約が少なく、実応用への可能性が高いと考えられます。

また、光センサーはカメラに比べて極めて安価であり、既に様々な家電製品に組み込まれています。今後、IoT化が進むと、ネットワーク接続された光センサーが更に多量・高密度に生活空間に組み込まれていくことが予想されます。我々が開発した技術によって、このような高度IoT社会において、カメラを用いる追加の計測系を必要とせずに、プロジェクションマッピングによるこれまで以上に生活に密着した様々なサービスを提供できるようになると期待されます。

佐藤教授らの研究グループが開発した技術を用いて試作した応用例を示します（項目2のみ二つ目の技術の応用例）。
1.　3次元物体の様々な面の模様を自在に変更 （図2）
2.　画像マーカーの領域のみ衛星写真が表示される地図閲覧アプリケーション （図4）
3.　光センサーを埋め込んだIoT型のペンでインタラクティブなお絵かき （図5）
4.　光センサーを埋め込んだIoT型の収納箱に手持ちのプロジェクターをかざすと、何が収納されているのかを箱前面に表示 （図6）
5.　ドローンにレーザープロジェクターを搭載した映像投射型ドローンからの投影映像の位置合わせ （図7）

本研究成果は、10月9日から13日にかけてフランス・ナントにて開催される拡張現実感・ARに関する主要な国際会議ISMAR(International Symposium on Mixed and Augmented Reality)に採択され（採択率は12.4%）、10月11日（水）に口頭発表を行います。

発表会議：International Symposium on Mixed and Augmented Reality
会議ウェブサイト：https://ismar2017.sciencesconf.org/
発表セッション名：Projector camera systems
著者：Yuki Kitajima（北嶋友喜）, Daisuke Iwai（岩井大輔）, Kosuke Sato（佐藤宏介）
タイトル：Simultaneous Projection and Positioning of Laser Projector Pixels（和訳：レーザープロジェクター画素の投影と位置計測を同時に行う手法）

研究紹介サイト：
http://www.sens.sys.es.osaka-u.ac.jp/users/iwai/jp/research/spap.html

映像資料：
https://www.youtube.com/watch?v=3U2il3Gh4Xw