大阪大学 大学院基礎工学研究科の佐藤宏介 教授らの研究グループ（竹内正稀 博士前期課程、楠山弘基 博士前期課程、岩井大輔 准教授）は、世界で初めて、明るい部屋でも鮮明な映像を表示可能なプロジェクションマッピングを実現しました（図1）。

これまで、プロジェクションマッピングは、明るい環境では照明が混ざって不鮮明な映像しか表示できないため、照明を消した屋内や、夜中の屋外といった、暗い環境での利用が一般的でした。

今回、佐藤教授らの研究グループは、LED照明などの一般的な照明器具の代わりにプロジェクタを照明器具としても利用することを発想し、プロジェクションマッピング対象だけを照射しない照明技術を開発しました。これによって、明るい部屋の中で対象だけが暗くなるという照明環境をつくりだし、プロジェクション映像と照明との混ざり合いを解消することで、明るい部屋でも鮮明なプロジェクションマッピングを実現しました。今回の成果によって、自然な照明のもとで、実物の色や質感を即座に切り替えることが可能になり、工業製品やパッケージ等の視覚デザインへの応用が期待されます。

本研究成果は、米国科学誌「IEEE Transactions on Visualization and Computer Graphics」に2024年5月に公開されます。また、それに先んじて、同年3月16日〜21日にアメリカ合衆国フロリダ州オーランドにて開催されるバーチャルリアリティに関する国際会議「IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR)」にて口頭発表されました。

図1. (左) 提案する照明環境でのプロジェクションマッピング結果 (右) 各照明条件でのプロジェクションマッピング前後の投影対象(胸像)付近の見え

これまで、明るい環境でのプロジェクションマッピングは、投影された映像に環境光が混ざってしまい、不鮮明な映像しか表示できませんでした。LED照明などの一般的な照明器具や太陽光は、プロジェクションマッピングの対象だけでなく、周囲にあるもの全体に光を照射するため、投影コンテンツの暗い部分を見えにくくし、コントラストを著しく低下させていました。このため、プロジェクションマッピングは、照明を消した屋内や、夜中の屋外といった、暗い環境での利用が一般的でした。

このような暗い環境は、アート作品やエンタテインメントショーといった特定の用途では効果的な演出となりますが、その他の用途では望ましくありません。例えば、プロジェクションマッピングは、実物の色や質感を即座に切り替えることができるため、工業製品やパッケージ等の視覚デザインを支援する応用が期待されていますが、暗い環境では、デザインに参加する人々の間のコミュニケーションが難しくなることや、照明のもとでデザインを評価することができない、という課題が指摘されていました。

佐藤教授らの研究グループでは、映像を投影するだけでなく、照明器具としてもプロジェクタを利用することを発想しました。そして、一般的な照明器具をプロジェクタで置き換え、プロジェクションマッピングの対象だけを照射しない照明技術を開発しました。これによって、明るい部屋の中で対象だけが暗くなるという照明環境をつくりだし、プロジェクション映像と照明との混ざり合いを解消することで、明るい部屋でも鮮明なプロジェクションマッピングを実現しました。

一般的な照明器具で照らされた状況を、照明用のプロジェクタからの投影のみで再現するため、様々な技術開発が必要でした。例えば、周囲の環境をくまなく照射するため複数台の照明用プロジェクタを用いますが、このとき、一般照明を再現するために、どのような映像をそれぞれの照明用プロジェクタから投影すべきかを計算する必要があります。しかしながら、各プロジェクタと壁や床との距離や照射角度に応じて投影結果の明るさが変わってしまう上、異なるプロジェクタからの投影映像間の重なりや、壁や床同士の間で光が反射し合う状態も考慮する必要があり、複雑な計算が必要でした。佐藤教授らの研究グループは、「分散最適化」と呼ばれる技術を用いることでシンプルな計算原理でこの課題を解決することに成功しました（図2）。

図2. 様々な照明パターンの再現結果

本研究成果により、自然な照明のもとで、実物の色や質感を即座に切り替えることが可能になり、工業製品やパッケージ等の視覚デザインへの応用が期待されます。例えば、対象の質感を鏡のような金属面に切り替える場合、周囲の環境の映り込みをプロジェクションマッピングで表現します。従来のプロジェクションマッピングでは、あらかじめ明るい部屋で撮影した周囲環境の情報を投影することで金属面を表現していましたが、鮮明な映像を表示するためには周囲の環境を真っ暗にする必要があり、その状況で金属面を表現するためには投影対象も真っ暗にしなければ自然ではないという矛盾が生じていました。これに対し、今回開発した技術によって、周囲の環境は明るいままで、鮮明に金属面を表現できるようになりました（図3）。

図3. 各照明条件でのプロジェクションマッピングによる金属面の再現結果

本研究成果は、米国科学誌「IEEE Transactions on Visualization and Computer Graphics」に2024年5月に公開されました。また、それに先んじて、同年3月16日〜21日にアメリカ合衆国フロリダ州オーランドにて開催されるバーチャルリアリティに関する国際会議「IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR)」にて口頭発表されました。
タイトル：“Projection Mapping under Environmental Lighting by Replacing Room Lights with Heterogeneous Projectors”
著者名：Masaki Takeuchi, Hiroki Kusuyama, Daisuke Iwai, and Kosuke Sato

なお、本研究は、JST戦略的創造研究推進事業さきがけ（課題番号：JPMJPR19J2）、科研費 学術変革領域研究(A)計画研究（課題番号：20H05958）の支援を受けて実施されました。

佐藤宏介 教授　研究者総覧
https://rd.iai.osaka-u.ac.jp/ja/ec1598c02c611a39.html

岩井大輔 准教授　研究者総覧
https://rd.iai.osaka-u.ac.jp/ja/7252dbfff7d52472.html

本研究成果の動画URL
https://youtu.be/qEutemEzs10