大阪大学大学院情報科学研究科の大学院生山口隼平さん （博士後期課程3年）、藤橋卓也助教、猿渡俊介准教授、渡邊尚教授、カリフォルニア大学サンディエゴ校のDinesh Bharadia准教授らの研究グループは、屋内向けARアプリにおける実用上の課題を明らかにしました。

2016年にリリースされ世界中を熱狂の渦に包んだPokémon GOは、スマートフォンをはじめとするモバイル端末での拡張現実 (モバイルAR、図1) の利用を加速させるきっかけとなりました。モバイルARを実現するにあたっては、端末の高精度な位置測位が不可欠となります。現状の屋内向けのARアプリは、カメラやLiDAR、慣性計測装置 (IMU) のデータを融合して位置測位を行っています。

本研究では、ARアプリを屋内で使用する場面において既存の位置測位手法が潜在的な課題を有することを発見しました。具体的には、低照度環境においてカメラ及びLiDARデータの不整合が原因で測位精度が低下するなどの現象を発見し、実用環境下で精度低下を引き起こす要因をユーザスタディと対照実験から網羅的に明らかにしました。また、これらの課題を解決するための方策として超広帯域無線 (UWB) の電波情報を融合した頑健な位置測位手法を提示しています。計113時間316ケースからなる大規模な実験を通じて、実用性の高いモバイルARを実現するうえでの現状の課題と今後の研究の方向性を情報通信分野に提示することが期待されます。

本研究成果は、情報ネットワーク学分野のトップ国際会議である「The 30th Annual International Conference on Mobile Computing and Networking (ACM MobiCom '24)」において、11月22日 （金） 午前5時 （日本時間） にワシントンD.C.で発表されました。

図1. モバイルARの一例。ARアプリを用いて机や椅子を仮想的に配置することで教室設計のシミュレーションが可能となる。

近年、スマートフォン1台で拡張現実 (AR) を体験することが可能となりました。このようなモバイル端末での拡張現実 (モバイルAR) は、ナビゲーションやシミュレーション、教育、ゲームといった様々な分野において、ユーザに新たな没入型体験を提供します。モバイルARでは、仮想空間と物理空間を正確に重ね合わせるうえで端末の自己位置推定が不可欠となります。とりわけ屋内環境においてはGPSによる位置測位が困難となるため、一般にスマートフォンではカメラやLiDARで取得される視覚情報に慣性計測装置 (IMU) で取得される慣性情報を補うことで自己位置推定を行っています。

モバイルARの位置測位精度を改善するために、これまで様々なモダリティ (超音波、RFID、Wi-Fi、Bluetoothなど) を用いた測位手法が数多く提案されてきました。これら既存研究のモチベーションは、モバイルARの位置測位を実用環境に適用することです。しかしながら、既存研究ではどのような実用環境でモバイルARの位置測位が成り行かなくなるのか網羅的に検証しているものはありませんでした。

本研究では、現代のモバイルARを支えている視覚ベースの位置測位手法に潜む実用上の課題を網羅的に明らかにしました。図2は実用的課題の一事例となりますが、ARアプリ利用時に空間の明るさやユーザの移動に伴って測位誤差が増大するとともにオブジェクトの配置ずれが生じてしまいます。このように、位置測位誤差はユーザの体験品質を低下させてしまうため、ARが目的とするユーザの没入型体験が達成されないこととなります。

実際にユーザがARアプリを利用した場合の課題を調査するためにケーススタディを実施しました (図3)。被験者は大阪大学またはカリフォルニア大学サンディエゴ校に在籍する10代から40代の計17名で、ARアプリ (図1) を用いて教室設計のタスクを行ってもらいました。アンケート結果によれば、とりわけ暗い部屋においてタスクの達成感低下、仮想オブジェクトの配置ずれ、乗り物酔いが生じることが明らかとなりました。

得られた結果から測位精度が低下する原因を探るために、数百ものケースからなる対照実験を実施しました。具体的には、ケーススタディの構成要素であるスマートフォンセンサの種類 (図4a)、環境の複雑性 (図4b)、空間内の明るさ (図4c)、端末の動かし方 (図4d) といったパラメータを抽出し、これらを対照的に比較することでどの要素が位置測位誤差に影響しているかを調査しました。結果として、位置測位誤差に影響を及ぼす主な3要素が明らかとなりました。

図2. 実用的課題の一事例。(a) わずか数秒間で測位誤差が増大し、仮想空間内でオブジェクトの配置ずれが生じている。(b, c) 時間とともに位置測位が破綻することで机や椅子といった仮想オブジェクトが徐々にずれてしまう。(b)では机が基準線に対して、(c)では椅子が机に対してずれてしまっている。

図3. ARアプリのケーススタディ。(a) 被験者17名を対象にARアプリを用いた教室設計を実施。空き教室に机や椅子を仮想的に配置することで教室内の最大収容人数や避難経路を確認。(b) アンケート結果。赤色の枠は四分位範囲を、赤色の線は中央値を表す。特に暗い部屋において、タスクの達成感低下、仮想オブジェクトの配置ずれ、乗り物酔いが生じた。

図4. 対照実験のケース。(a) スマートフォンセンサの組み合わせ。各センサに銅箔を被せることで計4つの組み合わせを作成。(b) 環境の複雑性。壁の背景やアイテムを通じて計3つの環境を作成。(c) 明るさ。0 luxは夜中、7 luxはシアタールーム、200 luxは通常の部屋の明るさを想定。(d) 端末の動かし方。三脚を用いた静止、ルームガントリを用いた往復運動、歩行、揺さぶりの計4パターンを作成。

視覚的ランドマークを用いた初期位置の推定誤差: 既存手法では、基準点から離れた位置で端末の初期位置を推定する場合に精度が低下することが分かりました。視覚ベースの既存手法では、QRコードなどの視覚的ランドマークを基準点として読み取ったのち相対的な自己位置を推定しますが、読み取り距離が大きくなるにつれて初期位置の推定誤差が数十cmにまで増大してしまうことが明らかになりました。

LiDAR融合による測位精度低下: 特定の明暗環境において、ＬｉＤＡRで取得される深度データが測位精度の低下を引き起こすことが分かりました。LiDARは近年iPhone Proシリーズに搭載されている測距技術の1つですが、暗所や明滅環境ではカメラで取得される映像データと適切に融合されず、ＬｉＤＡＲの融合によってむしろ測位精度が低下してしまうことが明らかになりました。

IMUにおけるスピードの制約: ユーザの速い動きをIMUが正確に追従できないため測位誤差が増大することが分かりました。モバイルARの位置測位において視覚情報と相補的な関係にある慣性情報は、運動速度に応じて累積誤差が顕著となり使用時間に伴って位置測位が破綻することが明らかになりました。

上記の位置測位における課題を解決するための方策として、本研究では既存の視覚をベースとした手法に電波情報を融合することを提示しています。具体的には、超広帯域無線 (UWB, IEEE 802.15.4z-2020) を用いた位置測位を既存手法に融合することで、当該環境に頑健な位置測位の実現可能性を示しています。近年ＵＷＢは紛失物検出を目的としてAppleのＡｉｒＴａｇ及びiPhone、SamsungのSmartTag+及びGalaxyにも採用されていることから、これらの測位技術を既存手法に取り込むことで実用環境に耐えうるモバイルARの高精度位置測位が期待されます。

本成果は、我々の日常生活にモバイルARが浸透するうえでの一石となることが期待されます。既に我々の生活に溶け込んでいるスマートフォンなどのモバイル端末上でARを実用可能とすることによって、ユーザが日常レベルで没入型体験を享受できるようになります。学術的観点では、実用的なARアプリの実現に向けて情報通信分野とりわけモバイルコンピューティング及びワイヤレスネットワーキングにおいて次に取り組むべき研究の方向性を示すものとなります。とりわけ本研究では、ケーススタディのデモンストレーション動画や対照実験で用いたプログラム、データセットをすべてオープンソースにして公開しており、当該分野の研究の発展に貢献することが期待されます。

本研究成果は、情報ネットワーク学分野のトップ国際会議である「The 30th Annual International Conference on Mobile Computing and Networking (ACM MobiCom '24)」において、11月22日 （金） 午前5時 （日本時間） にワシントンD.C.で発表されました。

タイトル： “Experience: Practical Challenges for Indoor AR Applications”
著者名： Shunpei Yamaguchi, Aditya Arun, Takuya Fujiwara, Misaki Sakuta, Ryotaro Hada, Takuya Fujihashi, Takashi Watanabe, Dinesh Bharadia, and Shunsuke Saruwatari
ＤＯＩ： https://doi.org/10.1145/3636534.3690676

なお、本研究はJSTさきがけJPMJPR2032、JSPS科研費23H00470、22H03582、22J20391、及び公益財団法人電気通信普及財団支援のもと実施されました。また、本研究の実施を補助してくださった大阪大学の内田岳氏、田中晴輝氏、大迫勇太郎氏、木崎一廣氏に深く感謝申し上げます。

渡邊 尚 教授 研究者総覧
https://rd.iai.osaka-u.ac.jp/ja/0365c77d6c020649.html

渡邊研究室 WEBぺージ
https://www-int.ist.osaka-u.ac.jp/