＼自由な視点で楽しめる複合現実感！／一般的なドローンでも体験できるMRシステム

２つのビジョンベース自己位置推定法で正確な位置合わせ

2024-6-6●工学系

工学研究科准教授福田知弘

市場で入手できる、一般的なドローン視点のＭＲ（複合現実感）の実現に向け、飛行ルートを事前に定義する必要なく、現実世界と仮想世界を正しく重ね合わせる位置合わせシステムを提案。
ビジュアルポジショニングシステム（ＶＰＳ）と自然特徴ベースのトラッキングという２種類のビジョンベースの自己位置推定法を統合することで実現。
提案したシステムによって、従来の方法と比較してより正確で柔軟なドローン視点ＭＲアプリケーションが実装可能に。
提案したシステムは汎用性が高く、将来的には都市景観シミュレーションや点検業務の補助など様々な用途への応用が期待される。特に建築・エンジニアリング・建設（AEC）分野におけるドローン利用のさらなる発展への貢献に期待。

概要

大阪大学大学院工学研究科の木下愛梨さん（２０２４年３月修了）、福田知弘准教授、矢吹信喜教授らの研究グループは、ＶＰＳと自然特徴ベースのトラッキングを組み合わせたドローン視点のMRを実現する位置合わせシステムを提案・実装しました。この方法では、カメラの情報のみを使って現実世界と仮想世界を正しく重ね合わせることができるため、一般的に入手可能なドローンを用いて飛行ルートの事前定義なしでＭＲを実行することができます。

本研究成果は、２０２４年４月２９日（月）（日本時間）に、学術雑誌「Drone Systems and Applications」（Canadian Science Publishing社）にオンライン掲載されました。

図1. 提案方法の概要。従来の方法では事前定義した飛行ルートの通りにドローンを操縦していましたが、VPSと自然特徴ベースのトラッキングを組み合わせてドローンの位置を推定することで現実世界と仮想世界の動きを一致させます。

研究の背景

近年、様々な分野でドローンとＭＲの統合が期待されており、すでにいくつかのアプリケーションが提案されています。特に、都市や建築物のような大規模な空間を対象とした景観シミュレーションなどを行う場合、ユーザの行動範囲に制限されないドローン視点のＭＲによる可視化は有効です。しかし一般的に、ドローン視点のMRは、アプリケーションの開発・実装のために特別な機体やソフトウェア開発キットを使用していました。これではアプリケーションの汎用性が低下し、ユースケースが限定されてしまいます。

この問題に対して、先行研究では、画面共有やストリーミング配信のような汎用性の高い技術を用いてMRと市販のドローンを統合する方法が提案されました。しかし、先行研究の方法では、現実世界と仮想世界の動きを一致させるためにドローンの飛行ルートを事前に定義する必要がありました。つまり、MRの実行中に軌道を変更することができませんでした。

研究の内容

そこで本研究では、任意のルートで操縦したドローンの現在位置を推定することによって、現実世界と仮想世界の動きを一致させること（位置合わせ）を目指しました。

図１に、本研究で提案するシステムの概要を示します。先行研究を踏襲し、画面共有によってドローンの映像（現実世界）をゲームエンジンに入力し、仮想世界の映像と重ね合わせて出力します。出力されたMR映像はストリーミング配信でユーザに共有されます。ここで本研究は、現実世界と仮想世界の映像を重ね合わせる際に、（iii）（iv）に示すようにVPSと自然特徴ベースのトラッキングを組み合わせることで位置合わせを行います。

これらのビジョンベースの方法は、GPSなどのセンサを使用せず、一般的なドローンに搭載されているカメラ情報（画像と内部パラメータ）のみを入力とするため、特別な機体やソフトウェア開発キットを用いずに実装することが可能になります。

図２に、本研究の提案システムと先行研究のシステムでMRを実行した場合の位置合わせの精度を比較した様子を示します。各行において、赤い領域の位置が左列のものに近いほど精度が良いことを表します。中列が本研究の提案システム、右列が先行研究のシステムによる出力結果です。また、これを定量的に評価するためにIoU（Intersection over Union）という指標を用い、図３にグラフ化して示します。この指標は０～１の値を取り、１に近いほど精度が良いことを表します。

これらの結果から、先行研究の結果と比較して、本研究の提案システムによる位置合わせの精度はより高いことが示されました。また、先行研究では時間が経過するにつれて精度が低下する傾向が見られましたが、本研究の提案システムでは高い精度で安定していることが確認されました。提案システムによって、任意の軌道でドローンを操縦しても十分な精度のMRが実行可能になったと考えられます。

図2. 本研究の提案システムと先行研究のシステムの位置合わせ精度を比較した様子。先行研究の結果（右列）と比較して、本研究の提案システムによる位置合わせの精度はより高いことが読み取れます。

図3. 図２の結果を定量的に評価するため、IoUという指標を用いて精度を数値化し、グラフとして表現しています。

本研究成果が社会に与える影響(本研究成果の意義)

近年、AEC分野では、時間、精度、安全性、コストの面で優れた特徴を持っていることからドローンの導入が拡大しています。そして、将来的のAEC分野においてドローンがさらに広く適用されるためには、MRを含む他の最新技術との統合が重要であると言われています。

本論文では実際の利用を想定したドローンMRアプリケーションを実装したわけではありませんが、提案した位置合わせシステムは汎用性が高いものであり、将来的には様々な機能を付加することができる見込みです。建築プロジェクトの開始時（設計・計画）から後期段階（保守・点検）まで幅広く活躍するドローン視点MRの実現に一歩近づきました。

特記事項

本研究成果は、２０２４年４月２９日（金）（日本時間）に、学術雑誌「Drone Systems and Applications」（Canadian Science Publishing社）にオンライン掲載されました。

タイトル: “Drone-based mixed reality: enhancing visualization for large-scale outdoor simulations with dynamic viewpoint adaptation using vision-based pose estimation methods (ドローンベースの複合現実感: ビジュアルベースの姿勢推定法を用いた動的な視点適応による大規模屋外シミュレーションの可視化強化)”
著者名:Airi Kinoshita, Tomohiro Fukuda, and Nobuyoshi Yabuki (大阪大学　大学院工学研究科　環境エネルギー工学専攻)
DOI: https://doi.org/10.1139/dsa-2023-0135

参考URL

福田知弘准教授　研究者総覧
https://rd.iai.osaka-u.ac.jp/ja/d2782e4b9c864b39.html

SDGsの目標

用語説明

ＭＲ（複合現実感）: 現実世界と仮想世界の間の連続的な空間のすべてを指す。現実世界に仮想世界を重ね合わせるAR（拡張現実感）や、仮想世界に現実の情報を重ね合わせるAV（拡張仮想感）が含まれる。
ビジュアルポジショニングシステム（ＶＰＳ）: 対象地の写真群から事前に作成した3Dマップを用いて、3Dマップ内のカメラの位置を推定する技術。誤差の蓄積は起こりにくいが、計算に時間がかかる。
自然特徴ベースのトラッキング: カメラから取得した画像内の特徴点の移動を推定することで、カメラの移動を追跡する。リアルタイムで実行する場合に十分軽量な方法だが、誤差が蓄積する。
IoU（Intersection over Union）: 主に物体検出の精度検証に用いられる指標。０～１の値を取り、１に近いほど正しく検出できていることを表す。本研究では、現実空間と仮想空間がどれだけ一致しているかを示す値として使用している。

キーワード

ドローン複合現実感（MR）ビジュアルポジショニングシステム（VPS）トラッキング都市景観景観シミュレーション SDGs

この研究についてひとこと

福田知弘