大阪大学大学院工学研究科の大学院生（当時）の城戸大輝さん、福田知弘准教授、矢吹信喜教授らの研究グループは、深層学習を用いたセマンティックセグメンテーションモデルと複合現実（MR）を統合することで、現実世界の物体を検出しながら動的なオクルージョン処理と景観指標の推定を行える機能を具備し、より正確な整備後の将来景観を現場で可視化できるMRシステムを開発しました。

建築・エンジニアリング・建設（AEC）プロジェクトは、自然環境との調和を図り、人々の生活環境に配慮しながら推進される必要があります。意思決定者やステークホルダーは、計画・設計段階において、環境影響評価を行う際の不確実性をできる限り回避するために、建設中や建設後の景観イメージを共有し、評価します。

建造物がまだ存在していない将来の景観を可視化する手法として、フォトモンタージュが従来から使われていますが、近年、現実のシーンに3Dモデルを重ね合わせるMRが注目されています。MRは視点やプランをリアルタイムに変更することができ、より自由でインタラクティブな検討が可能です。

MRの課題の一つに、3Dモデルが現実世界の物体よりも常に手前側に配置されてしまうオクルージョン問題があります。この問題を解決しなければ、3Dモデルを正しくMR空間に配置することができません。これまで、机上などの小さな空間、または建造物などの静的な物体に対するオクルージョン処理はできていました。しかし、大規模な屋外空間を対象とする景観分野では、MR端末と3Dモデルの前景となる実物体とが大きく離れることや、実物体が動く場合があり、既存のオクルージョン処理手法では対応できませんでした。

また、設計の過程では、証拠（エビデンス）に基づくアプローチが重要になっています。深層学習を応用したセマンティックセグメンテーション技術は現実世界をピクセル単位でカテゴリー別に抽出することができるため、この方法を応用して都市の質や景観評価を行う研究が、現在、盛んに研究されています。本研究では、セマンティックセグメンテーション技術とMRシステムを統合し、現状のみならず設計内容を含む将来景観指標の推定を可能にしました。

開発したプロトタイプシステムは、屋外で利用可能なMRモバイル端末と、リアルタイム型セマンティックセグメンテーションを処理するデスクトップPCシステムとをインターネットを介して動作させます。大阪大学吹田キャンパス内の屋外空間にて、システムを検証しました。

図1. MR景観可視化システムの全体像。(1)Webカメラで現実世界をキャプチャ。(2)インターネット経由でサーバに送信。(3-4)深層学習のセマンティックセグメンテーション技術でカテゴリーに分類。(5)インターネット経由でクライアントに送信。(6)ゲームエンジン上でMR処理。動的オクルージョンでは、セマンティックセグメンテーションされた画像で前景となるカテゴリーはマスク処理により現実世界が上書きされ、3D設計モデルとの正確な動的オクルージョン処理が実現。景観指標の推定（図は緑視率）では、セマンティックセグメンテーションにより現状景観の緑視率を推定し、これと3D植栽モデルの緑視量を合算して将来景観の緑視率を推定する。

図2. MR動的オクルージョン。(a)Webカメラで現実世界をキャプチャする。(b)セマンティックセグメンテーションによりフェンス、植栽、建物、空などのカテゴリーに分類する。(c)前景となるカテゴリーはマスク処理される。(d)マスク処理されたピクセルは現実世界が上書きされ、3D設計モデルとの正確なオクルージョン処理が実現。

図3. MR景観指標の推定。(a)Webカメラで現実世界をキャプチャ。(b)セマンティックセグメンテーションにより植栽カテゴリーを抽出して現状の緑視率を推定する。(c)MR上で植栽3Dモデルを挿入。(d)3Dモデルをシルエット処理して、現状と設計の緑視率を推定する。

景観評価に携わる関係者（事業者、設計者、ステイクホルダー）は、開発したMRシステムを用いることで、現実世界の物体と3D設計モデルとの前後関係が正しく表示されるため、現在の景観と比較しながら将来の景観を現場で評価することができます。さらに、緑視率などの景観指標の現状と設計後の変化を比較しながら定量的に確認することができ、より高質なプラン検討を行い関係者の合意形成につなげることができます。

本研究成果により、まちづくりや景観・環境アセスメントへの応用が期待されます。また、セマンティックセグメンテーションはオープンソースのものを利用、MRシステムは汎用的なゲームエンジン上で開発しており、Society 5.0に向けて発展が期待される建設DX（デジタルトランスフォーメーション）部門を中心として、産業分野での応用が期待されます。

本研究成果は、2021年3月22日（月）（日本時間）に、学術雑誌「Advanced Engineering Informatics」（エルゼビア社）にオンライン掲載されました。

タイトル：“Assessing future landscapes using enhanced mixed reality with semantic segmentation by deep learning（深層学習によるセマンティックセグメンテーションを用いた強化型複合現実による将来景観の評価）”
著者名：Daiki KIDO, Tomohiro FUKUDA and Nobuyoshi YABUKI （大阪大学 大学院工学研究科 環境エネルギー工学専攻）
DOI 10.1016/j.aei.2021.101281
https://authors.elsevier.com/sd/article/S1474-0346(21)00036-7

なお、本研究は、日本学術振興会 科学研究費助成事業 基盤研究の一環として行われました。