建物を取り壊した後の景観を可視化した結果の一例＜その他の例は図３に掲載＞

大阪大学大学院工学研究科の菊池拓哉さん（博士前期課程）、福田知弘准教授、矢吹信喜教授らの研究グループは、取り壊す建物とその背景となる３次元モデルを事前に準備することなく、取り壊し対象である建物を自動的に検出し、その建物が取り壊された後に現れる背景映像を深層学習で推定して自動的に補完することにより、リアルタイムに仮想除去するDR法を開発しました。

既成市街地において再開発プロジェクトを推進するとき、計画内容について利害関係者（発注者・施主、計画設計者、行政、市民など）により合意形成を行う必要があります。計画中のプロジェクト内容をシミュレーションして可視化することは、利害関係者の理解を支援できるため、建物を取り壊した後の景観を可視化する方法が模索されています。フォトモンタージュは実用化されている画像ベースの方法ですが、近年では、将来景観を会議室だけでなく、プロジェクトの現場でリアルタイムに可視化する方法が検討されています。

これまで、建物を取り壊したあとの屋外景観を可視化するためには、取り壊す建物とその背景となる３次元モデルを事前に準備する必要がありました。３次元モデルのデータ量が増加するにつれて、シミュレーションの実行速度が低下してしまうことも課題です。これらを解決するために、本研究は、セマンティックセグメンテーションとGAN、リアルタイム通信技術を組み合わせることにより、３次元モデルを事前に準備することなく建物を取り壊した後の景観をリアルタイムに可視化するDR方法を開発しました。

図1は、モバイル端末で取得した現状の景観映像から、サーバー側で除去する建物を自動的に検出・マスク化し、マスク領域を自動的に補完し、モバイル端末にDR結果を表示するフローを示しています。まず、モバイル端末のカメラから現状の景観をフレームとして取得し、サーバーPCに送信します。サーバーPCでは、受信したフレームからセマンティックセグメンテーションを用いて取り壊す建物を自動的に検出しマスク処理します。そしてGANを用いて、取り壊す建物の背景を推定し、マスク化した領域を補完します。そのDR結果をモバイル端末に送信し、表示します（図2）。

本研究はさらに、GANがどの程度の精度で補完できるのかを人間の色覚に沿って評価しました。この評価方法ではCIE Lab色空間と呼ばれる人間の色覚に合わせた色空間に対し、生成した画像と正解画像の対応する画素同士で色の差分を計算します。そして、その差が許容範囲である画素の割合を求めることで補完結果を評価します。この指標を用いて、GANを学習させるときに用いるデータセットに応じて、補完精度がどの程度変化するのかを評価しました（図3）。

提案した方法をもとにDRシステムを実装し、大阪大学吹田キャンパスで検証実験を行いました。実験の結果、検討対象地域にモバイル端末を持って行きインターネットに接続すると、建物を取り壊した後の景観をリアルタイムに可視化できることが示されました。さらに、人間の色覚に沿った定量的な精度評価を行うことが可能であることを確認しました。

図1. 提案方法の概要。モバイル端末で取得した現状の景観映像をサーバーPCに送信します。サーバーPCで受信した画像から対象建物を検出し、マスクを生成します。マスク画像から補完する領域を設定し、補完すべき領域周辺の特徴から自動的に補完します。その補完結果を、取り壊し後の将来景観として、モバイル端末に送信し、DR表示します。

図2. 実装したDRシステムにより可視化した、建物を取り壊した後の将来景観（Output frame）
Input frame：入力画像（現状の景観）、Output mask：建物を自動検出しマスク化した結果、Output frame：GANで建物領域を自動補完した結果、Ground truth mask：maskの正解画像、Ground truth：output frameの正解画像

図3. ２種類のデータセット（GSV: Google Street ViewとImageNet）を用いてGANで補完した結果と正解画像の比較、および補完精度の比較の例：背景要素と補完領域の大きさ、学習データセットの種類によって補完精度（色の違いを示すΔE^*₀₀が閾値以下の割合で評価）がどの程度変化するのかを評価した。

都市での再開発プロジェクトにおいては、既存の古い建物を取り壊して、広場などオープンスペースに転用したり、新たな都市空間を造るまでの遊休地活用など、スケールダウンを含めた空間利用が想定されます。利害関係者で合意形成を図りながらプロジェクトを進めることは必須であり、プロジェクトの内容をわかりやすく可視化することが求められます。本研究で提案したDR法により、建物を取り壊した後の景観シミュレーションが少ないコストでリアルタイムに可能となるため、再開発プロジェクトでの活用が期待されます。また、この取り組みは、建築・建設分野におけるDX（デジタル・トランスフォーメーション）に寄与することができます。

本研究成果は、2022年7月27日（水）（日本時間）に、学術雑誌「Journal of Computational Design and Engineering」（Oxford University Press）にオンライン掲載されました。

タイトル: “Diminished reality using semantic segmentation and generative adversarial network for landscape assessment: Evaluation of image inpainting according to colour vision (セマンティックセグメンテーションと敵対的生成ネットワークを用いた景観アセスメントのための隠消現実：色覚に応じた画像補完の評価)”
著者名:Takuya KIKUCHI, Tomohiro FUKUDA, and Nobuyoshi YABUKI (大阪大学　大学院工学研究科　環境エネルギー工学専攻)
DOI: https://doi.org/10.1093/jcde/qwac067

なお、本研究は、日本学術振興会　科学研究費助成事業　基盤研究の一環として行われました。

福田 知弘 准教授 研究者総覧
https://rd.iai.osaka-u.ac.jp/ja/d2782e4b9c864b39.html