障害物を除去し建物ファサードの全景を効率的に復元する方法を開発

セグメンテーションで自動検出、除去領域をGANで補完

2021-9-7工学系

研究成果のポイント

  • 建物ファサード の全景を効率的に復元するために、画像に含まれる不要なオブジェクト(歩行者、ライダー、植栽、自動車など)の自動除去と除去領域の補完(インペインティング)のための一般的なフレームワークを提案しました。この方法を実現するため、深層学習のオブジェクト検出と画像インペインティング技術を応用しています。
  • 都市景観の写真から建物ファサードの有無や建物前景に不要オブジェクトがあるかどうかを分類するためにストリートビュー画像を用いて多量の学習データセットを構築しました。また、除去領域を高精度にインペインティングするために敵対的生成ネットワーク(GAN) を学習させる必要がありデータセットを構築しました。
  • 提案した方法と開発したシステムは、背景情報を事前に入手できない都市景観プロジェクトを扱う際に、これまで扱われてきた方法よりも効率的です。

20210907_1_fig0.png

図 オブジェクトの自動除去とファサード補完の実験結果(中央の列)の一例<その他の例は図3に掲載>

概要

大阪大学大学院工学研究科の大学院生の張嘉新さん(博士後期課程)、福田知弘准教授、矢吹信喜教授らの研究グループは、背景情報を事前に取得することなく、都市景観写真に含まれる不要な物体を自動的に検出し、そして除去領域に対して建物ファサード情報を事前に取得することなくインペインティングすることで、 建物ファサードの全景を復元する方法を開発しました。

都市景観写真に含まれる不要なオブジェクトの自動除去技術は、都市景観の調査分析や環境影響評価のために必要であり広く研究されています。検討対象である建造物の手前に不要なオブジェクト(歩行者、ライダー、植栽、自動車など)が存在していると、建造物の現状調査や設計時の妨げになってしまいます。そこで、不要な視覚的要素を仮想的に除去することにより、計画・設計者や施工管理者などの専門家だけでなく、住民・利用者などのステークホルダーは、不要なオブジェクトを除去した後の景観を直感的に理解することができ、周辺環境への影響を具体的に検討しながら、合意を形成することができます。

これまで、このようなオブジェクト除去作業は、除去後に補完するファサード情報を事前に取得する必要があり、手間と時間がかかっていました。その課題解決のために、まず、不要なオブジェクトを高い精度で自動検出・除去し、それらのオブジェクトで遮蔽されていた建物のファサード情報をインペインティングすることで、もっともらしい建物全景画像を生成することが、本研究の目的です。

図1は、セマンティックセグメンテーションと敵対的生成インペインティングを用いて、建物前景の障害物を自動除去して建物ファサード情報を補完するワークフローを示しています。まず、GAN(敵対的生成ネットワーク)ベースの画像インペインティングのために、建物ファサードの学習用データセットを作成する必要があります。このための写真は、ストリートビューサービスから入手して、分類器を使ってクリーニングします。次に、Cityscapesデータセットに基づいたセマンティックセグメンテーションにより、ストリートレベルでの障害物を検出・除去します。最後に、周辺環境への注意を払いながら除去領域を補完するために、画像インペインティングを導入します。

ストリートレベルの写真に対して建物ファサードのインペインティングを高精度で実現するために、カスタマイズされたデータセットで学習することで、検出された不要なオブジェクト領域を補完します。そのために、深層学習に基づく画像インペインティングモデルを採用しています。図2は、データセットをカスタマイズするための作業フレームを示しています。まず、ストリートネットワークとサンプリングポイントの座標を収集します(図2a、2b)。次に、道路中心線上の隣接する2点の座標から直交するファサードのたわみ角を計算し、ストリートビューサービスから建物のファサード画像を取得します(図2c、2d)。

 データセットを作成し、インペインティングモデルを学習した後、テストデータセットと検証データセットに実装しました。図3は、オブジェクトの自動除去と建物ファサード補完の実験結果を比較したものです。画質評価の結果、提案方法は、大きな穴を短い実行時間で補完するのに適しており、生成される画像の高品質と精細さのバランスが取れていることがわかりました。総じて提案方法は、効率的かつ軽快であり、人間の視点から建築環境にある不要なオブジェクトを除去する際の影響を評価するのに役立ちます。

20210907_1_fig1.png

図1. セマンティックセグメンテーションと敵対的生成インペインティングを用いて障害物を自動除去して建物ファサードを復元するためのワークフロー

20210907_1_fig2.png

図2. 建物ファサード画像の収集方法。(a)道路ネットワーク、(b)道路の中心線上のサンプリングポイント、(c)たわみ角θ、(d)ストリートビューから得られた建物ファサード。

20210907_1_fig3.png

図3. オブジェクトの自動除去とファサード補完の実験結果(中央の列)。(a)人、(b)ライダー、(c)植栽、(d)車。

本研究成果が社会に与える影響(本研究成果の意義)

画像のオブジェクト除去処理は、街なみ景観可視化のための建物ファサード合成、ARにおけるコリジョン(衝突)問題、アーバンコンピューティングのためのデータ増強など、ファサードインペインティングと共に多くの応用可能性があります。提案方法は、街なみ景観可視化において、不要なオブジェクトを取り除いた2Dファサード画像をすばやく生成することができ、関係者の議論をタイムリーに行うことができます。提案方法とデータセットは、都市の大規模プロジェクトにおけるデジタルファサードの生成、都市景観の画像復元、物体除去後の影響分析などに適応できます。この可視化技術は、専門家と非専門家のコミュニケーションをスムーズにして、将来の都市環境デザインに関するコンセンサスの形成に役立ちます。不要なオブジェクトを自動的に除去して、障害物のある建物のファサードを費用対効果の高い方法で修復することにより、都市環境の変化が視覚に与える影響を評価し、ステークホルダー間のやり取りでの情報の劣化を改善し、再開発プロジェクトの議論へ市民参加を促すことができます。

特記事項

本研究成果は、2021年8月19日(木)に、学術雑誌「IEEE Access」(IEEE)にオンライン掲載されました。

タイトル: “Automatic Object Removal With Obstructed Façades Completion Using Semantic Segmentation and Generative Adversarial Inpainting (セマンティックセグメンテーションと敵対的生成インペインティングを用いたファサード補完による障害物の自動除去)。”
著者名:Jiaxin ZHANG, Tomohiro FUKUDA, and Nobuyoshi YABUKI
DOI:10.1109/ACCESS.2021.3106124

なお、本研究は、日本学術振興会 科学研究費助成事業 基盤研究の一環として行われました。

参考URL

福田 知弘准教授 研究者総覧URL
https://rd.iai.osaka-u.ac.jp/ja/d2782e4b9c864b39.html

SDGs目標

sdgs_9_11.png


用語説明

建物ファサード

建物の正面外観。外観として重要な面であれば側面や背面を示す場合もある。

ストリートビュー画像

撮影当日に通過した場所の様子をカメラで撮影したもの。道路沿いの風景がパノラマ写真で提供されている。

敵対的生成ネットワーク(GAN)

生成モデルの一種であり、データから特徴を学習することで、実在しないデータを生成することや存在するデータを特徴に沿って変換したデータを生成することができる技術。

GAN: Generative Adversarial Networks