図 オブジェクトの自動除去とファサード補完の実験結果（中央の列）の一例＜その他の例は図3に掲載＞

大阪大学大学院工学研究科の大学院生の張嘉新さん（博士後期課程）、福田知弘准教授、矢吹信喜教授らの研究グループは、背景情報を事前に取得することなく、都市景観写真に含まれる不要な物体を自動的に検出し、そして除去領域に対して建物ファサード情報を事前に取得することなくインペインティングすることで、　建物ファサードの全景を復元する方法を開発しました。

都市景観写真に含まれる不要なオブジェクトの自動除去技術は、都市景観の調査分析や環境影響評価のために必要であり広く研究されています。検討対象である建造物の手前に不要なオブジェクト（歩行者、ライダー、植栽、自動車など）が存在していると、建造物の現状調査や設計時の妨げになってしまいます。そこで、不要な視覚的要素を仮想的に除去することにより、計画・設計者や施工管理者などの専門家だけでなく、住民・利用者などのステークホルダーは、不要なオブジェクトを除去した後の景観を直感的に理解することができ、周辺環境への影響を具体的に検討しながら、合意を形成することができます。

これまで、このようなオブジェクト除去作業は、除去後に補完するファサード情報を事前に取得する必要があり、手間と時間がかかっていました。その課題解決のために、まず、不要なオブジェクトを高い精度で自動検出・除去し、それらのオブジェクトで遮蔽されていた建物のファサード情報をインペインティングすることで、もっともらしい建物全景画像を生成することが、本研究の目的です。

図１は、セマンティックセグメンテーションと敵対的生成インペインティングを用いて、建物前景の障害物を自動除去して建物ファサード情報を補完するワークフローを示しています。まず、GAN（敵対的生成ネットワーク）ベースの画像インペインティングのために、建物ファサードの学習用データセットを作成する必要があります。このための写真は、ストリートビューサービスから入手して、分類器を使ってクリーニングします。次に、Cityscapesデータセットに基づいたセマンティックセグメンテーションにより、ストリートレベルでの障害物を検出・除去します。最後に、周辺環境への注意を払いながら除去領域を補完するために、画像インペインティングを導入します。

ストリートレベルの写真に対して建物ファサードのインペインティングを高精度で実現するために、カスタマイズされたデータセットで学習することで、検出された不要なオブジェクト領域を補完します。そのために、深層学習に基づく画像インペインティングモデルを採用しています。図２は、データセットをカスタマイズするための作業フレームを示しています。まず、ストリートネットワークとサンプリングポイントの座標を収集します（図2a、2b）。次に、道路中心線上の隣接する2点の座標から直交するファサードのたわみ角を計算し、ストリートビューサービスから建物のファサード画像を取得します（図2c、2d）。

　データセットを作成し、インペインティングモデルを学習した後、テストデータセットと検証データセットに実装しました。図３は、オブジェクトの自動除去と建物ファサード補完の実験結果を比較したものです。画質評価の結果、提案方法は、大きな穴を短い実行時間で補完するのに適しており、生成される画像の高品質と精細さのバランスが取れていることがわかりました。総じて提案方法は、効率的かつ軽快であり、人間の視点から建築環境にある不要なオブジェクトを除去する際の影響を評価するのに役立ちます。

図1. セマンティックセグメンテーションと敵対的生成インペインティングを用いて障害物を自動除去して建物ファサードを復元するためのワークフロー

図2. 建物ファサード画像の収集方法。(a)道路ネットワーク、(b)道路の中心線上のサンプリングポイント、(c)たわみ角θ、(d)ストリートビューから得られた建物ファサード。

図3. オブジェクトの自動除去とファサード補完の実験結果（中央の列）。(a)人、(b)ライダー、(c)植栽、(d)車。

画像のオブジェクト除去処理は、街なみ景観可視化のための建物ファサード合成、ARにおけるコリジョン（衝突）問題、アーバンコンピューティングのためのデータ増強など、ファサードインペインティングと共に多くの応用可能性があります。提案方法は、街なみ景観可視化において、不要なオブジェクトを取り除いた2Dファサード画像をすばやく生成することができ、関係者の議論をタイムリーに行うことができます。提案方法とデータセットは、都市の大規模プロジェクトにおけるデジタルファサードの生成、都市景観の画像復元、物体除去後の影響分析などに適応できます。この可視化技術は、専門家と非専門家のコミュニケーションをスムーズにして、将来の都市環境デザインに関するコンセンサスの形成に役立ちます。不要なオブジェクトを自動的に除去して、障害物のある建物のファサードを費用対効果の高い方法で修復することにより、都市環境の変化が視覚に与える影響を評価し、ステークホルダー間のやり取りでの情報の劣化を改善し、再開発プロジェクトの議論へ市民参加を促すことができます。

本研究成果は、2021年8月19日（木）に、学術雑誌「IEEE Access」（IEEE）にオンライン掲載されました。

タイトル： “Automatic Object Removal With Obstructed Façades Completion Using Semantic Segmentation and Generative Adversarial Inpainting （セマンティックセグメンテーションと敵対的生成インペインティングを用いたファサード補完による障害物の自動除去）。”
著者名：Jiaxin ZHANG, Tomohiro FUKUDA, and Nobuyoshi YABUKI
DOI：10.1109/ACCESS.2021.3106124

なお、本研究は、日本学術振興会 科学研究費助成事業 基盤研究の一環として行われました。

福田 知弘准教授　研究者総覧URL
https://rd.iai.osaka-u.ac.jp/ja/d2782e4b9c864b39.html

SDGs目標