航空写真の薄雲を自動で除去深層学習用建物マスク画像の自動生成

GANと3Ｄモデルで効率的に高品質な建物マスク画像の生成を実現

2021-8-20●工学系

工学研究科准教授福田知弘

深層学習モデルの学習に必要な教師データを自動的に生成する手法を提案
航空写真の中に含まれる薄雲を、敵対的生成ネットワーク（GAN）を用いて除去し、3次元モデルのテクスチャとして貼り付けることで、自動的に高品質なデータセットを生成できる
深層学習による高精度な建物検出を行うことが可能となり、土地利用調査や災害時の被害状況確認などに大きく貢献することが期待される

概要

大阪大学大学院工学研究科の大学院生（研究当時）の池野和之介さん、福田知弘准教授、矢吹信喜教授らの研究グループは、敵対的生成ネットワークによって薄雲を除去した航空写真をテクスチャとして貼り付けた3次元モデルを用いて、深層学習モデルの学習に利用するための建物マスク画像を自動的に生成する手法を提案しました（図１）。

都市計画や建設の分野では航空写真から得られる情報が広く利用されています。例えば、土地がどのように利用されているかの調査や災害発生時に被害がどの程度かを確かめるために、航空写真からの情報を利用します。また、無人航空機技術が普及したことで、リアルタイム性の高い高解像度の航空写真を多量に取得できるようになりました。そこで、多量の写真を短時間で確認するために深層学習を用いた画像セグメンテーション技術が利用されています。

深層学習による画像セグメンテーションを行うためには、多量の教師データが必要となります。教師データとは対象の画像とその画像のどこに目的の物体があるかを示したマスク画像のセットのことを指します。検出したい対象と同じ特徴を持った対象の教師データを多量に学習させる必要があります。しかし、地方都市など教師データが提供されていない地域も多く存在し、多くの教師データはマニュアル操作によって作成されていることから新しいデータセットの作成には時間がかかるという課題があります。そこで効率的に教師データを生成するために、GANによって雲を除去した航空写真付き3次元モデルを用いた建物マスク画像自動生成手法を提案しました（図２）。

開発したプロトタイプシステムは、汎用的なゲームエンジン上で航空写真をテクスチャとして貼り付けた3次元モデルをクラス分けし、表示させるクラスを切り替えることで仮想的なカメラから教師データとなるマスク画像と航空写真を出力します。次に、敵対的生成ネットワークによって航空写真上の雲を除去することで、高品質なデータセットを自動的に出力します。プロトタイプシステムによって出力したデータセットを深層学習モデルに学習させ、鳥取県の境港市を対象に、その建物検出精度を検証しました(図３)。

図1. 提案手法の概要。航空写真付きの3次元モデルをゲームエンジン上で建物のみとその他に分類し、これらを切り替えながら、仮想的なカメラでマスク画像と航空写真を自動的に出力します。
その後、出力した航空写真に含まれる雲を、GANを用いて除去することで、高品質なデータセットを自動的に出力します。

図2. 敵対的生成ネットワークによって雲を除去した結果と正解画像の比較 Input images (include clouds)：入力画像（雲を除去する前の航空写真）、Output images by GAN
（proposed method）：敵対的生成ネットワークによって雲を除去した結果、Truth images：正解画像

図3. プロトタイプシステムによって出力したデータセットを学習した深層学習モデルの建物検出結果
Input：入力画像（建物を検出したい画像）、Prediction（_baseline）：建物検出結果（GANによる雲除去を行わなかった場合）、Prediction（_thin cloud removal）：建物検出結果（GANによる雲除去を行った場合）、Truth：正解画像

本研究成果が社会に与える影響(本研究成果の意義)

本研究で提案した手法を用いることで、現在、教師データセットの提供されていない地域においても深層学習によってより高精度に建物を検出することができ、土地利用調査や災害時の被害状況確認などをより効率的に行うことができるようになります。

本手法はデジタルツイン化が今後さらに進むことで航空写真上の建物に限らず様々な対象に用いることができるようになります。航空写真上の道路や河川、人視点の画像から見た建物など様々な対象の教師データセットの自動生成が可能になると期待されます。また、本手法により作成可能なマスク画像は深層学習用の教師データとしての利用に限らず、都市把握のための可視化などに利用することが可能であると考えられるため、都市計画、建設分野などに大きく貢献することが期待されます。

特記事項

本研究成果は、2021年8月12日（木）（日本時間）に、学術雑誌「Advanced Engineering Informatics」（エルゼビア社）にオンライン掲載されました。

タイトル：“An Enhanced 3D Model and Generative Adversarial Network for Automated Generation of Horizontal Building Mask Images and Cloudless Aerial Photographs
（敵対的生成ネットワークによって薄雲を除去した航空写真付き3次元モデルを用いた深層学習用建物マスク画像自動生成手法）”
著者名：Kazunosuke IKENO, Tomohiro FUKUDA and Nobuyoshi YABUKI （大阪大学大学院工学研究科環境エネルギー工学専攻）
DOI ： https://doi.org/10.1016/j.aei.2021.101380

なお、本研究は、日本学術振興会科学研究費助成事業基盤研究の一環として行われました。

参考URL

福田知弘准教授　研究者総覧URL
https://rd.iai.osaka-u.ac.jp/ja/d2782e4b9c864b39.html

SDGs目標

用語説明

深層学習

人間が自然に行うタスクをコンピュータに学習させる機械学習の一手法で、人工知能（AI）の発展を支える技術。

敵対的生成ネットワーク（GAN）

生成モデルの一種であり、データから特徴を学習することで、実在しないデータを生成することや存在するデータを特徴に沿って変換したデータを生成することができる技術。

GAN: Generative Adversarial Networks

デジタルツイン

各種センサから取得した情報を用いて、仮想世界に現実世界を忠実かつリアルタイムで再現する仕組み。

キーワード

深層学習敵対的生成ネットワーク（GAN）マスク画像 SDGs

この研究についてひとこと

福田知弘