大阪大学大学院工学研究科の大学院生(当時)の城戸大輝さん、福田知弘准教授、矢吹信喜教授らの研究グループは、深層学習モデルで人や自動車などの移動物体を検出し、仮想的に除去することで、再整備後の景観を現地でリアルタイムに検討できる隠消現実感(DR)システムを開発しました。

拡張現実感(AR) は、現実世界に三次元の設計モデルを加えることで、将来の景観を検討することができます。一方、DRは、現実世界にある物体を仮想的に除去することで、古くなったビルや土木構造物を撤去した後のシミュレーションができます。

景観検討用のDRはこれまで、ビルや土木構造物など動かない物体を仮想除去するシミュレーションは実現していましたが、人や自動車など移動する物体をリアルタイムに仮想除去することができませんでした。そのため、構造物が仮想除去された風景に、人や自動車がとり残されてしまうという課題がありました。

今回、福田知弘准教授らの研究グループは、深層学習(AI、機械学習の一種)によりリアルタイムに検出した物体をマスク処理 し、既報のDRシステムに統合することにより、構造物などの動かない物体と人や自動車などの動く物体をリアルタイムに仮想撤去できるDRを開発しました。これにより、ストック型社会で古くなったビルや土木構造物を解体撤去した後の風景をシミュレーションすることができ、まちづくりや景観・環境アセスメントへの応用が期待されます。

本研究成果は、学術雑誌「Environmental Modelling & Software」に、6月10日(水)に公開されました(現時点:In Press, Journal Pre-proof)。 doi 10.1016/j.envsoft.2020.104759

図1　提案したDRシステム。左が入力画像(現状)、右がDR出力画像(将来風景)。移動する歩行者が移動しないビルと共に仮想除去された。

図2　時間の変化に伴うDRの変化。歩行者は建物に向かって歩いているが、常に仮想除去された状態である。

図3　DRシステムの仕組み。Webカメラで入力した現状の映像から、移動する物体(歩行者)が深層学習により検出されて、移動しない物体(建物)と共に、マスク処理により仮想除去された風景がDR表示される。

ストック型社会において、既存のビルや土木構造物を再整備する際に、周辺の環境に配慮しながら推進することは重要な課題です。拡張現実感(AR)は、現実世界に三次元の設計モデルを加えることで、将来の景観を検討することができます。一方、隠消現実感(DR)は、現実世界の物体を仮想的に除去することができ、古くなったビルや土木構造物を解体・撤去した後の景観シミュレーションができます。これまで、景観検討用のDRは、ビルや土木構造物など移動しない物体を仮想除去するシミュレーションは実現していましたが、人や自動車など移動する物体をリアルタイムに仮想除去することができませんでした。そのため、構造物が仮想除去された風景に、人や自動車がとり残されてしまうという課題がありました。

今回、福田知弘准教授らの研究グループは、深層学習(AI、機械学習の一種)により人や自動車などの移動する物体をリアルタイムに検出し、マスク処理を加えることにより移動物体を仮想的に除去するDR手法を開発しました。これまで実現していた移動しない物体の仮想除去と、人や自動車などの移動する物体とを同時に仮想撤去できるDRとなり、より正確な景観シミュレーションが実現できます。

本研究成果により、ストック型社会で古くなったビルや土木構造物を解体撤去した後の風景をシミュレーションすることができ、まちづくりや景観・環境アセスメントへの応用が期待されます。また、DRシステムは、汎用的なゲームエンジン上で開発しており、建設ICT部門を中心として、産業分野での応用が期待されます。

本研究成果は、2020年6月10日(水)(日本時間)に、学術雑誌「Environmental Modelling &Software」(エルゼビア社)にオンライン掲載されました(現時点:In Press, Journal Pre-proof)。

タイトル:"Diminished Reality System with Real-time Object Detection Using Deep Learning for Onsite Landscape Simulation during Redevelopment(再開発プロセスでのオンサイト景観シミュレーションのための深層学習を用いたリアルタイムのオブジェクト検出を備える隠消現実システム)"
著者名:Daiki KIDO, Tomohiro FUKUDA and Nobuyoshi YABUKI
doi 10.1016/j.envsoft.2020.104759

なお、本研究は、日本学術振興会科学研究費助成事業基盤研究の一環として行われました。

本研究は、環境工学分野(環境設計)とコンピュータサイエンス(情報学)にまたがる学際領域で、実問題を解決するために、城戸さんや矢吹教授と取り組んだ内容です。都市景観検討における課題の整理と、その課題を解決するための、隠消現実感(DR)、深層学習の理解と実装という幅広い分野を、一定の研究成果としてまとめ上げることは苦労しました。研究成果が、生活の質向上に向けて、まちづくりや景観・環境アセスメント分野をはじめとする社会実装や産業化につながれば幸いです。