洪水リスクを可視化！サーバレンダリング型MRを開発

浸水予測を手元のスマホで簡単に

2024-5-28●工学系

工学研究科准教授福田知弘

気候変動による豪雨災害など都市部での浸水リスクが高まっているなか、浸水予測結果を現実の景観にリアルタイムに重ね合わせるMR（Mixed Reality：複合現実）表示が可能に。
MR表示のレンダリングをサーバで行うことで、計算性能の制約を軽減。さらに、複数のモバイル端末が同時にアクセスした場合でも、最適なレンダリングサーバに自動的に割り当てることで、リアルタイムで浸水予測のMR可視化が可能に。
スマートフォンなどのWebブラウザで表示することが可能で、専用のアプリケーションのインストールは不要。多くのユーザが浸水予測のMR可視化に参加できることが期待される。

図1. 提案方法により、予想される浸水面を現実空間に重ね合わせ、スマートフォンで表示したMR映像の例。地点（a）においては浸水面の下から、地点（b）、（c）は歩道橋の上から浸水面を見ている。

概要

大阪大学大学院工学研究科の辻本椋真さん（２０２４年３月博士前期課程修了）、福田知弘准教授、矢吹信喜教授らの研究グループは、浸水予測を直感的に共有するために、インターネット通信とサーバレンダリングによってモバイル端末のwebブラウザで可視化できるMRシステムを提案、開発しました。

気候変動により激甚化する災害に対して都市全体のレジリエンスを高めるためには、専門家だけに限らず、一般市民も自身に関係する災害リスクを正しく理解することが必要です。そこで、MRを用いた災害リスクの可視化が注目されています。豪雨災害などによる浸水リスクについては、MRによって現実の景観に仮想の浸水を重ね合わせて再現することで、現実環境に即した体験が可能になります。しかし、MRの表示には高い計算性能が必要になることがあります。実際に都市環境でMR表示をするためにはスマートフォンやタブレットなどを利用しますが、これらのモバイル端末はGPUやバッテリーの性能が十分でなく、表示できる範囲を狭めるなど表示する情報量を減らす処理が事前に必要であり、都市の広い範囲でMR表示を行うことが困難でした。

今回、研究グループは、MR表示のレンダリングをサーバで行うことで、計算性能の制約を軽減しました。さらに、複数のモバイル端末が同時にアクセスした場合でも、最適なレンダリングサーバに自動的に割り当てることで、リアルタイムで浸水予測のMR可視化が可能になりました。専用のアプリケーションのインストールは不要で、スマートフォンなどのWebブラウザで表示することが可能です。

MRシステムにより、多くのユーザが個別の視点から、それぞれの持つリスクを詳細に理解することが可能になります。また、サーバの高い処理性能をMRに利用できるため、深層学習を利用するなど、モバイル端末だけでは不可能だった新しい表現が可能になります。

本研究成果は、２０２4年4月24日（水）（日本時間）に、学術雑誌「Environmental Modelling & Software」（Elsevier社）にオンライン掲載されました。

研究の背景

気候変動によって、都市部における豪雨災害が世界的に問題になっています。局地的大雨や集中豪雨、河川の氾濫などによって引き起こされる浸水被害について、数値シミュレーションによる予測が行われています。このような数値シミュレーションの結果は一般的にハザードマップなどの平面地図として表示されることが一般的ですが、地図の縮尺によってはリスクを詳細に検討することが難しく、住民それぞれが浸水リスクを理解するのが困難な場合があります。

そこでVR（Virtual Reality：仮想現実）やMRなどのXR（Extended Reality：エクステンデッドリアリティ）技術を用いて、浸水シミュレーションの結果を直感的に可視化することが研究されています。現実の都市を模したデジタルツイン上で浸水状況を計算し、XRで仮想的に浸水を体験することで、水害などの専門家以外でも浸水リスクを理解するのが容易になることが報告されています。特に、MRによって現実の景観に仮想の浸水を重ね合わせて再現することで、現実環境に即した体験が可能になり、浸水リスクの理解に繋がるとされています。

しかし、MRを表示するためには、高い計算性能が必要になることがあります。実際に都市環境でMR表示をするためにはスマートフォンやタブレットなどを利用しますが、これらのモバイル端末はGPUやバッテリーの性能が十分でなく、表示できる範囲を狭めるなど表示する情報量を減らす処理が事前に必要であり、都市の広い範囲でMR表示を行うことが困難でした。

研究の内容

本研究ではMR表示に必要な計算処理のうちレンダリング処理をインターネットを介してサーバにオフロードするシステムを提案し、開発しました。

図2は本研究で提案、開発したシステムのワークフローを示したものです。事前に浸水シミュレーションを行い、予測される浸水深を計算します。この計算結果について、地理情報と対応する浸水深を高さ情報として、浸水面を３次元モデルとして再現します。この浸水モデルを建物などの３次元形状を含む都市デジタルツインモデルと合成します。図３に都市デジタルツインモデルと浸水モデルを合成した３次元モデルを示します。

図2. 提案したシステムの全体概要。最上段「事前準備」は事前に行う準備手順を表しており、下段「MR表示」はMR表示を実行する際のフローを示している。

図3. 浸水都市モデルの例。このモデルは南北方向2 km、東西方向2.5 kmの範囲における浸水を再現している。また、浸水面の高さだけでなく、浸水の流速も色変化によって示すことができる。

浸水を再現したモデルを事前に作成した後、これをMRで現実空間に重ね合わせて表示します。MR表示を開始する際には、まずユーザ端末からwebブラウザを用いて、MRシステムのURLにアクセスします。MRシステムはユーザを割り振る分配サーバが１台と3次元モデルをレンダリングするレンダリングサーバが複数台待機しており、MRシステムにアクセスしたユーザ端末は、各レンダリングサーバの負荷状態に合わせて、分配サーバによって最適なレンダリングサーバに割り振られます。この分配サーバの導入によってレンダリング負荷を分散することで多くのユーザが同時にMR体験に参加できるようになります。

ユーザ端末がレンダリングサーバに割り振られた後は、レンダリングサーバとユーザ端末間で直接インターネット通信を行います。このシステムではモバイル端末内で位置姿勢を推定し、推定されたカメラ姿勢をレンダリングサーバに送信し、ゲームエンジン内の仮想カメラに反映、浸水モデルをレンダリングします。このとき、建物など浸水面以外の部分はモバイル端末内で透過処理され、現実の風景が合成されます。この位置情報推定から、レンダリング、現実風景との合成を繰り返すことで、浸水予測のMR表示が可能になります。

図１にこのシステムを利用してMR表示した際の結果映像の一例を示します。都市モデルを利用し浸水面を適切に隠すことでオクルージョン問題を解決し、現実の風景と自然に合成することが可能になっています。また、レンダリングにサーバを利用することで広範囲の浸水予測をリアルタイムにMR表示することが可能になりました。

本研究成果が社会に与える影響(本研究成果の意義)

気候変動により激甚化する災害に対して都市全体のレジリエンスを高めるためには、専門家だけに限らず、一般市民も自身に関係する災害リスクを正しく理解することが必要となっています。そこでMRを用いた災害リスクの可視化が注目されています。本研究で提案、開発したMRシステムは大規模かつ情報量が多い大容量の3Dモデルを用いたMR表示を、多数のユーザが低遅延で体験することができます。そのため、多くのユーザが個別の視点から、それぞれの持つリスクを詳細に理解することが可能になります。また、サーバの高い処理性能をMRに利用できるため、深層学習を利用するなど、モバイル端末だけでは不可能だった新しい表現が可能になると考えています。

特記事項

本研究成果は、２０２4年4月24日（水）（日本時間）に、学術雑誌「Environmental Modelling & Software」（Elsevier社）にオンライン掲載されました。

タイトル: “Server-enabled mixed reality for flood risk communication: On-site visualization with digital twins and multi-client support (浸水シミュレーションのためのモバイル複合現実感システム：デジタルツインとマルチユーザー対応を具備するオンサイト可視化)”
著者名:Ryoma TSUJIMOTO, Tomohiro FUKUDA, and Nobuyoshi YABUKI (大阪大学　大学院工学研究科　環境エネルギー工学専攻)
DOI: https://doi.org/10.1016/j.envsoft.2024.106054

参考URL

福田知弘准教授研究者総覧
https://rd.iai.osaka-u.ac.jp/ja/d2782e4b9c864b39.html

SDGsの目標

用語説明

MR（Mixed Reality：複合現実）: 現実世界とバーチャルが割合に関係なく混合されている状態、及び、それを実現するための技術のこと。MRの実現には、センサー、ディスプレイ、コンピュータビジョン、デバイス間の相互作用など、多様な技術が組み合わさっており、リアルタイムで環境を認識し、適切なバーチャルコンテンツを統合するために使用される。
レンダリング: 数値データとして与えられた物体や図形に関する情報を計算によって画像化する処理のこと。3Dモデルやシーンを2D画面に変換するための手段。
オクルージョン: 現実に存在する物体と仮想空間の3Dモデルの前後関係を正しく反映し、現実物体の後ろに存在する3Dモデルを隠す処理のこと。3Dモデルを正しく隠すことで、MR映像への没入感を高めるほか、3Dモデルが現実に存在する位置を正しく認識することにもつながる。

キーワード

分散コンピューティング複合現実（MR）リアルタイム可視化リモートレンダリングリスクコミュニケーションウェブベース建造環境 SDGs

この研究についてひとこと

福田知弘