複数台建設ロボットの動的協働システムによる 自動土砂運搬作業の公開実証実験について

複数台建設ロボットの動的協働システムによる 自動土砂運搬作業の公開実証実験について

2023-8-8工学系
工学研究科助教末岡裕一郎

概要

東京大学、成蹊大学、九州大学、土木研究所、大阪大学の共同チームは、2023年8月23日に九州大学伊都キャンパス内にある実験フィールド(以下、九大実験フィールド)にて、複数台の建設ロボットによる動的な協働システムによる土砂運搬アルゴリズムを紹介し、複数台の実建設機械を用いた土砂運搬作業の公開実証実験を行います。
この実証実験は、内閣府・科学技術振興機構が推進するムーンショット型研究開発事業・目標3「自ら学習・行動し人と共生するAIロボット」の一環として実施されます。これには、「多様な環境に適応しインフラ構築を革新する協働AIロボット」のプロジェクトが展開されており、プロジェクトマネージャーとして、永谷圭司氏(東京大学大学院工学系研究科 特任教授)が指揮を執っています。
この実証実験により得られる洞察や成果は、将来の小型建設ロボットによるインフラ構築技術の進展に対して重要な寄与をすることが期待されています。それにより、災害時の対応策や自動化された建設作業の実現などへの応用が可能となり、この分野の未来を切り開く可能性が見込まれます。

本共同チームは、この実証実験を通じて、より安全かつ効率的なインフラ構築を実現することを目指しています。またこの取り組みが、社会におけるロボット技術の更なる発展に寄与することを願っています。

複数台建設ロボットの協働システムによる土砂運搬作業について

本研究開発プロジェクトは、「2050年までに、AIとロボットの共進化により、自ら学習・行動し人と共生するロボットを実現」するというムーンショット目標に向けて取り組んでおります。特に、「人が活動することが難しい環境で、自律的に判断し、自ら活動し成長するAIロボット」の実現に向けて貢献することを目指しています。自然災害現場や月面などの難環境において、設定された目標タスクを実現するためには、ロボットが、変化する環境に臨機応変に対応する必要があります。しかしながら、このようなロボットのアーキテクチャやアルゴリズムは、これまで存在しませんでした。

上記の「環境に臨機応変に対応するロボットシステム」を実現するためには、各ロボットのパフォーマンスを自己分析しながら、想定外の事象に対応するために、動的にチーム編成を変更しつつ目標タスクを達成する「複数台建設ロボットによる協働作業」が有効と考えられます。そこで、本プロジェクトでは、チームの再編成を実現する「動的協働AI」の実現を目指すこととしました。

まず、河道閉塞災害という自然災害現場にも応用可能な、土砂運搬タスクの実現を対象とし、変化する環境下で動的にチーム編成が可能な「動的協働AI」のアルゴリズムを構築しました。このアルゴリズムを実証するため、「動的協働AI」を搭載した複数台建設ロボットの動力学シミュレータ上での土砂運搬動作を実装しました。さらに、6台の3tクラスの実建設ロボットを使用した土砂運搬動作を実装し、「動的協働AI」の実機検証を繰り返し行ってきました。これらの実証実験により、複数台建設ロボットの協働システムによる土砂運搬作業において、「動的協働AI」の有効性と可能性を示す成果が得られてきました。これにより、今後のロボット技術の進化と災害対応において重要な洞察を得ることが期待されています。

提案システムの特徴

本プロジェクトで実現した「複数台建設ロボットの協働システムによる土砂運搬作業」には、これまでにない特徴があります。以下に、本提案システムの4つの特徴を記します。

1)建設ロボットの数が少ない場合、複数台のロボットを中央集権的に制御することは、それほど難しくありません。しかしながら、ロボットの台数が増大した場合や、作業環境の変化やロボットの故障などが発生する状況への対応を実現するためには、状況に応じて無秩序状態から中央集権的な秩序状態を変化させることが可能な構造化(チーム編成)が必要であると考えられます。
そこで、本プロジェクトでは、自律分散システムにより、動的にチーム編成が可能な小型建設ロボット群システムの構築を行いました。チーム編成の立ち位置を図1に示します。図の左側は無秩序状態を、右側は、中央集権的な秩序状態を表します。本プロジェクトで提案するチーム編成は、その中間に位置します。

本プロジェクトで実現を目指す土砂運搬では、チームリーダーである油圧ショベルが複数台のダンプトラックを集めてチームを編成します。各チームは、与えられたエリアで、油圧ショベルとダンプトラックによる「掘削→積込→運搬→放土」という一連の土砂運搬動作を実施します。しかし、作業効率が上がらない場合や、ダンプトラックの故障などにより、チームのパフォーマンスが低いことをチームリーダーが認識した場合、他のチームリーダーと交渉を行い、余裕のあるチームからダンプトラックを譲り受けることで、チームを拡大します。これにより、全てのチームが納期に間に合わせることができます。本プロジェクトでは、このようなアルゴリズムを開発しました。複数のチームが自律分散的にタスクを行いつつ、交渉により、全体のパフォーマンスを維持することが可能なシステムは、これまで他に類がなく、これが本システムの最大の特徴です。

20230808_2_1.png

図1. チーム編成の立ち位置

2) 一般に、屋外環境における建設ロボットの位置推定手法には、GNSS(Global Navigation Satellite System)が利用されます。しかしながら、河道閉塞災害が発生すると想定される深い谷間などでは、GNSSの信号が不安定となるため、この手法が適用できない場合もあります。一方、建設機械に搭載したセンサを用いて環境情報を取得し、自己が有する地図情報と照合することで位置推定を行う手法も提案されています。しかしながら、この種の手法の成否は、対象とする環境の特徴量の大きさに依存するという問題があります。
そこで、本プロジェクトでは、作業環境内に据置型の三次元レーザ距離センサ(3D-LiDAR)を設置し、そのセンサから得た建設機械の点群データと、建設機械の形状モデルを照合することによって、建設車両機械の位置と姿勢を推定するシステムを実現しました(図2左)。これにより、GNSSを利用せずとも、建設ロボットの位置が推定できること、また、センサがカバーした領域内では、建機以外の移動物体認識も可能となるため、万が一、環境内に作業員が侵入したとしても、その状況をシステムが認識できるため、作業員の安全に貢献することができるといった特徴を持ちます。加えて、作業の進捗状況について、オペレータに対して可視化もできます(図2右)。

20230808_2_2.png

図2. 位置推定のためのシステム構成(左図)、システムが建設ロボットの位置情報を認識した結果を画面上に表示した結果(右図)

3)複数台の建設機械が連携しながら大きな仕事を完遂するためには、建設機械の相互運用が可能であることが必要です。従来の建設工事では、オペレータや監督者が会話することで、協力しながら工事を進めていました。これを建設ロボットに置き換えるためには、建設ロボット同士のコミュニケーションが必須です。しかしながら、これまで、このコミュニケーションに用いる建設ロボットのインターフェースについては、ルール化されていませんでした。これは人間に例えると、会話に用いる言語がひとりひとり異なっている状態といえます。そこで、本プロジェクトでは、(国研)土木研究所が提案する「建設機械の共通制御信号」に準じたコミュニケーション用のインターフェースを利用しました(図3)。これにより、建設ロボット間の相互運用が容易になり、開発スピードが大幅に向上すると共に、開発成果物の再利用性も担保できます。

20230808_2_3.png

図3. 共通制御信号による建設ロボットの制御

4)施工現場では、実際に計画通りに施工されているかを、施工中あるいは施工後に確認することが必須です。しかし、建設ロボットによる自動施工現場では、さまざまな建設ロボットが行き交うため、人は安全のために、現場内に立ち入ることはできません。そこで、本プロジェクトでは、施工現場にあらかじめ「センサポッド」と呼ばれる無線通信機能付センサシステムを複数台配置して情報収集を行い、人が立ち入れない現場において、施工中の様子を仮想的に確認できるシステムを開発しました(図4)。各センサポッドには、カメラや3D-LiDARを搭載し、施工現場のセンサデータを5G回線(ドコモ・5GSA)によりリアルタイムで収集可能です。収集したデータは、バーチャルリアリティ技術を利用して提示することで、あたかも施工現場内にいるような感覚で施工現場を確認できます。

20230808_2_4.png

図4. 本プロジェクトで開発したセンサポッドシステムの概要

公開実験内容

本公開実験では、「環境に臨機応変に対応するロボットシステム」を目指し、これまでに開発してきた動的協働アルゴリズムによる土砂運搬作業シミュレーションと、この一部を実装した実機による土砂運搬作業実験をご覧頂きます。

複数小型建設ロボットの動的協働システムによる土砂運搬作業シミュレーション
本公開実験では、まず、三次元シミュレータ(Vortex Studio)上で実現した、複数小型建設ロボットの動的協働システムによる土砂運搬作業をご覧頂きます。これにより、提案する動的協働アルゴリズムの有用性をご覧頂きます。このシミュレータでは、1台の油圧ショベルと複数台のダンプトラックが1つのチームを形成し、4つのチームで土砂運搬作業を実施します。本シミュレーションの重要なポイントは、各チームで作業のパフォーマンスを確認しつつ、問題が発生して納期が遅れそうな場合には、チームの再編成を行った上で土砂運搬作業を継続することです。

複数小型建設ロボットの動的協働システムによる土砂運搬作業の動作実験
複数小型建設ロボットの動的協働システムによる土砂運搬作業の実機動作実験では、3トンクラスのホイールローダ1台とクローラダンプ2台、また、バックホウ1台とクローラダンプ2台で、それぞれチームを構成し、自動土砂運搬作業を行います。土砂山の位置と土砂捨て場の位置は事前に与えられており、チームリーダーである油圧ショベルの指示にしたがって、各建設ロボットは、動作を行います。ただし、走行経路や障害物回避などは、各建設ロボットが実行します。各建設ロボットには、GNSS(Global Navigation Satellite System)やLiDAR(Light Detection And Ranging)などの位置計測できるセンサを搭載せず、代わりに環境側に設置した4つのLiDARを用いて、6台の建設ロボットの位置と姿勢、掘削中の土砂形状を含む環境情報を計測します。これらのセンサから得た環境情報は、6台の建設ロボットが共有し、状況に応じて土砂運搬作業計画を動的に修正します。
この実機実験においても、作業中、1つのチームで1台のクローラダンプが故障で停止した場合(本実験では、故意に停止させます)、動的協働アルゴリズムにより、故障が起きていない別のチームから車両を自動的に呼び寄せ、チームの再編成を行った上で運搬作業を継続します。

20230808_2_5.png

複数建設ロボットによる実機実験のイメージ

センサポッドによる現場環境の提示実験
上記の実機実験の動作中、予めフィールド内に設置した無線通信機能付センサシステム(センサポッド)が取得したセンサデータをVRゴーグルならびにディスプレイに提示します。この情報の可視化により、フィールド外にいる人がフィールド内の施工状況をリアルに取得することが可能となります。


今後の展望

本研究開発の2025年の目標は、複数台の建設ロボットが、さまざまな状況の変化に対応しながらチームを再編成し、土砂運搬タスクを含む目標タスクを実施することです。今後、上述の目標を達成するため、動的協働アルゴリズムに関する研究開発を更に進めると共に、さまざまなタスクを実現可能なシステムを実現していきたいと考えております。

参考URL

ムーンショット型研究開発事業・目標3:https://www.jst.go.jp/moonshot/program/goal3/index.html
CAFEプロジェクト :https://moonshot-cafe-project.org/
CAFEプロジェクト YouTube :https://www.youtube.com/@MS-CAFE/featured
東京大学 浅間研究室 :http://www.robot.t.u-tokyo.ac.jp/asamalab/
成蹊大学 竹囲研究室 :http://takeilab.lsv.jp
土木研究所 :https://www.pwri.go.jp/
九州大学 倉爪研究室 :https://robotics.ait.kyushu-u.ac.jp/
大阪大学 大須賀・杉本研究室:https://www-dsc-mech.eng.osaka-u.ac.jp/

CAFEプロジェクトとは

永谷PMが推進する「多様な環境に適応しインフラ構築を革新する協働AIロボット」(Collaborative AI Field robot Everywhere、CAFEプロジェクト)は、状況の変化に応じて臨機応変に対応できるロボットの実現を目指しています。プロジェクトを進めるにあたり、この「臨機応変に対応する能力」を、「身体」「判断」「行動」の3要素に分け、並行して研究開発を行うこととしました。
 臨機応変に環境に適応するロボットの「身体」を実現するため、「環境になじむロボットのハードウエア」を構築します。また、周辺環境の変化に応じた「判断」を実現するため、様々なセンシングデータによって環境を評価する「メニーモーダル環境評価AI技術」の研究開発を行います。さらに、臨機応変なロボットの「行動」を実現するため、複数台ロボットによる「動的協働Physical AI技術」の研究開発を行います。この三つが上手く組み合わさることで、状況が変化する環境下でも臨機応変に対応できるフィールドロボットが実現でき、「自然災害に対する応急復旧」や「月面における拠点構築」の現場において、その技術が生かされると考えています。