植物の画像から、葉に隠れた見えない構造を再現
画像解析と人工知能でつくる未来の栽培技術
研究成果のポイント
・植物を複数方向から撮影した画像から、植物の三次元「枝構造」を正確に再現する手法を開発。
・これまでの三次元復元手法では、葉などに隠れた「見えない部分」の再現が困難であったが、人工知能（深層学習）技術により見えない部分の枝構造を推定することで、枝全体の構造を高精度に再現することが可能になった。
・果樹などの栽培において、日々の成長を把握し、緻密な管理を行うことが品質の鍵となる。人工知能と映像解析により植物をモニタリングすることで、栽培従事者の目の行き届かない細部（枝葉の構造）まで植物を観察し、栽培従事者の省力化と生産物の高品質化を両立する未来の栽培技術への応用が期待される。
概要
大阪大学産業科学研究所の大倉史生助教らの研究グループは、画像解析および人工知能技術を応用し、植物を複数方向から撮影した画像から、葉などに隠れた部分も含む植物の枝構造を正確に再現することに世界で初めて成功しました （図1） 。
果樹など植物の栽培において、日々の成長を枝・葉レベルでくまなく把握し、適切な管理を行うことが品質向上の重要な鍵になります。そこで、カメラを使った画像解析による栽培管理が注目されています。特に、画像から植物の形や構造を自動推定することは、栽培の省力化と生産物の高品質化を両立する上で欠かせない技術です。これまで、複数の方向から撮影された画像群から物体の三次元形状を再現する、三次元復元 の技術が多く研究されてきました。しかし、植物のように、枝が葉に隠れた構造を持つ物体については、隠れた部分の復元が困難でした。
今回、大倉助教らの研究グループは、人工知能（深層学習）の技術を用い、葉などに隠された枝の存在確率を推定し三次元復元することにより、見えない部分も含めた枝の構造を正確に再現することに成功しました （図2） 。これにより、枝ごとに作物の成長を把握・管理することや、ロボットによる作物の剪定・収穫など、未来の栽培技術への応用が期待されます。
本研究成果は、2018年6月18日～22日に開催される、コンピュータビジョンとパターン認識に関する国際会議「IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR2018)」において発表されます。
図1 三次元枝構造の再現結果
図2 手法の流れ
研究の背景
果樹などの植物の栽培において、それぞれの個体の日々の成長過程を把握し、将来の生育傾向や適切な栽培管理（剪定など）を行うことは、高品質な作物を生産するうえで非常に重要です。しかし、適切な栽培管理には日々の観察と高度な知識 が要求されます。しかし、栽培従事者の減少や高齢化に伴い、栽培従事者の省力化、栽培管理ノウハウの継承、品質の向上を両立することが困難になっています。本研究グループでは、カメラと人工知能技術を活用し、植物の状態（特に構造や成長過程）を栽培従事者の代わりに、人の目よりも高頻度・高精度にモニタリングする技術の開発を目指しています。
植物の三次元形状・構造を自動で推定することは、人工知能による栽培管理において必須の技術です。これまで、複数の方向から撮影された画像群から物体の三次元形状を再現する、三次元復元の技術が多く研究されてきました。しかし、植物のように、枝が葉に隠れた構造をするような物体については、隠れた部分の復元が困難でした。
大倉助教らの研究グループは、深層学習による画像変換 技術と三次元復元を組み合わせ、画像中で葉などに隠された枝の存在確率を推定し、推定された枝位置を使って三次元復元することにより、見えない枝も含めた枝の構造を正確に再現することに成功しました。具体的には、各画像（葉つきの植物画像）を画像変換により枝の存在確率を表す画像に変換し、これを使って三次元復元を行います。「見えない物体」の三次元復元を実現する画期的な研究です。
本研究成果が社会に与える影響（本研究成果の意義）
本研究成果は、人工知能と画像解析による植物の栽培管理における基盤技術となります。将来的には、ドローンやロボットによる画像撮影により、植物の成長過程を枝葉レベルで日々管理し、最適な剪定方法を提案したり、将来の生育を予測したりする未来の栽培技術の実現に大きく寄与します （図3） 。また、植物の遺伝子発現と、植物の形状・構造・成長過程等の表現型を対応付けるための、植物科学研究の重要なツールにもなります。「見えない物体」の三次元復元という新たな問題にチャレンジしていることは、画像解析・人工知能分野においても大きな意義があります。
図3 植物構造復元による未来の栽培
特記事項
本研究成果は、2018年6月18日～22日に開催されるコンピュータビジョンとパターン認識に関する国際会議「IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR2018)」で発表されます。また、予稿がComputer Vision Foundation Open Accessに6月4日オンライン掲載されます。
タイトル：“Probabilistic plant modeling via multi-view image-to-image translation”
著者名：Takahiro Isokane, Fumio Okura, Ayaka Ide, Yasuyuki Matsushita, and Yasushi Yagi
なお、本研究は、JST戦略的創造研究推進事業さきがけ「情報科学との協働による革新的な農産物栽培手法を実現するための技術基盤の創出」研究領域（二宮正士研究総括）、研究課題「緻密な生育管理を実現する「未来栽培」のための植物の三次元構造復元と植物ライフログの構築（課題番号JPMJPR17O3）」）の一環として行われました。
研究者のコメント
本研究は、農学・植物科学の応用に根ざした研究でありながら、遮蔽物の三次元復元という問題の重要性が評価され、情報科学分野において最も権威ある国際会議の一つで発表されます。本研究が情報科学と農学・植物科学を繋ぐ架け橋の一助となることを期待しています。
参考URL
大阪大学 産業科学研究所 複合知能メディア研究分野
http://www.am.sanken.osaka-u.ac.jp/index-jp.html
用語説明
- 三次元復元
（複数方向から撮影された画像を使った）三次元復元 ：
異なる位置で撮影された画像の中で同じ部分を撮影している点を見つけると、その点までの距離がわかること（三角測量の原理）を応用することで三次元の形状を再現する方法が主流です。例えば、二台のカメラを取り付けたシステムは、一部の自動車の安全装置にも使用されています。当然、カメラから見えない（隠れた）部分は再現できません。
- 高度な知識
（栽培管理の高度な知識）：
栽培管理のための仕事は多岐にわたります。例えば、果樹の栽培などにおいては、作物がよく育つ（収量を上げる、果実の品質を改善する）ように枝を切る・曲げる（剪定・誘引）作業が欠かせません。しかし、日照、土地、品種、生育傾向など様々な要因を踏まえて最適な剪定方法を見つけることは、栽培従事者でも難しいと言われています。
- 画像変換
（Image-to-image translation[1]）：
深層学習により、あるカテゴリの画像から、対応する別のカテゴリの画像に変換する技術。例えば、学習データを与えてやれば、線画から色付きの絵に変換することなどができます。本研究では、「葉付きの植物画像」から、対応する「枝の存在確率」へ変換するよう学習します。
[1] P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros. Image-to image translation with conditional adversarial networks.Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR’17), 2017.
