コンピュータで技を伝承する基礎技術を開発

コンピュータで技を伝承する基礎技術を開発

動きのビッグデータから人工知能技術を使って運動技能の獲得を支援する

2015-10-28

本研究成果のポイント

・センサーや映像から獲得した身体の動きのデータを多数保存した「動きビッグデータ」を用いて、目標とするスキルを持つ人との運動能力差を人工知能が教示する技術を開発しました。
・これまで動きの得点化は、理想の運動力学モデルとの差異を定義することによって行われてきましたが、モデルの作成を必要とせず、動きのデータの採取のみでスキルの判定が可能になります。
・トップアスリートと自分のスキルの差は何か?といった問いから、毎日の健康管理やリハビリテーションといった医療まで、身体の理想の動きをモバイル機器が教示する応用が期待されます。

リリース概要

国立大学法人筑波大学 システム情報系 山際伸一准教授らの研究グループは、国立大学法人大阪大学 産業科学研究所 河原吉伸 准教授とミズノ株式会社(大阪)と共同で、スポーツの技を獲得するためのヒントを、動きを捉えたセンサーや映像のデータを多数収めた、いわゆる「動きビッグデータ」から、目標とする理想の動きへの道筋を教示してくれる技術を開発しました(特許出願中)。

本研究グループは、ミズノ株式会社(以下、ミズノ)が所有するおよそ2000人のランニングの動きデータを、人工知能技術をつかって数値的なスキルの「距離」として表現することにより、マラソン上位者と初心者の間には、肘、膝、足首の動きに差があることを発見しました。これをもとに、影響度を得点としてわかりやすく表すことでスキル獲得を支援する「スキルグルーピング」と呼ばれる技術を開発しました。

さらに、野球のバッティングの動きデータにもスキルグルーピングを適用することで、道具の差を数値的「距離」として表せることも発見しました。道具の差が動きに与える影響を数値化できるようになりました。

また、スキルグルーピングを、スキーのパラレルターンをモーションセンサで計測したデータにも応用したところ、これまで見た目でしか判定されない競技でも、運動能力差を数値化することに成功しました。上級者は複数回の試行でも動きの数値的「距離」が小さく、いつも同じ動作をしていることを数値的に表現できることも発見しました。

スキルグルーピングを、毎日の運動の中で使用することで、コンディショニングやリハビリテーションといった時系列での運動能力管理や健康管理に利用することができるようになります。また、これまで、「健康とは何か?」といった人工的な基準を設けるしかなく、汎用化が難しかった情報機器を、スキルグルーピングを用いて開発することができ、IoT 時代の健康管理のためのツールとなることが期待されます。さらに、スキルグルーピングを伝統芸能や意匠技術の伝承に利用すると、世界的にも喫緊の課題である「技の伝承」を人工知能で支援する新しいシステムが実現できます。

本研究の成果は、2015年10月29日からサンノゼで開催された国際会議「IEEE BigData 2015」のワークショップで発表されました。

本研究の一部は、日本学術振興会 科学研究費補助金 挑戦的萌芽研究「動きビッグデータからスキルの予測は可能か?」(研究期間:平成27~29年度)によって実施されました。

研究の背景

近年のマイクロマシン技術の発達によって、人の動きを捉えるセンサーは超小型化、高性能化し、細かに動きを捉えることも可能になりました。また、映像からも人の動きを抽出し、3次元座標値を計算から求めるといった手法がハイスピードカメラで実現されています。このような背景から、動きのデータを用いて、動きの習熟度を「スコア」という数値で表すことができないだろうか、というのが本研究のモチベーションです。これまでの動きを評価する研究としては、バイオメカニクスからのアプローチが主流であり、動きを詳細な力学モデルとして数式で表していました。この数式の定義は人の個体差のばらつきが影響するため、厳密に定義することができず、動きの種類ごとにモデルを作成するという手法が主でした。そのモデル毎の特許や論文が多数出ているのはそのためです。本研究チームは、センサーや映像からとらえた動きのデータを多数集めた「動きビッグデータ」から、運動能力の差を得られる方法を探求し、本研究成果を得ることができました。

研究内容と成果

まず、ミズノが提供するランニングフォーム診断サービス「F.O.R.M.」 のビッグデータに着目しました。およそ2000人に及ぶ、カメラで捉えた6点の部位の3次元の座標値の動きを人工知能の情報処理技術を用いて解析し、スキルの差を表示することに成功しました (図1) 。この人工知能技術では、single class SVM (Support Vector Machine)と呼ばれるデータを分類する情報処理手法を使って、データ間の差を「距離」という値で表します。この距離を多次元尺度法(近い距離のデータを固めて可視化する情報処理技術)により可視化すると、 図1 のグラフのように、ひじ、ひざ、足首に関して、マラソンでの記録が良い人から悪い人になめらかに分布することを発見しました。つまり、タイムの良い人・悪い人がグループ化され、そのグループへの「距離」が影響度として数値化できることがわかりました。これにより、 図2 のように、比較対象となるランナーのひじ、ひざ、足首の距離を元にスコアを与えることで、それらの部位が好タイムになるための影響度を表示するサービスへと発展できます。影響度の高い部位がわかれば、映像で確認することで、重点的にトレーニングする場所が特定できるようになりました。この手法を「スキルグルーピング」と名付けました。

スキルグルーピングを野球のバッティングに適用すると、バッターの間のスキルの差だけでなく、打具の差が「距離」に表れることもわかりました (図3) 。つまり、道具の差が動きに与える影響度を数値化することが可能になることを発見しました。

また、山際らは過去にスキー技能を判定するモバイルアプリを開発していましたが(参考文献1)、このアプリでも、技能の上限値を経験的に決定(例えばターン時の身体の左右へかかる負荷は大きいほど華麗に見えるが、それを熟練者の場合であっても重力の2倍より大きな負荷はかからない、と統計的に決めている、など)していました。しかし、スキルグルーピングを使うと、スキーの習熟者は、複数回の試行でもその「距離」が近く、同じ滑りを毎回できることがわかりました (図4) 。つまり、時間的な移り変わりで複数回計測したデータを比べれば、コンディショニングに利用できます。

以上のように、動きデータを取るだけで、自分のスキルの変遷、習熟者への距離、さらには、道具のフィット感を客観評価することができ、これまで、映像や本といったメディアでしか得られなかったトレーニングの要となる部分をその人固有の改善点を示しながら熟練者のワザを教えてくれる人工知能技術を開発しました。

今後の展開

今後は本技術を活用したスキル判定システムを開発していきます。本技術はスポーツトレーニングだけでなく、リハビリテーションのような医療現場におけるケガの治癒段階を判定するコンディショニング、そして、現代社会で次々と消滅が危惧される伝統技術の動きのデジタル化による継承支援をする情報通信サービスへと発展させたいと考えています。

参考図

図1 ランニングにおけるスキルグルーピング
ひじ、ひざ、足首の動きデータに対し、マラソンタイムを色で割り付けるときれいに傾向が現れた。データ間距離を使うと、目標とするスキルへの「影響度」を数値化できる。

図2 影響度を可視化
影響度をグラフで表し、ランナーの弱点を可視化する。
この例では、ひざの影響度が高いことがわかる。ひざの動きを改善することで、マラソンのタイムを短縮できることを教示できる。

図3 バッティングの打具の違いでスキルがはっきりと分かれる
バットにつけたセンサーによって動きを取得し、打具の違いをグルーピングすると、その差が明確になる。

図4 スキーパラレルターンにおける熟練者と初心者の距離を可視化
熟練者は複数回の試行であってもそれぞれの試行の距離は近いが、初心者は試行毎の動きの「距離」が大きく異なる。この特性を利用すると、コンディショニングができる。

参考文献

1) Shinichi Yamagiwa, Hiroyuki Ohshima and Kazuki Shirakawa, Skill Scoring System for Ski's Parallel Turn, In Proceedings of International Congress on Sport Sciences Research and Technology Support (icSPORTS 2014), pp. 121-128, SCITEPRESS, October 2014.

掲載論文

【題名】Skill Grouping Method: Mining and Clustering Skill Differences from Body Movement BigData(スキルグルーピング技法:スキルの差を身体の動きビッグデータから発見と分類)
【著者名】Shinichi Yamagiwa, Yoshinobu Kawahara, Noriyuki Tabuchi, Yoshinobu Watanabe and Takeshi Naruo
【掲載誌】Proceeding of International conference on BigData 2015, IEEE. (October 29-November 1, 2015 • Santa Clara, CA, USA)

参考URL

大阪大学産業科学研究所 准教授 河原吉伸
http://www.ar.sanken.osaka-u.ac.jp/~kawahara/jp/

用語説明

IoT

IoT (Internet of Things):全ての機器がインターネットにつながり、携帯電話やタブレットから、それらの機器を制御でき、さらには、データはクラウドに保存され、データとサービスが常にユーザとつながる、といった概念をもたらす機器のこと。例えば、携帯電話で、家の外から操作できる家電や、健康状態を常に監視し、データをクラウドに保存し続ける携帯電話アプリなど。

ランニングフォーム診断サービス「F.O.R.M.」

http://www.mizuno.jp/running/runningform/ ミズノが開発したランニングフォーム診断サービスで、エスポートミズノやミズノ大阪店などで受けられる。3次元でランナーのフォームを解析、そのデータに基づきマラソンのタイムを伸ばしたい、楽しくケガを少なく走りたい、運動量を最適に走りたい、といった要望をお客様から受けた走りのエキスパートが、走りのアドバイスとテクニカルな助言を行うサービス。走りを診断する30分のスタンダードコースと、フォームをテクニカルに助言する1時間のプレミアムコースがある。