Case

解析事例

AI姿勢推定ツール”MediaPipe”による手指動作の入力

AI姿勢推定ツール”MediaPipe”による手指動作の入力サムネイル画像

  • 製品名

    • AnyBody

  • カテゴリー

    • 筋骨格解析事例

  • 産業分野別

    AnyBodyの人体モデルには、指先まで細かくモデル化された手詳細モデルが実装されています。
    このモデルを用いることで、手先の細かな動きを解析し、指の各関節に生じるモーメントや関節反力、筋発揮の大きさなどの情報を計算し、出力することが可能です。

     

    参考:AnyBody最上位の手詳細筋骨格モデル(レーゲンスブルク・ウルムハンドモデル Regensburg-Ulm Hand Model：RUHM) │ AnyBody　筋骨格モデリングシミュレーション (terrabyte.co.jp)

     

    このモデルに実際のヒトの動作を再現させ、解析を行うためには、動作を記録した情報を入力として与える必要があります。
    動作を情報として記録する方法はモーションキャプチャと呼ばれ、光学式モーションキャプチャや慣性式モーションキャプチャが一般的によく知られています。これらのモーションキャプチャは高精度の動作計測が可能であったり、カメラの視線に依存せず、障害物があっても動きの取得が可能、などそれぞれ利点がありますが、計測装置やマーカーが必要になり、手軽な動作取得にはあまり向いていません。
    例えば、光学式モーションキャプチャでは下図のようにマーカーを手指に貼付して、マーカーの動きを複数台のカメラで補足している必要があります。

     

    光学式のモーションキャプチャにおけるマーカー配置

    • AnyBody-analysis-10-01

    手軽に動作を計測し、解析することを目的とすると、人工知能(AI)を用いて画像・動画から人体の特徴点の位置情報を推定するAI姿勢推定によるデータの取得が候補になります。

    参考:AIによる姿勢推定を用いた筋骨格解析 (terrabyte.co.jp)
    いくつかのAI姿勢推定では、手指の特徴点を抽出することができます。
    Googleが提供している、”MediaPipe Solutions”にもその機能が実装されています。

    MediaPipe Solutionsについて
    MediaPipe Solutions guide | Google AI Edge | Google AI for Developers
    MediaPipe Solutionsは、Googleが開発したライブメディアやストリーミングメディア向けの機械学習ソリューションです。
    人工知能（AI）と機械学習（ML）の手法を迅速に適用するためのライブラリとツールが用意されています。
    顔や手、ポーズをリアルタイムで検出することができます。
    また、ソースコードはオープンソースで公開されています。

    本事例では、”MediaPipe”を用いてデータを取得して、AnyBodyの手詳細モデルに動作を与えました。
    以下の手順で行いました。

    ①解析する動画(mp4形式)を用意する。

    ②MediaPipeの姿勢推定プログラムを実行して、手の特徴点をcsvファイルで抽出、出力する。
    動画内で手の形が認識されると、下記、特徴点の位置情報をcsvファイル形式で出力することが出来ます。 

     

    • AnyBody-analysis-10-02
     

     ③AnyBodyを起動して、出力されたcsvファイルを読み込む。
    下記はcsvファイルに記録されている各特徴点を青色で表示しています。
    手首から指先にかけて隣接する特徴点同士を黒い線でつなぐことで手の形状になります。 

     ④特徴点のデータを手詳細モデルの拘束として活用して筋骨格解析を行う
    AnyBodyの手詳細モデルに各特徴点と対応するマーカーノードを設定します。
    手詳細モデルに設定したマーカーノードに対して、各特徴点の位置情報を拘束として入力することで指先の動作が定まります。 

     

    課題


    MediaPipeによって出力されるのは、画像や動画から推定された特徴点（関節中心）の3D位置座標データです。手首から指先にかけて隣接する特徴点間の距離は、各指の骨の長さに相当します。そのため、特徴点の推定が正確であれば、この距離は不変となるはずです。しかし、MediaPipeによる特徴点の推定結果では、この距離が一定ではありません。

    例えば、今回解析に使用した動画では、各特徴点間の距離が下図のように変動しており、一貫した値を示していないことが確認できます。これは、身体の一部が隠れたり、他の物体と重なったりした際に、座標推定の精度が低下するためです。特に、動画後半で見られる指の屈曲や伸展動作のように、画面の奥行き方向に動きが加わる場合には、推定精度が大きく低下することが確認されています。

     

    各特徴点の距離

    • AnyBody-analysis-10-03

    前の記事

    粒子法（SPH)を利用した連成問題２

    粒子法（SPH)を利用した連成問題２

    次の記事

    OpenCapのデータを使用したAnyBodyによる筋骨格モデル解析

    OpenCapのデータを使用したAnyBodyによる筋骨格モデル解析

    RELATED

    関連記事はこちら

    車両ライブラリを用いたコントロールアームの応力評価
    2026.06.23

    車両ライブラリを用いたコントロールアームの応力評価

    Altair MotionSolve(Altair HyperWorks製品の機構解析ソルバー)の車両ライブラリを用いて...
    • 解析事例 構造解析
    歯車の応力解析
    2026.06.17

    歯車の応力解析

    歯車の応力解析です。
    • 解析事例 構造解析
    • LS-DYNA
    衝撃解析
    2026.06.17

    衝撃解析

    自動車のホイールにおける、衝撃解析です。
    • 解析事例 構造解析
    • LS-DYNA
    Contact

    ご相談・資料の請求はこちら

    製品やサービスに関するご相談、導入に関するご質問等お気軽にお問い合わせください。
    各種資料をご希望の方は、資料請求フォームよりお申し込みいただけます。