本サイト内の事例報告で、これまでＡIによる姿勢推定を用いたAnyBodyでの筋骨格解析結果について掲載をしています。
リンク→ AIによる姿勢推定を用いた筋骨格解析
最近、メタバースなどでのアニメキャラクターやアバターなど、バーチャル空間内の存在に、現実の人間の動作を反映するコンテンツ作成のため、より手軽で正確かつ高速に、AIによる姿勢推定が行えるモーションキャプチャ技術を提供する会社が増えています。
それらの会社のいくつかは、AI主導による技術を採用して、アニメーション制作などでのコストと時間を大幅に削減しているようです。また、これらの会社は、ウェブ上で（一部は無償で）、動画をアップロードすると姿勢推定を行い、FBXやBVH形式といった3Dモーション結果ファイルをダウンロードできるサービスを提供しています。この中には、驚くべきことに、「これが無償か？」と思うくらいの、その姿勢推定精度が高いものも存在します。
本事例では、ウェブ上で提供されている、AIによる無償姿勢推定サービスサイト『Plask』によるBVHデータを用いて、ＡnyBodyの筋骨格解析を行ってみました。具体的には以下の手順で行いました。
- ①通常の単眼のハンディカメラで撮影した動画(mp4形式)を用意する。
②ウェブ上で無償AI姿勢推定サービス『Plask』にアクセスする。動画をアップロードする。
③いくつかの操作を経たのち姿勢推定が行われる（数十秒、場合によっては数分かかる）。
④モーションモーションデータ（BVH形式）を取得[ダウンロード]する。
⑤BVH形式ファイルを、AnyBodyでのモーションデータ使用ワークフローに適用し筋骨格解析を行う：AnyBodyワークフロー→AnyMocap
①通常の単眼ハンディカメラで撮影した動画(mp4形式)を用意する。
②ウェブの無償AI姿勢推定サービス『Plask』にアクセスする。動画ファイルをアップロードする。
③ウェブ上でいくつかの操作を経て、姿勢推定が行われる（数十秒、場合によっては数分かかる）。
④モーションモーションデータ（ＢＶＨ形式）に変換・取得[ダウンロード]する。
【以下はPlaskで取得したBVHファイル（スティックフィギュア）アニメの例】
⑤ＢＶＨ形式ファイルを、AnyBodyの、モーションデータ使用のワークフローに適用し、筋骨格解析を行う：
【腰部負担の解析例、赤は3400Nライン】
本動作は、ビデオカメラ撮影と同時に、反射マーカをつけた光学式モーションキャプチャでもＭＯＣＡＰ取得しており検証しています。両者の比較によるとおおむね、妥当な結果（光学式MOCAPと同様の結果）となりました。
ここまでの一連の作業が、数十分で行えるようになっています。特に、従来ではAnyBodyで使える動作データ（C3D形式、またはＢＶＨ形式）は、それなりの動作測定機器にて、計測→（編集）→出力などのプロセスを経て得られたものでしたが、いまや、動画データファイル1つから、筋骨格解析がおこなえるようになりました。
また、今回のサービス『Plask』では、3D動作データとして、BVHファイルが得られるものでした。通常よくあるAI姿勢推定ツールでは、キーポイント（関節中心）の3D位置座標の捕獲まで、というのも多いですが、その場合に、キーポイント間の長さ変動が著しいものもあり、そのまま人間のキャラクタなどに適用すると、”骨の伸び縮み”を意味することになってしまいます。その場合データ適用の際には適切な補正が必要となりますが、通常手間のかかるものです。しかしBVHによる3D動作データは、骨格長さ（Offset）が不変のため、AnyBodyのような剛体リンクモデルには大変都合のいいものとなっています。
しかしながら、まだまだ以下のような限界がある可能性があります（今回発生）。これらはこのようなサービスでの今後の課題でしょう。
- 1本の”棒”で体の部位が表現されるため、肩関節の内外旋、肘関節の回内外（つまり、骨の軸に沿った回転）動作は、うまく推定できないことがあります。首の左右の回転も同様です。（デフォルトでは困難ですが、Plaskでは、24か所キーポイントの併進と回転が、APIでカスタマイズでき、それを使うと精度があげられるようです）。
- 被験者固有の身体サイズが特定できません（Plaskでは、すでに独自の人体マネキンが用意されているものでした。デフォルトでは、特定の身体部位サイズが独自設定されていますが、APIでカスタマイズ可能のようです。）
- 足元のドリフト、および骨盤のドリフトは、完全に解消されません。
- 斜め方向からの映像などの場合、人体に対し不自然な重力方向（鉛直方向）が推定されます。（正面（床と並行方向）からの映像が求められるようです。）
- 当然ながら、人体以外の外部環境（床、壁、椅子、重量物、操作機器・・等々）は存在しません。力学的解析（力の解析）を考慮するためには、実世界のように、これらから受ける力のやり取りをちゃんと反映させる必要があります。
<お知らせ>
テラバイトでは、ユーザ利便性の一環で、スクリプトの編集一切なしで本ワークフロー（Plask使用の場合）のBVHファイルの取り込みからAnyBody逆動力学実行まで行えるツール『Plask2AnyBody』の試用版（ベータ版）の公開を開始しました。
●試用版（ベータ版）をご利用いただけるお客様
a)AnyBodyModelingSystemの保守契約ユーザ様
b)今後AMSのご導入を前提に、評価版試用をお申し込みのお客様
●利用条件
現保守契約ユーザ様は、ベータ版を2022/12/31までのご利用が可能です(AnyBodyModelingSystem評価版の方は1か月間)。ただし試用期間でご利用になられた際の、ツール使用感や解析結果検証内容をフィードバックをいただける方にお願いいたします。弊社では、皆様からのフィードバック内容を反映し、改良を加えてより良いツールをご提供してまいります。
< a)保守契約ユーザ様へ >
ユーザサポートサイトから、ダウンロードをお願いいたします。 ダウンロードは → こちら
< b)評価版試用中のお客様へ >
上部 右側のメニューにある＜お問合せ＞、または＜→こちら＞から、”Plask2AnyBody試用希望” と明記の上、弊社までご連絡ください。
未だAnyBody評価版をお申込みされていない場合、＜→こちら＞より、まずAnyBodyの評価版試用のお手続きをお願いいたします。その際、コメント欄に、”Plask2AnyBody試用希望”とご記入ください。
●ご注意：
『Plask』社および、『Plask』システムについては、弊社テラバイトとは一切関係はございません。Plaskのご使用（アップロードする動画の取り扱い、AI姿勢推定後に得られるBVHファイルの精度判断など）については、ご利用者様ご自身のご判断・自己責任でお願いいたします。
