最近では、VTuberはYouTube上だけでなく、テレビやイベント、ライブなどでの幅広い活動が注目されています。
こうした活動の幅の広がりや技術の進歩に伴い、2D配信から立体的な動きを再現できる3D配信へと移行するVTuberが増えています。

そこで、本記事では3D配信でVTuberの滑らかな動きや豊かな表情表現を可能にする仕組みを解説します。

VTuber3D配信の基本的な仕組み

ここでは、VTuberの3D配信の基本的な仕組みとして、3D配信に欠かせないモーションキャプチャー技術について解説します。
また、3D配信とLive2D配信との違いについても比較することで、3D配信のイメージを掴みましょう。

モーションキャプチャーと3D配信

モーションキャプチャーとは、「演者の体の動きをリアルタイムで読み取り、データ化する技術」です。
体の動きを読み取るには、全身にセンサーをつけた専用スーツを着るもしくは体に専用マーカーをつけて、その動きを専用カメラで撮影する必要があります。

つまり、VTuberの3D配信は、「演者の体の動きをモーションキャプチャーによって読み取ったデータを3Dモデルに反映することで、VTuberのアバターを動かす」というのが基本的な仕組みです。

モーションキャプチャーを用いた撮影方法は、「光学式」「慣性式」「ビデオ式（動画式）」の3つの撮影方法に区分されています。

• 光学式
  光学式とは、複数台の専用カメラと体につけるマーカーを用意したうえで、撮影する方法です。
  最も高精度かつ再現性が高く、複数人のキャプチャが可能なことから、スタジオでの3D配信などのハイクオリティな配信に利用されますが、コストが高額になります。
  代表的な光学式モーションキャプチャーには、ViconやOptiTrackなどが挙げられます。
  
• 慣性式
  慣性式とは、演者の体に装着した慣性センサーによって体の動きを計測する撮影方法です。
  カメラを使用しないため、場所の制約が少ないメリットがある一方、精度や再現性の低さといったデメリットがあります。
  代表的な慣性式モーションキャプチャーには、NANSENSEやmocopiなどが挙げられます。
  
• ビデオ式（動画式）
  ビデオ式（動画式）とは、ビデオカメラやスマホで演者のシルエットを読み取る撮影方法です。
  演者の体にマーカーを装着する必要がないため、手軽に撮影できる一方、精度や再現性の低さといったデメリットがあります。
  代表的なビデオ式モーションキャプチャーには、CyanpuppetsやWebcam Motion Captureなどが挙げられます。

Live2D配信との違い

Live2Dは、平面のイラストに動作・表情の変化を加工して動かす技術です。
Live2Dでの配信は、低コストかつ専門知識もほぼいらないため、手軽に始めやすいメリットがあります。

ただし、Live2D配信は、3Dモデルの配信と比較すると、動きが平面的であることや基本的に上半身の正面のみを画面に映すことから、演出や活動の幅に制限があります。

そのため、全身の動きを立体的に再現して、音楽ライブや踊ってみたなどの活動を行いたい場合に3D配信を行うVTuberが増えているのです。

VTuberの3Dライブパフォーマンスの仕組みについては、以下の記事をご覧ください。
関連記事：VTuberのライブがどのような仕組みで行われているか徹底解説！

3Dモデルがなめらかに動く仕組み

VTuberの印象を左右する3Dモデルのなめらかな動きを実現するには、3Dモデルのリギング、スキニングの設定と正確なトラッキングという3つの技術を組み合わせることが大切です。

そこで、ここでは密接に連携させることが重要なリギング、スキニング、光学式トラッキングについて解説します。

リギング

リギングとは、3Dモデルの各パーツ（腕や足など）に「骨格（ボーン）」を設定する工程です。
キャラクターのパーツごとに動作を加工するには、骨や関節を構造として作成する必要があります。

つまり、キャラクターを動かすための基盤づくりとなる作業がリギングといえます。

スキニング

スキニングは、リギングで作成した骨格に沿って、3Dモデルの肌や表面（メッシュ）を配置する工程です。
骨格の動きに応じて、3Dモデルの表面が自然に変形し、なめらかでリアルな動きを実現します。

リギングとスキニングは相互関係にあることから、両方の工程を適切に行うことで3Dモデルが生きているようなリアルな表現につながります。

光学式トラッキング

光学式トラッキングは、先ほど解説したモーションキャプチャーの撮影方法の一つです。

最も高精度かつ再現性が高いため、演者が実際に行ったリアルな動きをそのまま3Dモデルに反映させることが可能になり、高品質なパフォーマンスの提供につながります。

つまり、リギング、スキニングの細やかな設定で実現したリアルな変形を、精度の高い光学式トラッキングにより、演者のパフォーマンスをスムーズに3Dモデルに反映させるのです。

3Dモデルの豊かな表情の仕組み

VTuberの3D配信では、モーションキャプチャーにより全身の動きを反映させますが、表情についてはフェイストラッキングを活用します。

フェイストラッキングとは、「カメラを用いて顔の表情や動きを読み込む技術」のことです。
3Dモデルのアバターにリアルタイムで表情の変化を反映し、感情豊かで繊細な表現を実現できます。

また、まばたきやリップシンク（音声と口の動きを合わせること）のトラッキング設定を行うことで、より繊細な表現が可能になります。

VTuberの3D配信は、フェイストラッキング技術の活用により、演者の表情の変化をアバターにリアルタイムで反映する仕組みとなっているのです。

自宅から行うVTuber3D配信の仕組み

最近では、自宅からも高品質なVTuberの3D配信を実現する技術の開発が進んでいます。

ここでは、代表的な技術として、ホロライブ「おうち3D配信」とにじさんじ「にじ3D（にじさんでぃー）」を紹介します。

ホロライブ「おうち3D配信」

ホロライブの「おうち3D配信」とは、ホロライブに所属するVTuberが自宅から3Dモデル配信を行う際に使用している配信システムです。
複数のトラッキング方式を複合的に利用することで、簡単かつ表情豊かなトラッキングによるリアリティな配信の実現を目指しています。

「おうち3D配信」は、以下のようなトラッキング入力から得たデータを合成し、3Dモデルの全身に適用するという仕組みになっています。

• iPhone（ARKit、ToF AR）
  表情や頭、手、指のトラッキングにはiPhone（ARKit、ToF AR）を利用しています。
  iPhoneのDepthカメラでは高精度な表情ブレンドシェイプ（BlendShape）を、ToF ARソフトウェア開発キット（SDK）ではハンドトラッキングが行われています。
  
• WASD歩行モーション
  歩行動作には、FPSゲームなどで利用されるキーボード入力による前後左右への歩行移動モーションを生成しています。
  自室にいながら、3D空間を動き回るときなどに利用します。
  
• 選択式アニメーション
  立つ、座る、ジャンプする、手を振るなどのモーションを選択して再生できるアニメーションを生成しています。簡易的なジェスチャーも可能です。
  
• ボディトラッキング系デバイス（Mocopi、Rokokoなど）
  トラッキングデバイスを装着することで、全身モーションをリアルタイムで反映できます。スタジオ3D配信に近い自由度の全身配信ができます。

にじさんじ「にじ3D（にじさんでぃー）」

にじさんじ「にじ3D（にじさんでぃー）」とは、にじさんじ所属ライバーが3D配信を1人でも簡単に行うための配信システムです。

「にじ3D（にじさんでぃー）」では、iPhoneX内の「Face Tracking with ARKit」とOculus Riftのコントローラー「Oculus Touch」を使用します。
「Face Tracking with ARKit」で顔認識を行い、「Oculus Touch」で手・指・腕のモーションを認識し、配信パソコン内の「3Dにじさんじ」アプリに送ることで、ヘッドマウントディスプレイを装着せずに3D配信が可能です。

こうした配信システムの開発により、ライバーにかかる配信の負担を抑えつつ、ライバーの表情豊かな3D配信を実現しています。

高品質な3D配信はより身近に

VTuberの3D配信はLive2Dでの配信に比べて、より立体的な動きの表現が可能になっています。

3D配信の基本的な仕組みは、専用マーカーや専用カメラを用いたモーションキャプチャー技術を活用し、リアルタイムに演者の動きや表情の変化を読み取り、3Dモデルに反映させることで成立しています。

より高品質な3D配信を行うには、リギング、スキニングで細かな設定を行い、精度の高い光学式トラッキングを採用することが重要です。
例えば、演者と3Dモデルの身長に差があった場合でも、なめらかで自然な動きを実現します。

さらに、顔に特化したフェイストラッキングを活用して、繊細な表情の変化を表現することで、よりファンの心に刺さるような演出が可能になります。

近年では、自宅から高品質な3D配信を行う技術の開発も進んでいます。VTuberの3D配信の仕組みは、ゆくゆく身近な手段として活用できるようになるかもしれません。

VTuber制作は「cone」におまかせください

coneは、法人企業からクリエイターへの制作依頼プラットフォーム。
キャラクターデザイン、イラスト制作、モデリング等の実績豊富なクリエイターが多数在籍しています。

制作依頼の際は、coneの専任アドバイザーが、依頼時の仕様作成からクリエイターの紹介、
クリエイターとのやり取り、契約まわりなどの「依頼〜納品完了」まで、無料でサポート。
初めての依頼も安心して行えます。

VTuberの制作については、ぜひconeにご相談ください。