ソニーのToF AR Labとは？誰でもスマホでVTuber体験

ソニーのToF AR Labとは、簡単な操作でスムーズにAR体験ができるスマートフォン向けの無料アプリです。この記事では気軽にAR体験ができると注目されているソニーのToF AR Labの概要とアプリを下支えしているToF ARとToFカメラについて紹介します。

ToFカメラについて

ソニーのToF AR Labについて知る前に、まずToFとは何かについてご紹介します。

ToFカメラの概要

ToF（Time Of Flight）赤外線の光を反射させて距離を求める技術です。
また、ToF方式のセンサーを搭載しているカメラをToFカメラといいます。
ToFカメラには光源があり、赤外線が照射可能です。

赤外線が照射されて物体にぶつかると、一部の光が反射します。
ToFカメラは、自ら照射した光の反射光を検出することで、カメラから物体までの距離を計測して画像を作成するのです。

ToFカメラの種類

ToFには1D-ToFと3D-ToFの2種類があります。
1D-ToFは、ある1点までの距離を測る方式で、測定点までの距離がわかります。
また3D-ToFは、光を拡散させて距離情報を画像として取得するため、距離を知るだけではなく、画像処理ができます。

ToFカメラのメリット

一般的に使われるカメラの場合、撮影しても対象物を2次元的にしか認識できません。
一方ToFカメラの場合には、2次元的に撮影した情報に加えて、物体に赤外線を照射して得られた奥行きの情報（深度情報）を持つことができます。

目に見える光ではなく赤外線を用いているため、暗い場所でも利用可能です。
また赤外線は可視光よりも波長が長いことから、ToFカメラの撮影距離は他の方式に比べると広い傾向があるのです。

また、ToFカメラは距離を計測できる方式のなかでも装置の構成が比較的コンパクトです。演算もその他の方式よりシンプルなので、CPUの負荷も軽くなります。

物体認識の方式

参考として、以下に物体認識の方式をご紹介します。

ToF	照射した赤外線の反射光を検出し「距離＝速さ×時間」に当てはめて距離を求めます。
ステレオビジョン	2台のカメラで物体を撮影した際の視差を三角測量の原理に当てはめて計算する方式です。周囲が暗いと光源が必要な場合があります。
ストラクチャードライト	物体にプロジェクターからパターンを投影した状態をカメラで撮影する方式です。投影された内容がどの程度歪んでいるのかの情報を元に計算します。

ToFカメラのデメリット

ToFカメラは赤外線で物体の距離を求めます。
そのため、日中屋外での作業には適していません。

屋外には太陽があり、微弱な光信号を検知する場合には太陽光に含まれる赤外線の影響を受けてしまうのです。
そのため、ToFカメラは室内や暗所向けであり、屋外で用いられることが多い車載カメラなどに用いると、期待した測距精度が得られない場合があります。

ToFカメラの代表的な用途

ToFカメラは人物や形状の認識、検出ができるため、以下のような用途で用いられます。

• 入店人数のカウント
• 異物の侵入検知
• 人が近づいた場合に機器を停止させる安全監視装置
• 農作物のサイズの確認
• バラバラの荷物を条件にあわせて取り出すピッキングロボット

ToFカメラはスマートフォンへの搭載も増加

ToF方式を用いたカメラは、小型で有用性が高いためスマートフォンへの搭載も増えてきています。
ToFカメラで深度情報を取得すると、撮影した画像の一部が背景なのか中心となる物体なのかのかが判別可能です。

人を撮影した場合は体の動きが高精度に検出できるため、VRやARのゲームに動きを反映させるのに便利です。

セキュリティの保護にもToFカメラは活用可能です。
今後は顔認証やモーションによるログイン、決済などに活用することもできます。
顔認証ができれば暗証番号を盗まれて他人にログインされるリスクが防げるでしょう。

さらに赤外線がカメラのレンズに当たった場合、単純に物体から光が反射するのとは異なる情報が検出できます。
スマホのToFセンサーを用いて、隠しカメラを発見するアプリも開発されているのです。

「ToF AR Lab」はスマートフォン向けのアプリケーション

ここではToF AR Labについて詳しくご紹介します。

「ToF AR」とはソニーが開発したAR開発用キット

ToF ARはソニーセミコンダクタソリューションズ株式会社が2022年に一般公開したAR向けのソフトウェア開発キット（SDK）です。（*1）

AR技術は、物体の奥行き情報と風景などのバーチャル情報を重ねて表示します。
ToF ARは、ゲーム開発プラットフォームであるUnity上で駆動します。

ToF ARは以下のような機能が実現できる技術で、手や指の動きまでスムーズに描写できる点が特徴です。

• ハンドジェスチャー
• 身体の動きを認識して滑らかに描写
• 3Dデータ作成用のモデリング
• メッシュ処理（Meshing）機能

メッシュ機能はToFカメラの深度情報を元に背景となる部分を構築します。

特に実用化が期待されているのは以下のような分野です。

• バーチャルフィッティング：靴などのアパレル商品の試着
• バーチャルレイアウト：部屋にARで家具を配置
• コミュニケーション：イラストや文字を空間に描き、表示・共有

コミュニケーションの分野の例では、レストランのメニューを撮影して料理の画像を取り出してAR表示できます。
写真を取るとテーブルの上に実際の料理が置かれているように見えて、料理の注文が可能になるなど、新しいコミュニケーション方法が検討されているのです。

「ToF AR Lab」は「ToF AR」で作られたアプリケーション

ToF AR Labは、ToF ARを用いてソニー自ら開発した無料のスマートフォン向けアプリで、AndroidとiOSの両方に対応しています。

ToF AR Labの機能例

• 手の認識・3Dメッシュ・モデリング
• ハンドパペット
• 手の甲に模様を表示
• CPUを相手にジャンケン
• 親指を立てると空の背景が星空に変わる
• 現実の部屋の周囲にアニメーションやカスタム メッセージを表示
• 踏んだり触れたりしたところに花が咲く
• 触れたところに蝶が現れます
• 手と顔の動きに同期してアバターを動かす

「ToF AR Lab」でVTuber体験が可能

本格的にVTuberになるには、アバターやボイスの作成や動画編集技術の習得、コンテンツの検討、必要機器の整備などさまざまな準備が必要です。
しかし、手軽にVTuber体験をするだけであれば、VTuberアプリをインストールするだけで実現可能です。

VTuberアプリには、キャラクターのカスタマイズや表情のトラッキング、ライブ配信などの機能が盛り込まれています。
ToF AR Labは手指の細かいトラッキングができるため、細かい動きを再現したい場合に特に便利です。

ToF AR Labでは、3Dのアバターが用意されていて手や顔の動きでAR上のキャラクターが動かせます。
テンキーを用いると、さまざまな表情の選択も可能です。

「ToF AR Lab」で期待されていること

ToF AR LabにはVTuber体験のほかに以下のようにAR体験できる機能もあります。

• SandBoxRoom：深度情報を元に周辺環境を画面上で三次元化するメッシュ処理機能でメタバースを構築
• IceWater：水の中をバーチャル体験
• Kirigami：現実の壁・床などに手や足で触れるとARの蝶が飛ばせる

ToF AR Labは画像と深度情報を組み合わせたアプリケーションにさまざまな可能性があることをまず体験してもらうために開発されました。
ARの開発用キットであるToF ARを活用することで新たな体験価値の向上が期待されているのです。

ソニーのToF AR LabでARの魅力がわかる

ToFカメラは大きくは光源とカメラ、センサーで構成されているカメラです。
自ら物体に向けて照射した光がどのように反射したかを元に奥行き情報を算出します。

暗所や比較的大きな物体に対しても使用できるため、物流分野などでも活躍しています。
ソニーでは、Unity上で動くAR開発キットであるToF ARの魅力を伝えるため、ToF AR Labを無料公開しています。
VTuber体験などを通してスマートフォンのARアプリをより身近に感じてみましょう。

参考URL
*1 https://developer.sony.com/ja/develop/tof-ar/download/tof-ar-lab/