点群圧縮とは。PCCとKDDI総研の新技術についてご紹介！

2024.01.12

投稿者: Kswn

点群技術は建築などの工業分野で使われることが多かったですが、近年のXR技術、メタバースの人気により、目覚ましい発展を遂げています。しかし、点群データはデータ量が大きく、実用化のためには圧縮技術が不可欠です。この記事ではそんな点群圧縮技術についてご紹介します。
　　
　この記事を読むと以下の2つのことがわかります。
（1）点群データとは
（2）点群圧縮について

点群データとは

点群データとは現実世界に存在する物体の表面が持つ情報を点の集合として記録したものです。点群データは3次元の座標値 (x, y, z) と色の情報 (R, G, B) を持っています。点群データの取得方法は主にLiDAR、レーザースキャナ、ステレオカメラの3種類です。それらを平面に固定したり、ドローンや車両に搭載したりすることでデータを取得します。

現実空間に存在する物体の3次元点群データを取得することで、仮想空間にその物体を構築することができます。
建築分野でいえば、立ち入り困難な場所や巨大な構造物であっても自由な角度で眺めたり、他の情報を追加したりという操作が可能になります。

近年ではボリュメトリックスタジオが多数開設され、臨場感のある高精細な三次元データである3D点群を利用したコンテンツ制作が広く行われるようになってきました。ボリュメトリックスタジオとは、被写体を取り囲むように多数のカメラを設置して、3D点群のコンテンツを制作する撮影スタジオのことです。それらのコンテンツは膨大なデータ量となっています。身近な例で言うと、メタバースやVRで知らず知らずに恩恵を受けている方も多いのではないでしょうか。

点群データの課題

点群データは現実世界を忠実に再現するために必要な技術であるにも関わらず、その膨大なデータ量が課題となっています。そして、3D点群のコンテンツを視聴する端末形態はPCやタブレット、スマートフォン、ヘッドマウントディスプレイなどと多様化しています。このような状況下で、あらゆる環境で快適に高品質な視聴体験をするためには、点群データの品質を維持したままデータ量を削減する必要があります。

点群圧縮について

続いて、取得した点群データを圧縮する技術についてご紹介します。
PCC（Point Cloud Compression）は、点群圧縮技術の最新の国際標準方式で、2020年10月に規格化されました。これはさらにV-PCCとG-PCCの2方式に分かれます。

V-PCCとG-PCC

V-PCCは映像ベースの方式で、3D点群を2D映像に投影して圧縮します。動きのある人物など、主観品質が重視される3D点群に適しており、エンターテインメント用途に使われています。

G-PCCは座標ベースの方式で、3D点群をそのまま圧縮します。点の位置の誤差が小さいため、測量が必要な建物など、符号化誤差が許容されない3D点群に適しています。建設現場の遠隔監視などの用途に使われています。

V-PCCとG-PCCのどちらも圧縮性能を大幅に向上させており、モバイル回線での伝送は可能でした。その一方、圧縮にかかる処理負荷は大きく、リアルタイム処理には課題がありました。

以前CAPAのブログでも「KDDI総研が開発した点群圧縮技術のリアルタイムエンコーダーに期待されること」でKDDI総合研究所が開発した点群圧縮技術について書いています。この記事では現実世界の物体をリアルタイムで読み込み、点群データを高品質なまま圧縮し、転送する技術をご紹介しました。この技術はV-PCCに対応したものでした。

リアルタイムコーデックによる伝送実験

2023年1月、KDDI総合研究所はV-PCCとG-PCCの両方において、リアルタイムコーデックによる伝送実験に世界で初めて成功しました。

V-PCCについては、人物の高密度3D点群（約2000万点/秒）を同社（埼玉県ふじみ野市）にあるV-PCCのリアルタイムエンコーダーで圧縮し，5Gを経由してKDDI research atelier（東京都港区）に安定的に伝送できることを実証しました。＊1
データ量は1/40に削減され、圧縮性能は従来の方法と比較して2倍となっています。
さらに、被写体を3D点群としてスキャンし、リアルタイムコーデックを用いて遠隔の視聴拠点までライブ配信を行いました。その結果、ホログラフィックステージやスマートフォンなどでコンテンツを視聴することにも成功しています。

G-PCCによる伝送実験では、3Dレーザースキャナーで取得した社屋の点群（約30万点/秒）と、事前にドローンを利用して生成した建造物の広域点群のそれぞれを、同社（埼玉県ふじみ野市）に設置したノートPC上のG-PCCのリアルタイムエンコーダーで圧縮し、5G/LTEを経由してKDDI research atelierに安定的に伝送できることを実証しました。＊1
この実験ではデータ量は1/21に削減され、圧縮性能は従来の方法と比較して6倍となっています。
高速化には、複数のフレームを並列に処理する独自技術を導入しました。この伝送実験では約30万点/秒の点群データを利用しましたが、エンコーダーとしては約200万点/秒までのリアルタイム処理に対応することができます。

実証実験の意味とは

V-PCCやG-PCCに対応したリアルタイムコーデックを用いて3D点群の伝送ができることは何を意味するのでしょうか。

V-PCCについては、音楽やファッションなどのショーイベントで、ボリュメトリックスタジオなどで撮影した映像をそのままメタバースに参加させるなどの今までにないイベント体験が期待できます。

G-PCCについては、例えばドローンを利用した災害時の被災状況の把握や、インフラ構築時の遠隔作業支援によるDXの促進などが期待されます。

今後は、ライブ配信時の課題となるコーデック処理遅延を低減させ、スマートフォンなどを対象にインタラクティブ性の高いアプリケーションの開発をすることを目標としています。他にも、メタバースプラットフォーム上や実際の建設現場での検証など、3D点群を用いたコンテンツを普及させる取り組みを進めるとのことです。
さらに、KDDI総合研究所は現実世界の人物が発する音の向きや動きを仮想世界で忠実に再現する、音場のインタラクティブ合成技術を開発しており、この技術とV-PCCを組み合わせた検証や評価も進めているとのことです。

リアルタイム再生技術

KDDI総合研究所とKDDIは2023年10月に、高品質3D映像をスマホで視聴することのできるリアルタイム再生技術を開発しました。人物などの動きを忠実に再現可能な高品質の3Dメッシュ映像を、スマートフォンで場所を選ばずに視聴できるようになります。＊2

今までは高効率に圧縮された3Dメッシュ映像のリアルタイム再生・視聴には高性能PCが必要でした。さらに従来の圧縮技術では、3Dメッシュ映像をモバイル回線で安定的に伝送可能なデータ量に圧縮する時に、細部の情報損失が発生していました。

この技術の開発では、3Dメッシュデータのデータ構造を見直し、オブジェクトごとの並列処理を可能とすることで、デコード処理の高速化に成功しました。従来比2倍の効率で圧縮した3Dメッシュデータに対して、スマートフォンでのリアルタイム再生を実現しました。

今後の展望

高品質3D映像は、スポーツのきめ細やかな指導やショーイベントの自由視点映像など、教育やエンターテインメント分野での活用が期待されています。今後、両社は3Dメッシュ映像を活かしたコンテンツの実用化に向けた実証を進めます。デジタルツインを活用し、スマートフォンで誰もがいつでも手軽に高い表現力での新たな映像視聴体験を楽しめる未来に向けて取り組んでいきます。