NHK Laboratories Note: Number 465

Abstract

To generate highly realistic scenes of a virtual studio, the technology for a new type of virtual studio is being developed, which is based on image components from real videos instead of CG (Computer Graphics). The system is called as an image-based virtual studio. The technology for two types of image components has been developed for the system. These are an environmental image component that is used to provide long shots and a three-dimensional image component that is used to provide medium shots and close ups. A principal-point alignment camera head has recently been developed, that can be used to compose a large number of camera images into a single high-resolution omnidirectional image, as the environmental image component. An omnidirectional image (16,000 x 16,000 pixels) has been constructed from about 1,000 camera images, and they can eventually be used to compose a seamless whole. An experimental high-definition image-based virtual studio has been developed based on such image components. The system's utility in TV program production has been confirmed.

高度に写実的場面の仮想スタジオを造り出すために、CG(コンピュータグラフィクス)に代わる実写ビデオからの映像成分をベースにした新しい形式の仮想スタジオ用技術を開発中である。そのシステムを実写ベース仮想スタジオと呼んでいる。システム向けに2種類の映像成分技術を開発した。遠景制作に使用する環境映像成分、および中距離ショットや接写画像の制作に用いる3次元映像成分である。最近、環境映像成分として、多数のカメラ画像を単一の高精細度全方位画像に構成することが可能な主点アラインメント・カメラヘッドを開発した。約1,000点のカメラ画像から1枚の全方位画像(16,000×16,000画素)を構築した、最終的には繋ぎ目のない一体映像を構成するのに使用可能である。実験的な高分解能実写ベース仮想スタジオを上記の映像成分を基にして開発した。TVプログラム制作におけるシステムの有用性を確認した。