Tachi_Lab - 再帰性投影技術（RPT）

古来、人は周囲の世界を、より広く、より豊かに知覚したいと願ってきました。拡張現実（AR：Augmented Reality）は、その願いを現実のものとしつつあります。ARは、デジタル情報を現実環境へ違和感なく統合することを目指す学際領域です。舘暲（Susumu Tachi）とその研究チームは、再帰性投影技術（RPT：Retroreflective Projection Technology）という新しい考え方を提案し、その実現に向けた技術を研究開発してきました。RPTは、ほぼあらゆる実物体を、驚くほど実在感のある表示面へと変換できる、洗練されたうえコスト効率にも優れた手法です。再帰反射材は入射光を光源方向へ戻す特性を持つため、立体視や適切な遮蔽（オクルージョン）を可能にする多様な光学系を構成できます。さらに、投影面は任意形状でよいことから、「Optical Camouflage（光学迷彩）」のように、車両やコートといった不透明物体に背景映像を投影し、あたかも透明であるかのように見せる応用も実現できます。かつてはSFの世界にのみ描かれていた概念が、いま現実の技術として姿を現し始めています。

RPTは多様な場面に応用できます。たとえばコックピットでは、着陸時に機体の床を実質的に透明にし、パイロットが滑走路を直接視認できるようにすることで、安全な着陸を支援します。同様に、トラックや自動車の「死角」を低減する用途にも有効です。さらに、窓のない部屋でも壁面を透明に見せることで外の景色を提示できます。医療分野では、事前に取得したX線画像やMRIデータを患者の体表へ重ね合わせ、開腹手術に限らず低侵襲手術においても、外科医に重要な情報を提供できます。加えて超音波データを重畳すれば、体内構造をリアルタイムに可視化することも可能になります。

この手法は、安全性・生産性の向上や人間の知覚の拡張を目的として、デジタル情報を現実環境へシームレスに統合する研究の中から発展してきました。

再帰性投影技術（RPT）の原理

バーチャルリアリティ（VR）における代表的な表示方式には、ヘッドマウントディスプレイ（Head-Mounted Display：HMD）（Sutherland, 1968; Fisher et al., 1986）と、没入型投影技術（Immersive Projection Technology：IPT）（Cruz-Neira et al., 1993）があります。いずれも有用ですが、図1(c)および図1(d)に示すように、それぞれ固有の課題を抱えます。HMDでは高解像度と広視野角のトレードオフがあり、IPTではユーザの身体による影の発生や、ユーザの実身体とバーチャルインタフェースを統合する難しさが問題となります。さらに、両方式とも拡張現実の条件（すなわち、バーチャル物体と実物体を重ね合わせる状況）では、遮蔽（オクルージョン）の問題を避けられません。

図1(a)は、バーチャルな花瓶とバーチャルな灰皿がバーチャルな机の上にある様子を示しています。二つのバーチャル物体の間に実物の手（実手）を置いた場合、理想的には図1(b)のように遮蔽が生じるべきです。すなわち、実手がバーチャルな花瓶を隠しつつ、同時にバーチャルな灰皿によって実手が隠されます。しかし、光学シースルー型HMDでは、実手がバーチャルな花瓶を遮蔽できず、さらにバーチャルな灰皿も実手を遮蔽できません。その結果、手も灰皿も透明に見えてしまいます。これは、HMDの物理ディスプレイが常に観察者の眼の直前に位置するためです。

逆に、CAVE（Cave Automatic Virtual Environment）のようなIPTでは、図1(d)に示すように、バーチャルな灰皿が実手を遮蔽できません。IPTではバーチャル物体がスクリーン面に描画され、そのスクリーンは通常、ユーザから1〜2メートル程度離れているためです。

図1　(a) バーチャルな机上にあるバーチャルな花瓶とバーチャルな灰皿。(b) 実手を2つのバーチャル物体の間に置いた場合の理想的な遮蔽。(c) 光学シースルー型HMDでの望ましくない結果。(d) CAVEなどIPT（没入型投影技術）での望ましくない結果。

現在、「Media X’tal（メディア・クリスタル：発音は“crystal”）」（Kawakami et al., 1998）や「X’tal Vision」（Inami et al., 1999, 2000）といった名称のもと、新しいタイプの表示方式が開発されています。この方式では投影面として再帰反射材を用い、総称してRPT（Tachi, 1999, 2003）と呼ばれます。

RPTの構成では、図2に示すように、プロジェクタを観察者の眼に対して軸対称の位置（ハーフミラーを基準）に配置し、さらにプロジェクタの前にピンホールを配置して十分な被写界深度（焦点深度）を確保します。このセットアップは「共役光学条件（conjugate optical condition）」と呼ばれ、RPTの基盤となります。画像は、再帰反射材で構成・塗布・被覆されたスクリーンへ投影されます。

図2　RPTシステムの原理。

IPTで一般に用いられる従来のスクリーンは、ランバート面のように投影光を全方向へ散乱させます。これに対し、再帰反射面は投影光の大部分をプロジェクタ方向へ戻します（図3）。

図3　代表的な3種類の反射パターン。

図4は再帰反射面の振る舞いを示しています。表面は直径約50マイクロメートルの微小ビーズで覆われており、入射光を光源方向へ返します。同様の効果は、プリズム形状の再帰反射素子を表面に高密度に配置しても実現できます。

図4　直径約50マイクロメートルの微小ビーズで高密度に覆われた再帰反射面。理想的には屈折率は2が望ましい。

再帰反射スクリーンはピンホールと組み合わせることで、観察者が常に正しい遮蔽関係で画像を見られるようにします。再帰反射材の特性と、共役光学系におけるピンホールの存在により、RPTでは任意形状のスクリーンを利用できます。

この特性を利用すると、任意形状の単一スクリーンで両眼立体視が可能になります。図5はRPTによって立体視を実現する方法を示しています。図5では、表示ユニットは再帰反射材で被覆または塗布された任意形状の物体です。右プロジェクタから投影された光は表示ユニットで再帰反射され右眼で観察され、左プロジェクタから投影された光は同じ面で再帰反射され左眼でのみ観察されます。

図5　RPTに基づく立体表示の原理。

同一の表示面に対し、右眼は右プロジェクタの画像を、左眼は左プロジェクタの画像を見ます。適切な両眼視差を持つCG画像を生成すれば、観察者は表示ユニットの位置に立体像を知覚します。さらに、表示ユニットに取り付けた位置センサの計測値を用いて、ユニットの位置・姿勢に応じて3D画像を更新することで、あたかも実物体を手に取って扱っているような感覚が得られます。

同じ表示面を複数ユーザで観察することも可能です。同一面へ同時にマルチ投影できるため、各ユーザは自分の画像を投影しつつ、それを他者の画像とは独立に視認できます。この特徴は、たとえば相互テレイグジスタンス（mutual telexistence）（Tachi, 2003; Tachi et al., 2008）のように、同一のロボットへ複数の画像を投影する用途に利用できます。

RPTベースのヘッドマウント・プロジェクタ

RPTベースのヘッドマウント・プロジェクタ（Head-Mounted Projector：HMP）は、ユーザの頭部に装着して使用します。図6はHMPへのRPT実装原理を示し、図7は最初のプロトタイプを示しています。ハーフミラーを用いるHMPは、自由曲面スクリーンに対して明るく高コントラストなフルカラー立体像を投影できますが、大型のハーフミラーが装着者の顔の大部分を覆ってしまうという課題がありました。

図6　RPTベースHMP（ヘッドマウント・プロジェクタ）の原理。

図7　ハーフミラーを用いたHMPの外観。

この問題に対応するため、完全オープン型のRPTベースHMPとしてX’tal Visorが開発されました（Sonoda et al., 2005）。X’tal Visorは、投影レンズの焦点近傍に配置した全反射型マイクロミラーでハーフミラーを置き換え、必要なミラーサイズを極めて小さくしています。マイクロミラーを眼の非常に近くに配置することで、ハーフミラーなしでRPTに必要な共役光学条件を満たせます。図8はマイクロミラーを用いるHMPの原理を示しています。

図8　完全オープン型HMPの原理。

ミラーは瞳孔より小さいため、視野を妨げません。X’tal Visorは装着者の顔を覆うことなく画像を表示でき、自然な対面コミュニケーションを可能にします。また、球面ミラーを用いれば投影視野を拡大できます。ただし、球面ミラーは投影像に歪みを生じさせるため、スクリーン上で歪みのない画像を得るには、LCD上の画像をあらかじめ逆歪み（プレワープ）しておく必要があります。図9はX’tal Visorの実装例を示しています。

図9　X’tal Visorの外観。

RPTの応用例

図10は、再帰反射シートで覆われたシャツを着た人物に画像を投影した例です。投影像は実物の骨格のように見え、再帰反射材を身に着けた人物の指によって一部が遮蔽されていることが分かります。

図10　再帰反射スクリーンへの投影画像。

これは、RPTを用いた拡張現実の応用例です。事前に取得したX線画像やMRIデータを患者に重ね合わせ、開腹手術に限らず低侵襲手術においても、外科医に不可欠な情報を提供できます。さらに超音波データを重畳すれば、体内構造をリアルタイムに提示することもRPTにより可能になります。

図11は、バーチャル円柱をShape Approximation Device（SAD）に投影した例です。SADは触覚デバイスであり（Tachi et al., 1994; Hoshino and Tachi, 1998）、バーチャル物体に触れたときに現実的な触感を体験できます。SADを再帰反射スクリーンとして用いることで、ユーザはHMPを通して見ているかのように対象物を知覚できます。図11(a)はSADに基づくAED（Active Environment Display）の原理、図11(b)は表示画像、図11(c)は実機、図11(d)はSADへの投影像を示しています。これにより、物体形状に対応する触覚情報を正しく知覚できることが確認できます。

図11　Shape Approximation Device（SAD）への投影画像。(a) SADに基づくAED（Active Environment Display）の原理。(b) 表示画像。(c) 実機SAD。(d) SADへの投影像。物体形状に対応する触覚情報を正しく知覚できる。

図12は医療用途におけるRPTベースの拡張現実インタフェースの例で、作業領域へ関連情報を直接投影し、ユーザを支援します。

図12　医療分野におけるRPT応用例。

図13は、リアルタイム映像情報を用いて「Optical Camouflage（光学迷彩）」を実現する方法を示しています。図14は、図13の状況を実現するRPTシステムを示しています。コートは再帰反射材で作られており、入射光を光源方向へ反射します。

図13　RPTによる光学迷彩（Optical Camouflage）。

図14　図13の光学迷彩を実現するRPTシステムの模式図。

前述のとおり、コート表面の微小ビーズが再帰反射を生みます。ハーフミラーにより観察者は、プロジェクタ近傍のバーチャル視点からシーンを観察できます。HMPは、迷彩対象者の背後に置かれたビデオカメラが撮影した背景映像を投影します。コンピュータは画像ベースレンダリング技術を用いて観察者の視点に対応する画像を算出し、撮影画像を投影用画像へ変換します。コートは入射光を光源方向へ返す再帰反射材でできているため、観察者がハーフミラー越しに観察すると、迷彩対象者の背後の景色が非常に明るく表示され、装着者は実質的に透明に見えます。

もう一つの応用例が、図15に示す「透明コックピット」です（ここでは乗用車の例を示します）。安全性と操作性の観点から、車両の運転時には広い視野を確保することが重要ですが、窓の開口部には限界があります。透明コックピットでは、RPTを用いて死角にある物体の画像を車内表面へ表示し、ドアや床などの構造物が透明に見えるようにします。その結果、死角が減り、本来は遮蔽されて見えない物体も、窓越しに見るのと同様に確認できます（Yoshida et al., 2008）。この技術はヘリコプターや航空機にも適用でき、床を実質的に透明にして着陸時のパイロット支援に利用できます。

このようにRPTは、物体表面を再帰反射材で覆うだけで、ほぼあらゆる実物体をバーチャルディスプレイへと変換する手段を提供します。

図15　乗用車における透明コックピット。

参考文献

Cruz-Neira, C., Sandin, D. J. and DeFanti, T. A. (1993). Surrounded-screen projection-based virtual reality: The design and implementation of the CAVE. Proceedings of the ACM SIGGRAPH’93, pp. 135–142.

Fisher, S. S., McGreevy, M., Humphries, J. and Robinett, W. (1986). Virtual environment display system, Proceedings of the ACM 1986 Workshop on Interactive 3D Graphics, Chapel Hill, NC, October 1986, pp. 77–87.

Hoshino, H. and Tachi, S. (1998). A method to represent an arbitrary surface in an encounter-type shape representation system, Proceedings of the 7th IEEE International Workshop on Robot and Human Communication (RO-MAN ’98), Takamatsu, Japan, pp. 107–114.

Inami, M., Kawakami, N., Sekiguchi, D., Yanagida, Y., Maeda, T., Mabuchi, K. and Tachi, S. (1999). Head-mounted projector, ACM SIGGRAPH’99 Conference Abstracts and Applications (Emerging Technologies), p. 179.

Inami, M., Kawakami, N., Sekiguchi, D., Yanagida, Y., Maeda, T. and Tachi, S. (2000). Visuo-haptic display using head-mounted projector, Proceedings of the IEEE Virtual Reality 2000, New Brunswick, New Jersey, USA, pp. 233–240.

Kawakami, N., Inami, M., Maeda, T. and Tachi, S. (1998). Media X’tal — Projecting virtual environments on ubiquitous object-oriented retroreflective screens in the real environment, SIGGRAPH’98, Orlando, Florida, USA.

Sonoda, T., Endo, T., Suzuki, Y., Kawakami, N. and Tachi, S. (2005). X’tal Visor, ACM SIGGRAPH 2005 (Emerging Technologies).

Sutherland, I. E. (1968). A head-mounted three-dimensional display, Proceedings of the Fall Joint Computer Conference, pp. 757–764.

Tachi, S., Maeda, T., Hirata, R. and Hoshino, H. (1994). A construction method of virtual haptic space, Proceedings of the 4th International Conference on Artificial Reality and Tele-Existence (ICAT ’94), Tokyo, Japan, July 1994, pp. 131–138.

Tachi, S. (1999). Augmented telexistence, in Mixed Reality, Tamura and Ohta (eds.), Springer-Verlag, pp. 251–260.

Tachi, S. (2003). Telexistence and retroreflective projection technology (RPT), Proceedings of the 5th Virtual Reality International Conference (IVRIC2003), Laval Virtual, France, pp. 69/1–69/9.

Tachi, S., Kawakami, N., Nii, H., Watanabe, K. and Minamizawa, K. (2008). TELEsarPHONE: Mutual telexistence master–slave communication system based on retroreflective projection technology, SICE Journal of Control, Measurement, and System Integration, Vol. 1, No. 5, pp. 1–10.

Yoshida, T., Jo, K., Minamizawa, K., Nii, H., Kawakami, N. and Tachi, S. (2008). Transparent cockpit: Visual assistance system for vehicle using retroreflective projection technology, Proceedings of the IEEE Virtual Reality 2008, Reno, USA, pp. 185–188.