【CEDEC 2017 フォローアップ】本当にリアルなMixed Reality コンテンツを実現する為の技術開発


こんにちは。コンシューマー統括マネージャー 和泉澤です。

2017/9/1(金)、CEDEC2017にて、「本当にリアルなMixed Reality コンテンツを実現する為の技術開発」という講演を行いました。

当日、講演へお越し頂きました皆様、誠にありがとうございました。

以下は、講演のスライドです。

本講演では、下記の5つのトピックについて解説しました。

  • Mixed Reality デモと、その基礎制作技術
  • リアルなMixed Realityコンテンツとは?
  • コンテンツに合ったデバイス特性
  • 高度なHololens活用技術
  • デバイス非依存へ。真に汎用的な解法

講演資料のそれぞれのトピックを解説し、
最後に講演内ではお話しできなかったテーマについても紹介します。

Mixed Reality デモと、その基礎制作技術

まず、講演に先駆けて弊社で開発した2つのMRコンテンツのデモをご覧いただきました。
いずれも、単に既存のデバイスを使用するだけでは、実現する事の出来ない表現を行っています。

現実世界へ正確にオクルージョンされ、現実のライトが仮想空間内のオブジェクトを照らし、そして、そのコンテンツを複数人で共有出来るというものです。

こうしたデモを作成するにあたり、準備段階として現実空間のメッシュ化を行いました。
その手法について解説しています。

リアルなMixed Realityコンテンツとは?

そもそも、リアルなMixed Reality コンテンツとはどういったものを指すのでしょう。
明確な定義が存在している訳でもなく、指針もありません。
研究開発を進めるにあたり、我々はこの定義を明確化しました。
そうした点について解説しています。

コンテンツに合ったデバイス特性

一口にMRデバイスと言っても、様々なタイプの機種が存在しており、
コンテンツの内容に合ったデバイスを選択するという事は、大変重要な点です。
ここでは、その選択基準について解説しています。

高度なHololens活用技術

デモを制作するにあたり、Hololensの標準機能だけでは実現出来ない表現が多くありました。
先述の通り、現実世界との正確なオクルージョン、現実のライトが仮想空間内のオブジェクト照らし、そして、そのコンテンツを複数人で共有出来るというものです。
これらについて、その具体的な技術を解説しています。

デバイス非依存へ。真に汎用的な解法

更に、そのHololensへすら依存せず、真に汎用的な技術についても研究のゴールを設定しました。
本講演におきましては、Hololensで動作しているコンテンツを、
一般的なスマートフォン単体にて表現する事の出来る技術も、併せて開発しました。
この技術について、具体的な手法を解説しています。

講演では語りきれなかった事

最後に時間の都合上、触れることが出来無かった点を幾つかご紹介します。

まず、現実のカメラの移動へ連動し、仮想空間内カメラの位置姿勢情報が離散的に変化していく様子は、六自由度それぞれの変化を可視化するという形で、その詳細な数式を示すことが出来ませんでした。
こちら、本デモにおいて実際に行っている数式をご紹介します。

また、Hololensにおけるジェスチャー入力そのものは良い機能でありますが、現時点では開発オペレーション上のツールとしての効率は高くありません。我々は、Bluetoothデバイスを接続しこの改善をはかっておりました。
簡単に実現することができ、大きく効率が改善されるアイディアであり、おすすめです。

まとめ

一口にMixed Reality コンテンツと言っても、その制作手法やデバイスの選定基準は様々です。
MR黎明期といっても差し支えの無い現在において、様々な技術が続々と生み出されています。
いざコンテンツ制作を行う際に、適切なアプローチが出来るという事が肝要であり、
本講演がその助けになれば幸いです。

尚、本システムのアーキテクチャは Sensing-by-Overlayingとして、
IEEE International Symposium on Multimedia(IEEE ISM)にて発表しております。
IEEE ISMは、マルチメディアに関するメジャーな国際会議の一つです。
併せて、ご覧頂けましたら幸いです。

Cygamesではゲーム開発を支える様々な技術研究にも取り組んでいます。

技術研究に興味があるかたは、Cygamesで一緒に働きませんか?
採用情報はこちらです。