こんにちは。コンシューマー統括マネージャー 和泉澤です。
2017/9/1(金)、CEDEC2017にて、「本当にリアルなMixed Reality コンテンツを実現する為の技術開発」という講演を行いました。
当日、講演へお越し頂きました皆様、誠にありがとうございました。
以下は、講演のスライドです。
本講演では、下記の5つのトピックについて解説しました。
- Mixed Reality デモと、その基礎制作技術
- リアルなMixed Realityコンテンツとは？
- コンテンツに合ったデバイス特性
- 高度なHololens活用技術
- デバイス非依存へ。真に汎用的な解法
講演資料のそれぞれのトピックを解説し、
最後に講演内ではお話しできなかったテーマについても紹介します。
Mixed Reality デモと、その基礎制作技術
まず、講演に先駆けて弊社で開発した2つのMRコンテンツのデモをご覧いただきました。
いずれも、単に既存のデバイスを使用するだけでは、実現する事の出来ない表現を行っています。
現実世界へ正確にオクルージョンされ、現実のライトが仮想空間内のオブジェクトを照らし、そして、そのコンテンツを複数人で共有出来るというものです。
こうしたデモを作成するにあたり、準備段階として現実空間のメッシュ化を行いました。
その手法について解説しています。
リアルなMixed Realityコンテンツとは？
そもそも、リアルなMixed Reality コンテンツとはどういったものを指すのでしょう。
明確な定義が存在している訳でもなく、指針もありません。
研究開発を進めるにあたり、我々はこの定義を明確化しました。
そうした点について解説しています。
コンテンツに合ったデバイス特性
一口にMRデバイスと言っても、様々なタイプの機種が存在しており、
コンテンツの内容に合ったデバイスを選択するという事は、大変重要な点です。
ここでは、その選択基準について解説しています。
高度なHololens活用技術
デモを制作するにあたり、Hololensの標準機能だけでは実現出来ない表現が多くありました。
先述の通り、現実世界との正確なオクルージョン、現実のライトが仮想空間内のオブジェクト照らし、そして、そのコンテンツを複数人で共有出来るというものです。
これらについて、その具体的な技術を解説しています。
デバイス非依存へ。真に汎用的な解法
更に、そのHololensへすら依存せず、真に汎用的な技術についても研究のゴールを設定しました。
本講演におきましては、Hololensで動作しているコンテンツを、
一般的なスマートフォン単体にて表現する事の出来る技術も、併せて開発しました。
この技術について、具体的な手法を解説しています。
講演では語りきれなかった事
最後に時間の都合上、触れることが出来無かった点を幾つかご紹介します。
まず、現実のカメラの移動へ連動し、仮想空間内カメラの位置姿勢情報が離散的に変化していく様子は、六自由度それぞれの変化を可視化するという形で、その詳細な数式を示すことが出来ませんでした。
こちら、本デモにおいて実際に行っている数式をご紹介します。
また、Hololensにおけるジェスチャー入力そのものは良い機能でありますが、現時点では開発オペレーション上のツールとしての効率は高くありません。我々は、Bluetoothデバイスを接続しこの改善をはかっておりました。
簡単に実現することができ、大きく効率が改善されるアイディアであり、おすすめです。
まとめ
一口にMixed Reality コンテンツと言っても、その制作手法やデバイスの選定基準は様々です。
MR黎明期といっても差し支えの無い現在において、様々な技術が続々と生み出されています。
いざコンテンツ制作を行う際に、適切なアプローチが出来るという事が肝要であり、
本講演がその助けになれば幸いです。
尚、本システムのアーキテクチャは Sensing-by-Overlayingとして、
IEEE International Symposium on Multimedia(IEEE ISM)にて発表しております。
IEEE ISMは、マルチメディアに関するメジャーな国際会議の一つです。
併せて、ご覧頂けましたら幸いです。
Cygamesではゲーム開発を支える様々な技術研究にも取り組んでいます。
技術研究に興味があるかたは、Cygamesで一緒に働きませんか？
採用情報はこちらです。