ISID、最新の画像解析技術を活用したAR体験システム「なりきりアート」を開発
~「Yahoo! JAPAN Hack Day 2018」に出展~
2018年12月12日
株式会社電通国際情報サービス
株式会社電通国際情報サービス(本社:東京都港区、代表取締役社長:釜井 節生、以下ISID)のオープンイノベーションラボ(以下イノラボ)はこのほど、最新の画像解析技術とAR(拡張現実)技術を融合した体験型システム「なりきりアート」を開発しました。
本システムは、Facebook AI Researchが公開した3D身体表面モデル生成技術「DensePose」に、イノラボ独自のテクスチャ※マッピング技術や高速化技術を組み合わせることにより、最先端テクノロジーに触れながら手軽にAR体験を楽しめる仕組みを実現しています。
12月15日(土)、16日(日)に秋葉原UDX(東京都千代田区)で開催される日本最大規模のハッカソンイベント「Yahoo! JAPAN Hack Day 2018」に出展し、一般参加者に広く体験いただく機会を提供します。
開発および出展の狙い
近年の画像解析技術は、機械学習の活用により目覚ましい進展を遂げ、新たなテクノロジーが次々と登場しています。 DensePoseもその一つで、本年6月にオープンソースとして公開されて以降、大きな注目を集めています。従来の姿勢推定技術が20~30個の関節座標を推定するのに対し、5,000以上で定義される人体の表面座標情報を推定するため、2Dの群衆動画から人体を識別し、細やかな曲線や複雑な動きを含めた3Dモデルを生成してテクスチャを貼り替えられることが特徴です。
イノラボでは、かねてよりVR/AR領域の研究開発を進めており、特に近年は、スマートフォンをかざしたりヘッドマウントディスプレイを装着したりせずに、自然な動きの中でARを体験できる仕組みの開発に取り組んでいます。この知見にDensePoseを組み合わせて新たなユーザー体験を創出し、誰もが手軽に楽しめる仕組みとして開発したのが「なりきりアート」です。開発にあたっては、DensePoseの仕様に合わせて簡単にテクスチャをマッピングする技術や、人の動きに応じてリアルタイムで画像変換処理を行うための高速化技術など、イノラボ独自の技術を適用しています。
DensePoseは非商用のオープンソースとして公開されているため、これを応用した実サービスはまだ登場していませんが、イノラボの研究成果として形にし、広く発信していくことで、一般の方が最先端テクノロジーに触れる機会を創出し、さらなる応用研究に向けたフィードバックを得ることを狙いとしています。

「なりきりアート」の概要
「なりきりアート」は、アートと教育をテーマに、先端テクノロジーを体感できるARシステムです。カメラの前に立つと、スクリーンに映った自分や仲間の動きに合わせて、ヒーローの衣装やユニフォーム、あるいは自分が描いたデザイン画などのテクスチャが身体にぴったり重なって表示され、誰でも手軽に「なりきり」体験を楽しむことができます。
Yahoo! JAPAN Hack Day 2018について
Yahoo! JAPAN Hack Day 2018は、ヤフー株式会社が主催する日本最大規模のハッカソンイベントです。80組約300名のクリエイターが一堂に会し、アプリやIoTハードウエアなどを24時間で開発するハッカソンを中心に、エンターテインメントとテクノロジーを融合させたライブパフォーマンスや、様々なテクノロジー体感装置の展示が行われます。2日間でおよそ2万人の動員が見込まれています。

開催概要
- イベント名Yahoo! JAPAN Hack Day 2018
- 開催日程2018年12月15日(土)、16日(日)
- 開催場所秋葉原UDX
- 主催ヤフー株式会社
- 参加費無料
- ※ テクスチャ:物の表面の質感や手触りを指す概念で、コンピュータグラフィックスにおいては、3次元オブジェクト表面に貼り付けられる模様のこと。
- * 「DensePose」はFacebook AI Researchが開発した技術です。クリエイティブ・コモンズ・ライセンス(表示4.0国際)に従い、利用しています。
- * 本リリースに記載された会社名・商品名は、それぞれ各社の商標または登録商標です。