NTTと松竹株式会社は、2016年からICTを用いた新たな歌舞伎鑑賞実現をめざした共同実験をスタートさせました。これは、2020年に向け、ICTを通じて深い感動、新しい体験を提供するうえでは、優れた文化に携わる方とのコラボレーションが必要であると考えていたNTTと、急増する日本へのインバウンドの顧客に対し、歌舞伎の伝統を継承しつつ、歌舞伎の魅力をさらに発信する新しいコンテンツづくりを検討していた松竹の思いが一致し、スタートしたもので、これまで4回の実験を行ってきました。

2016年5月に、松竹が米国ラスベガスで公演を行った「KABUKI LION獅子王」の場において、ICTを通じて外国人の方々に歌舞伎の魅力を感じていただくとともに、時間や距離の壁を越えて多くの方々に歌舞伎鑑賞体験を提供することを目的に、米国の公演会場だけでなく、遠隔地である羽田空港も含めたさまざまな実験を行いました。
(1)　羽田空港への遠隔ライブ伝送
ラスベガスの歌舞伎公演会場に設置した9台の4Kカメラの映像を、NTTが開発した高圧縮率のHEVC(High Efficiency Video Coding)による符号化技術、複数の映像・音声を柔軟に同期するMMT(MPEG Media Trans-port)技術を用いて、世界で初めて国際伝送しました。羽田空港の会場では、正面舞台(3面)、舞台花道(下手側1面、背面3面)、天井(上方2面)の全天周に4Kマルチ映像として同期提示し、歌舞伎俳優の縦横無尽な演技を再現、観客に実際の舞台前・花道に囲まれた座席にいるような体験を提供しました(写真1)。
また、超高臨場感通信技術「Kirari!」の要素技術である「被写体抽出技術」を用いて、現地にて行われる市川染五郎(現 松本幸四郎)丈の舞台挨拶をリアルタイムに伝送し、染五郎丈が羽田空港の会場で記者会見を行っているかのような体験を実現しました(写真2)。

(2)　劇場外でのインタラクティブ展示実験
ラスベガスの劇場前では、歌舞伎独特の化粧法である隈取をモチーフに、NTTの先端技術を組み合わせたインタラクティブ体験展示「変身歌舞伎」を出展しました。日本が誇る“文化と技術”が織りなす不思議な世界観は、外国人の方を中心に体験希望者が列をなすほど好評を得ました(写真3)。
変身歌舞伎では、まず体験者が手に取ったお面が「アングルフリー物体検索技術」によりお面の向きや傾きによらず高精度に自動認識され、その隈取模様が、体験者の顔にAR(Augmented Reality)重畳表示されます。
また、巨大な立体顔面オブジェクトに歌舞伎特有の間や表情といったダイナミックな演出とともにプロジェクションマッピングし、演出における重要形成要素(キーポイント)を抽出して現実以上に際立たせる「Amplified Experience(AX)」というコンセプトと、その実現に必要な「キーポイント抽出・強調技術」の確立に向けた検証を行いました。
加えて、壁面に掛けられた50個もの動くはずのない隈取お面を、「変幻灯」技術によって、笑ったり、怒ったり、多彩な表情に変化させました。
これら以外にも、「変幻灯」により歌舞伎で従来用いられる背景画に動きを与える新たな演出を提供したり、「全天球映像向けインタラクティブ配信技術」を用いて4K全天球映像を視聴時の体感品質を維持しながら低帯域で配信する実験を行うなど、会場内外で歌舞伎演出を広げる取り組みを行いました。

地方の歌舞伎ファンへの観劇機会を拡大し、歌舞伎の魅力を広く伝えることを目的として、2017年3月にNTT、NTT西日本、熊本県、松竹の4者共催で熊本県庁にて、2018年3月にはNTT、NTT東日本、福島県、松竹の4者共催でパルセいいざか(福島市)にて、「歌舞伎シアター バーチャル座」と銘打ちそれぞれ熊本地震、東日本大震災からの復興を祈願したイベントを行いました。
(1)　歌舞伎シアター バーチャル座
「KABUKI LION 獅子王」の公演映像を、「Kirari!」を用いることでバーチャルでありながらあたかも歌舞伎俳優が目の前で演じているかのような臨場感あふれる新たな歌舞伎上映作品として仕上げ、上映しました。加えて福島では、経済的かつ汎用的な映像投影方式の確立に向けた実証も行いました。来場者からは歌舞伎と最新技術の素晴らしさや、地方での観劇チャンスが増えたことへの評価を多くいただきました(写真4)。

(2)　変身歌舞伎
ラスベガスで好評を博したインタラクティブ体験展示「変身歌舞伎」を移動可能なコンテナにパッケージ化して歌舞伎の魅力を体験いただくとともに、その機動力を活かして、プレイベントとして熊本県や福島県内の被災地を巡りました(写真5)。幼児からご高齢の方まで幅広い方々に体験いただき、大きな反響を得ることができました。

(3)　歌舞伎シャウト
福島では、変身歌舞伎に加え、歌舞伎独特の掛け声である「大向こう」とNTTの音響処理技術をコラボレーションさせ、大向こうの達人になったかのような体験を楽しむことができる「歌舞伎シャウト」も展示し、プレイベントとして福島県内の被災地を巡りました(写真6)。
歌舞伎シャウトでは、大画面に表示された役者絵に大向こうを掛けると、「インテリジェントマイク技術」により騒がしい空間においても音声認識を行い、「リアルタイム波面合成技術」により、大向こうの動きと同期して音声が立体的に飛んでいきます。さらに、大向こうが役者絵にあたると、タイミング、大向こうらしさ、などの要素により、役者絵がさまざまな反応を返します。
このように、大向こうの一連の流れを最新技術で拡張することで、新たなかたちで歌舞伎に親しんでいただきました。

2017年11月に、共同実験の第3弾として、若者が、「和の文化」に触れ、伝統産業に親しむ機会を提供することを目的として京都市が行っている「はじめまして歌舞伎」内の特別企画として行いました。
「京結夢現連獅子(みやこむすびゆめのれんじし)」では、Kirari!における「被写体抽出技術」および「超高臨場感メディア同期技術」を用いて、宮川町歌舞練場で演じる四代目中村橋之助丈、三代目中村福之助丈、四代目中村歌之助丈の舞踊を1.5キロ離れた先斗町歌舞練場へリアルタイムに伝送し、先斗町で演じる八代目中村芝翫丈とバーチャルな共演を実現しました(写真7)。ICTによってまるで同じ会場で演じているかのような息の合う舞踊を演じる様子に多くの若者から驚きと感動の言葉をいただきました。

超歌舞伎は、株式会社ドワンゴが主催するニコニコ超会議で2016年に初上演され、2018年までの間に3作品が製作されました。
NTTとドワンゴは、2013年より映像＆ソーシャルサービス分野にかかわる業務連携を締結し、NTTは2014年のニコニコ超会議3以降、R&Dブースを出展してきました。ニコニコ超会議2016からは、超特別協賛と超歌舞伎への技術提供も行っています。
NTTはKirari!を用いた「分身の術」をはじめとした最新技術を用いた全く新しい歌舞伎演出や、歌舞伎の楽しみ方を広げる取り組みに挑戦、年々その技術・演出を進化させ、若年層の歌舞伎ファン拡大につなげています。

超歌舞伎では、被写体抽出技術により歌舞伎俳優の映像をリアルタイムに抽出し、抽出映像を異なる場所に立体的に投影することで従来実現し得なかった演出を実現する「分身の術」を毎年実施してきました。
2016年の「今昔饗宴千本桜(はなくらべせんぼんざくら)」では抽出した中村獅童丈の映像を複数投影する分身の術を初披露し、大きな反響をいただきました。さらに2017年の「花街詞合鏡(くるわことばあわせかがみ)」では、複数の被写体抽出システムを同時に運用することにより、中村獅童丈と澤村國矢丈のそれぞれの分身どうしのバーチャルで迫力ある立回りを実現しました。そして2018年の「積思花顔競―祝春超歌舞伎賑―(つもるおもいはなのかおみせ―またくるはるちょうかぶきのにぎわい―)」では機械学習により抽出精度を向上させた被写体抽出技術を用い、これまでできなかった背景に変化があるシーンにおいても頑健な被写体抽出を実現、舞台大詰のシーンにおける中村獅童丈と初音ミクの立回りを演出しました(写真8)。
このように、分身の術は超歌舞伎ではおなじみの演出として年々進化させ、毎年新たな観劇体験を実現してきました。

「今昔饗宴千本桜」ではスマートフォンと組み合わせて手軽に3D映像を視聴できるデバイス「Kirari! for Mobile(多層空中像表示技術)」の箱型ペーパークラフトを用いて、箱の中に浮かび上がる初音ミクを掌で鑑賞しながら超歌舞伎の余韻を味わう体験を実現しました。
2018年にはこの多層空中像表示技術を拡張し、複数の表示装置に対して光路長を制御することで3層の空中像を正面と背面から同時に視聴できる「両面透過型多層空中像表示装置」を開発しました。「積思花顔鏡―祝春超歌舞伎賑―」では本技術を用いて山車に初音ミクが乗って登場、背景も多層に表現し、ステージ上を練り歩くという、これまで実現できなかった新たな演出を実現しました(写真9)。
これら以外にも、「バーチャルスピーカ技術」「波面合成音響技術」といった音響技術により、存在感の高い、迫力ある音響演出を実現してきました。
これらの取り組みを通じて、観客・視聴者からはNTTに対して大向こうで「電話屋」という掛け声をいただくようにもなり、NTTとしても若い顧客層に対する存在感を高めることに成功しています。

これまでに述べてきた7つの取り組みを通じて、歌舞伎×ICTの可能性について実績を積んできましたが、NTTと松竹では、その取り組みをさらに進めて、実際の歌舞伎公演等におけるICTの活用を深化させることで、集客力を高め、事業性の向上を図り、新たなエンタテインメントビジネスの実現をめざしていくこととしました。
京都四條南座が2018年11月に新開場することをとらえ、2019～2021年の3年間、ICTを活用した歌舞伎等のNTT・松竹による共同公演を南座から実施し、順次拡大を図っていきます。その第1弾として、2019年8月にドワンゴとともに「超歌舞伎公演」を実施する予定です。
この取り組みを通じて、歌舞伎×ICTが新たなジャンルとして立ち上がり、歌舞伎およびその他のエンタテインメントとICTとの融合によるビジネス拡大につなげていくとともに、NTTグループ各社を通じたB2B2Xモデルの展開をめざします。加えて、ここで得られた知見を、間近に迫った2020年に向けたエンタテインメント全体の取り組みにも反映していきます。

■参考文献