神奈川工科大学（KAIT）情報ネットワーク・コミュニケーション学科（神奈川県厚木市）とミハル通信株式会社（神奈川県鎌倉市）は、2月に開催されたさっぽろ雪まつりに合わせて行われた国立研究開発法人情報通信研究機構（NICT：エヌアイシーティー）の雪まつり実験において、HTBさっぽろ雪まつり会場並びに沖縄宜野座村ITオペレーションパークから送信された8K-3Dカメラ映像と、北陸8Kサーバからの素材映像をネットワーク上で編集し生配信する実証実験に成功しました。また、22.2ch対応のイマーシブマイクを雪まつり会場に設置し、各マイクの収録音源をトランスペアレントに受信端まで伝送し、シェルの中で音源が再生できるチェアスタイルスピーカを用いて、8K-3D非圧縮映像と同期する事で、8K-3Dと立体音響による臨場感あふれる空間を再現することにも成功しました。




【今回の実証実験について】
神奈川工科大学では、8K映像を使った生配信の映像ワークフローの実現を目指し、10Gbpsを超える非圧縮8K映像ストリームデータをエッジ（*1）やクラウド上のソフトウェアのみでリアルタイム処理可能な映像処理機能VVF（Virtualized Video handling Function）（*2）の開発と、複数のVVF間を最新の経路制御技術であるSRv6（Segment Routing over IPv6）（*3）のサービスチェイニングにより自在に連動させる仕組みの研究を行っています。これが実現すると、映像編集拠点に専用に構築したローカルシステムでしか行うことができなかった超高精細映像の生配信映像ワークフローを、オンライン上で誰でも行うことが可能になります。

今回は、8K-3D非圧縮映像を対象にしたリアルタイム処理システムを構築しました。8K-3D化により、右目、左目の伝送パスが異なることによる処理遅延差に対し、遅延補正機能VVFを付加し安定的な3D映像の伝送を可能にした他、400Gbps×2の帯域でSINET6に直結した相模原DCのエッジ装置を使い、複数の映像処理機能を連携させました。
同時に22.2ch対応のミハル通信株式会社が試作したイマーシブマイクをHTBさっぽろ雪まつり会場に設置し、各マイクの収録音源を同社のELL Liteを使って低遅延でトランスペアレントに受信端まで伝送し、受信側のグランフロント大阪 ナレッジキャピタル アクティブラボ内に設置したアストロデザイン株式会社の22.2chチェアスタイルスピーカと同社の32チャンネルパワーアンプを用いて再生し、8K-3Dのプロジェクタ映像と同期させる事で、8K-3Dと立体音響による臨場感あふれる空間を再現することができました。

今回の実証実験では、NICTのJGN（Japan Gigabit Network）、StarBED、高信頼NFVシステム、大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（NII:エヌアイアイ）のSINET6（Science Information NETwork 6）といった通信ネットワークを組み合わせ、8K-3D広域映像配信環境を構築しています（図2）。8K-3Dカメラや素材映像サーバからの8K-3D映像はIPv4マルチキャストパケットで送出されることから、SRv6サービスチェイニングを用いるためにEncap機能でIPv4マルチキャストパケットをSRv6にカプセル化し、相模原DCのエッジ装置のVVFに伝送しています。特に映像切り替え処理機能のVVFはインラインでSRv6を処理するEnd.AN（*4）機能をDPDKベースで実装して低遅延化を実現しています。端末にはDecap機能で編集後の映像を通常のIPv4マルチキャストに戻して8K-3Dプロジェクタに出力しています。また片目の映像を使ってカラーコレクティング（*5）機能による色調整を行い、HD切り出し機能を使い一部を拡大して詳細を確認する編集ワークフローをSRv6のサービスチェイニングにより構成しています。

【今後の展開】
このように、エッジやクラウドの複数のVVFがネットワーク内で自在に共用可能となり、オンライン上で様々な映像処理を自在に連携させ編集・配信できるため、従来のように映像編集拠点毎に集約して構築していた映像処理装置は不要となります。今後はこの技術を発展させることで、手持ちのPCをネットワークに接続するだけで誰でも8K映像編集・配信が可能となる新たなメディア製作手法の確立にむけて研究開発を進めていきます。

＜謝辞＞
実験協力者（敬称略）：本実証実験の実施にあたり、NICT、NII、宜野座村ITオペレーションパーク、北海道テレビ放送株式会社、アストロデザイン株式会社、株式会社池上通信機、アリスタネットワークスジャパン合同会社、セイコーソリューションズ株式会社、アンリツ株式会社、エヌ・ティ・ティ・コミュニケーションズ株式会社、東日本電信電話株式会社、ピュアロジック株式会社をはじめ関連組織の皆様のご協力をいただきました。

＜研究助成等＞
本研究成果の一部は、NICTの委託研究（JPJ012368C03101）およびJSPS科研費22K12021、22K12003により得られたものである。

＜用語説明＞
（*1）エッジ：端末とクラウドの間に配置したコンピューティングリソースを示す。端末に近いためリアルタイムな処理を得意とし、処理後の大容量なデータをクラウドに格納するような機能分散を行う。

（*2）VVF：DPDK（Data Plane Development Kit）を用いてソフトウェアベースのフレームワークで開発している。DPDKはソフトウェアベースのルータやスイッチの高速動作を目指して、CPUの特定のコアやNIC（ネットワークインタフェースカード）などのリソースをプロトコル処理専用に割り当てる技術のことであり、本技術を映像処理に応用している。

（*3）SRv6：Segment Routing over IPv6は、IPv6の拡張ヘッダを利用してパケット単位の経路制御を行う。拡張ヘッダ部にセグメント識別子（SID: Segment Identifier）と呼ぶ情報を複数追加することができ、各ルータはパケットをSIDリスト通りに特定の経路に誘導する。

（*4）End.AN：SRv6のパケットフォワーディング機能と処理機能（ネットワークファンクション）が一体化されたモデルで、低遅延インラインサービスチェイニングを実現する。

（*5）カラーコレクティング／カラーコレクション：カメラの撮影時の色温度の補正やシーンに応じた色味を変化させること。複数のカメラ映像を切り替えた際の色味の変化に対する違和感をなくし、統一感を持たせるために行う調整。

※取材の際には、事前に下記までご一報くださいますようお願い申し上げます。


▼本件に関する問い合わせ先
神奈川工科大学　研究推進機構
研究広報部門
住所：〒243-0292　神奈川県厚木市下荻野1030
TEL：046-291-3218
メール：liaison@kait.jp


【リリース発信元】 大学プレスセンター https://www.u-presscenter.jp/