スポーツ中継の概念が変わる！？ 世界体操／新体操で見た、無人のAIカメラが生み出す新たな表現 - ITをもっと身近に。ソフトバンクニュース

2021年10月に開催された「2021世界体操・新体操選手権北九州大会」。選手たちの華麗な演技の裏側で、実はスポーツ中継の新しい形を届ける実験が行われていました。

実験の目的や、それぞれの技術のポイントについて担当者に話を聞きました。

AIカメラで広がる映像コンテンツの可能性

無人のAIカメラで撮影された新体操の団体演技。映像を見ると、人物を認識しながら細かく向きやズームを調整しているのがわかります。

無人AIの自動追尾カメラを担当した森香菜子さん

森：無人AIによる自動追尾カメラを、会場内の3つのポイントに設置し、いろいろな角度から団体の演技を見ることができるようにしました。

選手たちのシンクロした動きや、美しいフォーメーションが見所の新体操の団体演技では、選手たちが同じ方向に動いたりバラバラに散ったりします。この無人のAIカメラは、AIが人物を認識し、フォーメーションの左右の端の人物が収まるように瞬時に計算して動きに合わせて進行方向に追尾したり、ズームアウトして全体を写すようにAIが自動判断で動いています。

会場内には、観客や審判の方もいますので、選手以外の人間の動きに左右されず対象だけを追えるように、カメラの向きを緻密に計算し、判別すべき範囲を指定してAIが認識しやすいアルゴリズムを設計するのが大変でした。夏ぐらいから準備を始めたのですが、新体操の会場に何度も通い、競技エリアの配置や、審判の動きなどさまざまなケースを学習して、最適な設定値を導き出しました。

森：最近はVRやFRなど、マルチアングルの映像が徐々に増えてきていますが、多視点の映像コンテンツを作るには、カメラ等の機材はもちろん、その機材を操作するカメラマンなど人材もたくさん必要になります。そして、カメラマンが撮影する、ということは人がいるスペースが確保できる角度でしか撮影できない、という側面もあります。

そこを今回のように自動でAIカメラで追うことができれば、コストや人件費を抑えつつ、カメラだけなら置けるスペース、例えば天井の隙間のような人が入れない場所からなど新しい角度の撮影が可能になり、新たなマルチアングルのコンテンツが生まれてくると良いな、と思います。

森：これはライブ配信映像を、会場の座席で視聴している様子です。

従来のインターネットによるライブ中継は、一般的には、実際の会場で見るよりも、数十秒遅れて配信されていることをご存知ですか？

現地で撮影されたカメラの映像がそのままみなさんの端末まで届くのではなく、データを圧縮したり、変換したりとたくさんのプロセスを通って届けられています。

今回の配信では、タイムラグを最小限に抑える低遅延の配信システムを採用しました。データ変換の際発生する膨大なプロセスを効率化して時間を短縮するとともに、データの送信ゆらぎやパケットロスト処理を特別なプロトコルで行うことによりバッファリングが必要なく、ほぼリアルタイム（0.1～0.3秒の遅延）の映像でもスムーズに再生することに成功しました。

映像でも、実際の会場での選手たちの動きと、タブレットの映像がほぼ同じで、リアルタイムに配信されているのが分かると思います。

会場にいたお客さまに、この配信映像を見ていただいたのですが、ぱっと見タブレットでビデオを撮影しているように見えるぐらい「本当にリアルタイムだね」と驚かれていました。テレビだと自由に視点を変更できなかったりしますが、3つの視点をスムーズに、自分で操作して切り替えられるので、「自宅でも見てみたい」とおっしゃっていただけました。

今回のようにお客さまがいて携帯の電波が飛び交っている会場で配信実験を行うのは初めてだったのですが、さらに精度を上げていくための課題も見つけられましたしとても意味のある実験ができたと思います。