テニスのプレー開始点はどう判別する？　サーブ検出力に依存しすぎない「CenterNet」「決定木」を使った判別法

サーブの検出力に依存せずプレーの開始点を見つける

鈴木碩人氏（以下、鈴木）：自己紹介です。鈴木碩人といいます。2021年4月から、IT系の企業の研究開発職に入っていて、スポーツ歴は、テニスを10年くらいしています。『ベイビーステップ』みたいな頭脳戦ができたらおもしろいかなと最近思っています。

目次です。背景、着想、実験、結果、宣伝という構成で発表したいと思います。

まず背景について説明します。

試合は下の図のように、階層構造をもっているので、分析する時にポイントごとに集計する必要があります。なので、ショットの検出だけではなくて、何のゲームで何ポイント目かも分析においては必要になります。

プレーの切れ目はどう判断するのか、単純にサーブの検出ができればいいのかというと、そうではありません。実際に自分で録画して、画像認識をしてみると、撮影条件が悪かったり、フォームにばらつきがあったりして、けっこうサーブの検出漏れが発生するからです。

そこで、サーブの検出力に依存しすぎずに、プレーの開始点を見つけたいなと思いました。

着想です。サーブを打つ場合は、プレーヤーの位置関係や動作関係に制約があるので、そういうものを利用するとよりロバストに、プレーの開始点を見つけられるんじゃないかなと思いました。

実験について、説明します。

概要です。最初はCenterNetを使って、最後は決定木を使っています。

順々に説明します。まず、CenterNetでプレーヤーの動作認識と、コート検出をします。動作は、サーブ、ストローク、何もしていないの3種類としています。また、時系列入力にはしていません。

次に、CenterNetを使って検出したプレーヤーの矩形から、プレーヤーのコート状の座標を計算します。お馴染みのHomography変換を使っています。

最後にプレーヤーのコート座標と、動作の確率を使って、プレー中かどうかを2値分類します。

野良試合では画像認識に限界がある

実験の結果です。

まずサーブの認識精度ですが、手前側のプレーヤーはけっこう精度が良いのですが、奥側のプレーヤーは、けっこう精度が悪いです。これは余談ですが、ラケットを含めると精度が上昇するというTipsがあります。

さきほど、精度が良かったと言った手前側のプレーヤーも、誤検知がある程度は発生しています。

それを踏まえたうえで、プレー分割をプレーヤーのコート座標も含めるとどうなるかというと、一応精度が向上していることがわかりました。重要度を見ても、座標の情報が効いてることがわかりました。

まとめです。野良試合では、画像認識にけっこう限界があるので、ちょっとしたルールや、工夫を利用することで、それを補うことが重要なんじゃないかなと思いました。

最後は、宣伝なのですが、戦術分析をするWebアプリを作っているので、なにか知見があったら教えていただきたいですし、興味のある方がいらっしゃったらご連絡ください。

ご清聴ありがとうございました。

（司会者拍手）

司会者：おもしろい観点でいろいろ分析をされていて、素敵だと思いました。この野良試合と言ってるのは、ご自身の試合を動画で撮って、アノテーションを自分でやったということですか？

鈴木：そうですね。

司会者：なるほど。どのぐらいアノテーションはかかったんですか？

鈴木：6ゲーム分くらいやりました。何時間必要だったんだろう。覚えてないぐらい、けっこう時間が必要でした（笑）。

司会者：そうですよね。なかなか、こういうデータは、一般の試合のやつを取ってくるのはちょっと難しいですよね。

鈴木：そうですね、なかなか大変です。こんな感じで、けっこうフェンスで3メートルくらいにくっつけても、後ろのほうのコートはあんまり見えなくて。一般人が映そうと思うと、これぐらいが限界なのかなという感じです。

司会者：そうですよね。中継ではよっぽどいいカメラを使っていますしね（笑）。1個、質問が来ています。テニスプレーヤーさんによってサーブ前のクセがいろいろとあるというところで「ボールをバウンドさせるのとかが、特徴量として使えたりしないんでしょうか？」と来ていますが、このあたりどうでしょうか？

鈴木：確かに。そういうのは使えそうだと思います。ボールのバウンド動作ですね。

司会者：プレー中にはなかなか発生し得ない動作ですからね。

鈴木：そうですね、確かに。

司会者：おもしろいですね、いいアイデアな気がします。

鈴木：そうだと思います。ありがとうございます。

司会者：もう1個質問が来ていますね。「CenterNetで取ったデータをどうLightGBMに入れたか」

鈴木：この表を見てもらうといいと思います。奥側と手前側のプレーヤー、コート座標、CenterNetを使って出力した動作のパーセンテージを入力にしています。

司会者：このコート座標はそれぞれ分解して、別のカラムにしてということですかね。ありがとうございます。それではこれで発表を終了としたいと思います。