ku剣 ケーユーケン

センサー：realsenseカメラ
サーボモーター：MX64AT、MX28AT、AX18A
フレーム：アルミ(小手、面、胴部はABS製)
プログラム言語：C++

・画像処理の流れ
(1)背景切り抜き
深度画像とRGB(色)画像を照らし合わせ、一定以上の深度を持つRGB画像の画素を0とし黒く塗りつぶす。

(2)面、胴、小手抽出
RGB画像をHSV画像に変換し、HSV空間上で赤、青、黄をしきい値処理により抽出、2値画像作成。
そして、2値画像の重心座標と深度画像から面、胴、小手の3次元座標を得る

(3)相手の部位と自分の部位を区別
攻撃動作に入った場合、カメラに自分の小手や面も映り込むため、自分と相手を区別する必要がある。
相手の小手を狙う攻撃をする場合、黄色を抽出した2値画像から黄色部分の深度を配列として取り出し小さい順に並び替える。
さらにその配列を微分し一定以上の値が存在した場合、そこを輪郭として遠い側が相手、近い側が自分と判断する。
自分側の画素を0とすれば相手の小手のみを抽出した2値画像を作ることができる。


・サーボモーターの制御
　2019年第10回大会から、自分と相手を輪郭処理により区別する方法を取り入れ攻撃中も目標値を更新することが可能となった。
しかし、制御周期は100ms程と遅くこれを改善すれば攻撃中の目標値の変化にもさらに追従し、精度を高めることができると考えた。
2020年第11回大会に向けてプログラムの動作速度を改善するため、言語をpythonからC++へ変更。
多少は高速化したが、そもそも画像処理のための演算が多く、サーボモーターの制御と同時に行うのは困難であると考えマルチスレッド処理により画像処理とサーボモーターを並列的に処理を行うようにした。
これにより、ku剣は今までに比べてなめらかで精度の高い動きを見せるようになった。