Shogi Pick Robot v1.0｜AI画像認識で将棋駒を自動PICK & DROP

Shogi Pick Robot v1.0は、上カメラ・先端カメラ・ArUco・LightGBM・Arduinoを組み合わせ、対象物のPICK & DROPを行うロボットアーム用プログラムです。

▼ Shogi Pick Robotの詳しい解説記事

https://www.jijis-blog.com/shogi-pick-robot/

PC画面でPICKする対象物とDROP位置をクリックすると、上カメラによる座標変換、先端カメラとAI画像認識による位置補正を行い、ロボットアームがPICK & DROPを実行します。

将棋駒を対象として開発・評価しています。

【主な機能】

・上カメラ＋ArUcoによる盤面座標変換

・マウスクリックによるPICK対象／DROP位置の指定

・先端カメラ＋LightGBMによる対象物候補の認識

・Dynamic REFによる自動位置補正

・Good Pick判定と再検出・再補正

・PICK後に対象物を保持したまま移動するHOLD_HOME

・上カメラ／先端カメラの7点キャリブレーション

・AI学習データの取得

・LightGBMモデルの再学習

GUIから次の6モードを選択できます。

① Pick & Drop（連続モード）

② Pick & Drop（開発・デバッグ）

③ 上カメラキャリブレーション

④ 先端カメラキャリブレーション

⑤ AI学習データ取得

⑥ AIモデル作成

ご購入前に必ずご確認ください

Shogi Pick Robot v1.0は、ブログ「コスパ最強!? ロボットアームの作り方」シリーズに沿ってロボットアーム本体と基本回路を製作し、基本動作できる状態を前提とした発展企画です。

ロボットアーム本体の製作キットではありません。

ロボットアーム本体、Arduino Uno、PCA9685、USB Host Shield、PS4コントローラー、Webカメラなどのハードウェアは商品に含まれません。

Shogi Pick Robot v1.0では、PS4コントローラーをUSB有線接続で使用します。過去シリーズにあるBluetooth／PS4BT版は使用しません。

主な動作確認環境：

・Windows

・Python 3.10.x 64bit推奨

・Python 3.10.6 64bitで動作確認

・Microsoft Visual C++ Redistributable x64

・Arduino Uno

・上カメラ：Logicool C922n

・先端カメラ：Logicool C270n

他の環境やWebカメラで同等の認識精度・位置精度を保証するものではありません。

ご購入前に、既存ロボットアームシリーズの内容と必要なハードウェアをご確認ください。

▼ ロボットアームの作り方

https://www.jijis-blog.com/robot_arm_intro/

販売内容

ダウンロード商品には、主に以下を収録しています。

・Shogi Pick Robot Pythonプログラム一式

・Windows用セットアップ／起動BAT

・Arduino Uno用プログラム

・学習済みLightGBMモデル 2種類

・購入時モデルの復元用バックアップ

・将棋駒用の参考初期学習データ（CSV）

・キャリブレーション用データ

・上カメラキャリブレーションシート（PDF）

・README補助資料（PDF）

・【必読】README.md

・README_閲覧用.pdf

・LICENSE.txt

・THIRD_PARTY_NOTICES.txt

詳細なファイル構成、セットアップ方法、操作方法、安全事項は、商品に同梱する【必読】README.mdをご確認ください。

※ロボットアーム本体、Arduino Uno、Webカメラ、PS4コントローラーなどのハードウェアは含まれません。

初期学習データ・再学習について

将棋駒用の参考初期学習データとして、40列・112件のCSVを同梱しています。

・○：32件

・△：32件

・×：48件

この初期CSVは、同梱しているLightGBMモデルを完全再現するための全学習データではありません。

開発時に使用した学習画像1,168枚は商品に含まれません。

⑤ AI学習データ取得を使用すると、購入者自身の環境で教師データを追加できます。

⑥ AIモデル作成を使用すると、追加したデータを含めてLightGBMモデルを再学習できます。

⑥を実行すると、通常使用する以下の2モデルが上書きされます。

・lightgbm_koma_model.pkl

・lightgbm_good_pick_model.pkl

購入時の正式モデルは、models/backup/に同梱している2モデルからセットで復元できます。

実測PICK成功率

将棋駒を使用して27回測定した結果は次のとおりです。

・完全自動PICK成功：16 / 27（約59%）

・再検出操作込み累計PICK成功：21 / 27（約78%）

・最終失敗：6 / 27（約22%）

21 / 27は、完全自動PICK成功16回を含む累計のPICK成功数です。

これは、対象物を把持できたかを人間が確認した「PICK成功率」です。

DROP、通常HOME、連続サイクル全体までを含むPick & Drop成功率ではありません。

照明、背景、カメラ位置、対象物の置き方、ロボット個体差、サーボ再現性、グリッパー状態などによって結果は変化します。

購入者環境での成功率を保証するものではありません。

注意事項・README・ライセンス

本製品は実験・学習用です。玩具や、安全装置を備えた産業用ロボットではありません。

使用中はロボットアームの動作を監視し、異常時にサーボ電源を遮断できる状態で使用してください。

本システムには把持成功を確認するセンサーがないため、対象物をPICKできていない場合でも、その後の処理へ進むことがあります。

ご使用前に、商品に同梱している【必読】README.mdを必ず確認してください。セットアップ方法、操作方法、安全事項、既知の課題などを記載しています。

Arduino用ライブラリなど、一部の第三者ライブラリ本体は商品に含まれません。READMEに記載している配布元から購入者自身で導入してください。

ライセンス、免責、サポート、キャンセル・返金、再配布などの条件については、同梱するLICENSE.txtをご確認ください。

Arduinoプログラムおよび第三者ソフトウェアのライセンスについては、arduino/LICENSE_GPL-2.0.txtおよびTHIRD_PARTY_NOTICES.txtもご確認ください。