簡単な自動化ツール「Simple Operator」

取扱説明書

（1）ツール概要

・「Simple Operator」 は、軽量かつ高機能な

　Windows 自動化（RPA）ツールです。

・ 「座標ベースのマウス・キーボード操作」

　「OpenCVによる高度な画像認識」

　「Windows標準のUI Automation」

　「WinRT APIを利用したOCR（文字認識）」

　「変数を用いたデータ抽出」のすべてを

　1つのツール内でシームレスに組み合わせることができます。

・作成した自動化シナリオは JSON 形式で保存され、

　コマンドラインからのヘッドレス（GUIなし）実行にも対応しています。

（2）メイン画面と基本操作

メインメニュー（ファイル操作）

新規作成:

・現在のシナリオをクリアし、新しいシナリオを作成します。

開く:

・保存済みの .json ファイルを読み込みます。

上書き保存 / 別名保存:

・現在のシナリオを .json 形式で保存します。

ステップリストの操作

・メイン画面中央のリストに「ステップ（動作の手順）」を

　追加して自動化を組み立てます。

追加:

・リストの「何もない空白領域」をダブルクリック、

　または右クリックして「ステップ追加」を選択します。

編集:

・既存のステップをダブルクリック、または

　Enter / F2 キーで編集画面を開きます。

並び替え:

・ ステップを「ドラッグ＆ドロップ」することで、

　直感的に順番を入れ替えることができます。

ショートカットキー:

・Ctrl + C: ステップのコピー

・Ctrl + X: ステップの切り取り

・Ctrl + V: ステップの貼り付け

・Delete: 選択中のステップを削除

（3）ステップ（自動化コマンド）一覧

・ステップ追加ダイアログから、以下の処理を選択できます。

■マウス・キーボード操作

マウス左/右/ダブルクリック

・指定した X, Y 座標をクリックします。

・「画面から取得」ボタンで実際の画面から座標を取得できます。

マウス移動

・指定した座標へマウスポインターを移動させます。

キー入力 / キー同時押し

・Enter, F5, A などのキーを押します。

・Ctrl/Alt/Shift/Winキーとの同時押しも可能です。

テキスト入力

・指定した文字列をキーボードから入力します。

　（※日本語を確実に入力するため、

　　　内部的にクリップボード経由のペーストを行っています。）

■画像認識・スクロール

画像マッチング

・画面上に指定した画像（テンプレート）が存在するか判定します。

・「一致率」や「検索範囲」の指定が可能です。

画像が現れるまで待機

・指定した画像が画面に出現するまで、

　指定したタイムアウト時間（ms）待機します。

画像が出るまでスクロール

・目的の画像が見つかるまで、

　マウスホイールのスクロール（上下）を指定回数繰り返します。

・見つかった場合はその中央をクリックします。

■テキスト認識（OCR）・UI Automation

OCRテキスト確認

・指定した画面範囲の文字を読み取り、

　対象テキストが含まれているか判定します（正規表現も使用可能）。

UI Automation:クリック

・画面の解像度やウィンドウ位置に依存せず、

　裏側の要素（Automation IDやName）を直接指定して

　確実なクリックを実行します。

UI Automation:テキスト設定

・対象の入力フォーム（テキストボックスなど）に、

　直接文字列を流し込みます。

■変数・データ抽出（スクレイピング）

テキスト抽出 -> 変数

・クリック＆コピー（全選択コピー）または

　OCRで読み取ったテキストを、指定した 変数名 に保存します。

変数設定

・変数に任意のテキスト（または他の変数を含んだテキスト）を

　代入します。

IF: 変数の値を判定

・変数の中身が特定の文字列と一致するかどうかで、

　処理を分岐（実行/スキップ）させます。

クリックして全選択コピー

・指定座標をクリック後、Ctrl+A → Ctrl+C を実行し、

　取得した文字列を変数に格納します。

・クリックして全選択ペースト 指定座標をクリック後、

　Ctrl+A を実行してから指定した文字列（変数展開可）を

　上書きペーストします。

■制御・条件分岐・その他

IF: 画像/テキスト一致

・条件を満たした場合のみ、これ以降のステップ（IF終了 まで）を

　実行します。

IF終了

・IFブロックの終わりを示します。

ループ開始 / 終了

・ループ終了 までのステップを指定回数（または無限）繰り返します。

待機

・指定したミリ秒（ms）だけ処理を一時停止します。

スクリーンショット保存

・現在の画面（または指定範囲）を画像ファイルとして保存します。

停止

・このステップに到達すると、シナリオの実行を強制終了します。

（4）変数の使い方（高度な機能）

・本ツールでは、抽出したデータを変数に保存し、

　後のステップで再利用することができます。

（1）変数の保存:

　　・ 「テキスト抽出（クリックして全選択コピーなど）」

　　　ステップを使用し、変数名（例: TargetName）を指定します。

（2）変数の呼び出し（展開）:

　　・ 「テキスト入力」や「UI Automation: テキスト設定」の

　　　テキスト入力欄で、変数名を {} で囲んで記述します。

　　　例: 入力欄に こんにちは、{TargetName} さん。 と記述すると、

　　　　　実行時に変数が展開されて入力されます。

（5） AI 連携設定

・メニューバーの「⚙ 設定」から、

　外部のLLM（大規模言語モデル）と

　連携するための設定を行えます。

手動モード:

・AI機能を利用せず、手動でシナリオを構築します。

リモートAI (API連携):

・OpenAI (ChatGPT)、Google (Gemini)、Anthropic (Claude) の

　APIキーとモデル名を入力してクラウドAIを利用します。

ローカルAI (llama.cpp):

・ご自身のPC内にある server.exe と .gguf モデルを指定し、

　オフラインでAIを稼働させます。

・設定画面から直接サーバープロセスの「起動 / 停止」が可能です。

（6）コマンドライン（ヘッドレス）実行

・作成したシナリオファイル（.json）は、本ツールの画面を開かずに

　バックグラウンドで実行できます。

・Windowsのタスクスケジューラや、自作のバッチファイル等と

　組み合わせる際に便利です。

実行方法（コマンドプロンプトまたはバッチファイル）:

SimpleOperator.exe "C:\Path\To\YourScenario.json"

copy

※ コマンドライン引数に .json ファイルのパスを渡すと、

　　自動的にヘッドレスモードで起動し、

　　標準出力（コンソール）に色付きの実行ログを出力したのち、

　　完了後に自動終了します。

【トラブルシューティング】

文字入力がうまくいかない

・入力対象のアプリがペースト（Ctrl+V）を

　ブロックしている場合があります。

・その場合は「キー入力」ステップで1文字ずつ入力するか、

　「UI Automation: テキスト設定」をお試しください。

ダイアログの下部が見切れる

・Windowsの「ディスプレイ設定」＞「拡大縮小とレイアウト」が

　150%以上になっている場合でも、ダイアログ内はマウスのホイールや

　右側のスクロールバーで下部へスクロール可能です。

画像が認識されない

・ 「一致率」を 85% から 70% 程度に下げるか、

　　「待機時間」を増やして画面が

　　完全に描画されるのを待ってから判定させてください。