画像認識について

[運営チーム]

＜画像認識について＞

①使用するアクションの優先順位
②画像取得のコツ・留意点
③関連するアクション（ウインドウの状態）

[運営チーム]

＜画面操作のアプローチまとめ＞

レコーダー機能を使ってUI要素の追加ができない場合、動作の安定性を向上たせるため、以下の優先順位のアプローチで画面上のコントロールに対して操作や文字入力を行います。

１．UI要素ペインからのUI要素を再取得、なるべくPC負荷を軽くして実施する
２．UI要素のセレクター編集別日や他のデータで表示した際のUI要素を取得して、セレクターの差異を考慮して設定する
３．キーボード操作画面の操作直前に画面をアクティブにする
（アクション「ウィンドウにフォーカスする」を使用）キー操作や文字入力後は動作を安定させるため待機時間を1秒程度設ける画面切り替わりのタイミングは必要に応じて待ち時間を指定する（待ち時間が変動する場合はアクション「画像を待機」を使うことも視野に入れる）
４．画像認識アクション見切れが発生しないよう事前に画面の最大化をする
（アクション「ウィンドウの状態の設定」を使用）画像認識アクションの直前に画面をアクティブにする（アクション「ウィンドウにフォーカスする」を使用）
５．操作手順変更の検討画面操作をなるべく減らす手順を模索する
（例：1件ずつの入出力ではなく一括での入出力できる機能を使用する）

＜「画像認識」や「キー送信」のアクションを使う際のポイント＞
①操作したい画面が前に出てきているか（画像が見えている必要がある）
②操作したい画面が最大化になっているか（画像の形式が変わったり、隠れていないか）
③操作したい表示倍率は100％になっているか
④ウィンドウにフォーカスできているか
⑤クリックをするとボタンの色が変わる際は、画像を2種類以上取得する必要がある
⑥1つの画面に同じ画像がある場合は、違いが分かるようにやや広めに画像を取得したり、検索する座標を設定する
⑦キー送信を使用する際は、「Wait」を十分に入れたり、キー入力間隔の遅延を「100→300」くらいに広げてみることで、安定した動きになる