● ターゲットとする領域
例えばゲームのプレイ画像を入力としてプレイの状況を認識させるようなことをしたい
● 類似例
スプラトゥーン(WiiUの初版)の対戦結果を画像から判定して記録に残すシステム
#IkaLog によるスプラトゥーンの画像解析と機械学習
https://www.slideshare.net/TakeshiHasegawa1/ikalog20161125nsstudy
IkaLogの裏側 「スプラトゥーン」のリアルタイム画像解析はどのように行われているのか：連載｜gihyo.jp ... 技術評論社
https://gihyo.jp/dev/serial/01/ikalog
● 使えそうなツール
OpenCV --- UVCのキャプチャも簡単にできるらしい
PyAutoGui --- Windowsでマウスやキーボードや画面キャプチャが簡単らしい
PyOCR --- OCRツールをbindingして簡単に使えるようにしてくれるらしい
字幕から文字抽出してみた(OpenCV:tesseract-ocr編) - Qiita
https://qiita.com/satsukiya/items/112c6c08a618b2376408
あと、Lobeなんてのもあるみたいだけど、さすがに事前知識なしの学習は負荷が高いかなと思ってる。
誰でもノーコードで画像判別の機械学習モデルを作成できる「Lobe」【イニシャルB】 - INTERNET Watch
https://internet.watch.impress.co.jp/docs/column/shimizu/1316830.html
● ハードウェア
こういう怪しいHDMIキャプチャ機器が安くで手に入るのでUVCで手軽に画像キャプチャできるはず。
USB2.0までで1920x1080だと30fpsまでなやつが多いけど、画像キャプチャ＆認識する場合は動画でなく静止画で良いので、まぁ十分かと。
(かつてここに商品へのAmazonアフィを入れていたがiframeが廃止されてしまったので代わりにPCカテゴリランキングを Amazonアフィリンク)
● 応用例
ゲーム画面の画像認識 → 文字認識 → 文字起こし の流れをリアルタイムに行う - Qiita
https://qiita.com/onaka_yurusugi/items/7fe2bacb7ede88eadd1b
PyAutoGuiとPyOCRで放置少女の育成を自動化
https://rios-studio.com/?p=349
Autoplay DOAX3 V4｜上原ヨヨギ｜note
https://note.com/ueharayoyogi/n/n86ee99cb6f0c
● 所感
- この手のは今はスマホゲーの放置プレイがみなの関心事なのかな
- 昔はHTMLタグやHTTPヘッダやパケットキャプチャしてたけど、今は画像から認識したほうが手っ取り早いで、時代の流れを感じる
- RPAを全否定する気はないけど、いわゆるボット行為やゲームの自動プレイは、運営を崩壊させるほどの問題になっている世の中のため、責任を負える範囲を超えないようにを常に意識しておきたい。
