편의상 음슴채로 설명드리겠습니다.

조건- 일단 '같은 숫자' 때문에 ocr기능이 필요하고 저 숫자를 읽어 낼 수 있어야함.

     - 숫자의 시작은 동일해야함

     - 색상의 숫자는 가급적 위 스샷의 5개 정도로 적을 것

1. 범위 내에서 스샷으로 같은색(1-1)/같은 숫자(2-1)인지 스샷판단으로 구분하여 판정

1-1. 색상별로 아주 작게 오려내어 숫자의 구간 내에서 스샷 검색

1-2. 숫자 색상이 판별 될 경우, 해당 색상을 버튼에서 인식(버튼도 작게 잘라 버튼별로 위치 검색)

1-3. 색상이 일치 시 클릭(글자와 버튼색을 직접 동일한가 확인이 아닌, 사람이 구분한 보라,주황,빨강 등 글자/버튼 별로 직접 동일화 시켜주셔야함)

2-1. 숫자를 ocr로 인식시킴

2-2. 버튼의 숫자를 ocr로 각각 인식시킴

2-3. 숫자와 버튼숫자가 동일할 경우 해당 버튼 클릭

대충 이런 프로세스로 작성하시면 될 것 같습니다.

색상이 많거나 위치가 다르거나 하더라도 능력이 되면 제작은 가능하리라 봅니다만...

프로세스가 복잡해질 것 같네요

될지 안될지 모르겠지만

제시된 색인지... 제시된 숫자인지 먼저 판단해야겠죠...

색상인식

일단 5색 한정이라는 가정하에...

   이미지그룹에 5개의 항목을 만든후 각 색상을 지정해 둡니다.

   추가로 각 색상과 매치되는 이미지를 따둡니다. (이미지버튼에서 조그맣게)

1. 제시어 색상 인식..

   이미지인식- 색상갯수 (항목에 등록된 색상의 갯수를 반환)

   제시된 162 영역에서 색상갯수를 뽑으면 보라색 항목값이 최대값..나머지항목들의 값은 0에 가깝겠네요.

2. 가장 큰 값을 가진 항목번호를 보관

   연산 내부함수 이용하여 

   해당 색상의 항목번호를 보관해둡니다.

   [ItemMax,[그룹명], 숫자] / [항목최대,[그룹명], 숫자] : 지정한 그룹의 항목값중 N번째로 큰 항목번호

--------------------------------------------------

여기 까지 제시된 을 알아낸 부분이고요.

이제 하단에서 답을 찾아야 겠죠.

1. 반복 5회 처리(반복문 또는 카운터 이용하여 5회 처리)..각 버튼들 검색

2. 반복 번째 버튼위치로 서치영역을 지정

   그룹의XYX2Y2 영역을 좌표연산이나 연산문을 이용하여 서칭영역을 이동시킴 

3. 스샷 - [이미지그룹, 위2번 보관값]  <-- 가장 큰값(보라색) 을 가진 이미지항목을 스샷판단.

   성공하면...  클릭후 반복타출.. 실패시 1번을 반복...

----------------------------------------------------

숫자인식....

   이미지 그룹에 5개 항목을 만든후 각 항목에 이미지 인식할 이미지를 따둡니다.

   (이미지 필터링으로 블랙&화이트로 전처리해두면 인식확률이 높습니다.)

1. 문자인식- 숫자

   제시어를 숫자인식하여 보관

2. 하단 5개의 버튼이미지의 숫자를 숫자인식하여 보관.

3. 1번 숫자와 2번 숫자들을 번갈아 비교하여 동일값 만나면 클릭후 탈출.

--------------------------------------------------

대략 위처럼 겁나 복잡하네요 ^^