Как улучшить обнаружение маленьких изображений
Я делаю проверку концепции с Sikuli и SeeShell для более крупного проекта RPA. Проблема, в которой я застреваю, заключается в том, как надежно найти небольшие изображения внутри приложений. Некоторые примеры изображений (в основном значки):
Для конкретной машины я могу решить эту проблему путем точной настройки уровня достоверности, но это очень хрупкое решение, которое легко ломается (и оно ломается наверняка, как только мы развернем сценарии на других машинах).
3 ответа
Несколько месяцев назад компания SeeShell представила очень полезную функцию ClickRelative, которая позволяет визуально определять область привязки с помощью зеленой рамки, а затем отмечать "область щелчка" относительно нее с помощью розовой рамки. Для небольших изображений или изображений, которые не очень уникальны, это делает сценарии автоматизации намного более стабильными. Другими словами, SeeShell ищет (большую) область внутри зеленой рамки, а затем щелкает в середине (маленькой) розовой рамки. Примеры:
Конечно, для закрытия окна можно просто использовать команду TYPE со знаменитым Alt + F4 (%F4) ярлык Я просто использую "X" здесь только в качестве примера небольшой иконки в целом.
ClickRelative и MoveRelative также помогает с полосами прокрутки всех видов, перетаскивание,...
... и заполняя текстовые поля. В этом случае можно использовать текст / изображение рядом с (относительно) текстового поля в качестве привязки изображения.
Независимо от того, какое изображение находится внутри розовой рамки, не имеет значения, ищется только изображение в зеленой рамке. Это означает, что вы можете нажимать на изображения / значки / тексты, которые меняются, если рядом находится какое-то стабильное якорное изображение.
- Используйте короткие клавиши для доступа к значкам, если они доступны.
- Кроме того, используйте клавиши Tab или Enter, чтобы справиться с этим, поскольку они отлично работают в RDP.
UiPath может помочь. Кроме того, из Find Image деятельность есть другие действия в вашем распоряжении, такие как Image Exists, On Image Appear, а также On Image Vanish (нажмите здесь для более подробной информации).
Вы можете сделать некоторые тесты самостоятельно, используя UiPath Community Edition, но сначала проверьте их лицензию.
В качестве примера, вот как Find Image активность поднимает довольно маленький значок в сеансе RDP. Обратите внимание, что у каждого из этих действий есть свойство точности, которое позволяет вам искать изображения, аналогичные тем, которые вы использовали при настройке действия. Это полезно, поскольку вы можете ожидать искаженные, размытые или фрагментированные изображения при работе с RDP по плохим соединениям.
