Как выделить текст на отсканированной фотографии?

Question

Я в процессе написания приложения, с помощью которого вы можете сфотографировать текст, а затем текст сканируется и передается в переменную. Я сделал это с помощью плагина firebase_ml_vision, и все работает.

У меня проблема в том, что я хочу решить для себя, какой текст сканировать с фотографии. Например, это может работать таким образом, что каждому слову и номеру автоматически выделяется рамка, а затем пользователь нажимает слова, которые передаются в переменную. Это также работает с переводчиком Google (см. Снимок экрана), но, к сожалению, я еще ничего не нашел, как это сделать... Вы знаете, как это работает?

Answer 1

API распознавания текста firebase-mlkit возвращает frame так же как cornerPoints для каждого из VisionTextBlock, VisionTextLine, и VisionTextElement:

https://firebase.google.com/docs/reference/swift/firebasemlvision/api/reference/Classes/VisionTextBlock

Они должны помочь вам выбрать слова, строки или текстовые блоки.