Сортировать TextBlock как сверху вниз в видении API

Question

Пока я сканирую текст с помощью API видения, Overlay возвращает несколько текстовых полей в виде несортированного списка. Поэтому, когда я читаю текст, зацикливая его, иногда я получаю тексты в неправильном порядке, т. Е. Сначала появляется текст снизу страницы.

Пример кода receiveDetections в OcrDetectorProcessor.java

@Override
public void receiveDetections(Detector.Detections<TextBlock> detections) {
    mGraphicOverlay.clear();
    SparseArray<TextBlock> items = detections.getDetectedItems();
    for (int i = 0; i < items.size(); ++i) {
        TextBlock item = items.valueAt(i);
        OcrGraphic graphic = new OcrGraphic(mGraphicOverlay, item);
        mGraphicOverlay.add(graphic);
    }
}

В этом коде я хочу отсортировать mGraphicOverlay список, основанный на позиции TextBlock.

Если какое-либо решение / предложение доступно, то это будет очень полезно для меня.

Answer 1

Я создал компаратор текстового блока, как это.

public static Comparator<TextBlock> TextBlockComparator
        = new Comparator<TextBlock>() {
    public int compare(TextBlock textBlock1, TextBlock textBlock2) {
        return textBlock1.getBoundingBox().top - textBlock2.getBoundingBox().top;
    }
};

И отсортировано с помощью Arrays.sort(myTextBlocks, Utils.TextBlockComparator);

Обновить

Сегодня у меня было время проверить ответ @rajesh. Кажется, сортировка текстовых блоков более точна, чем сортировка текстовых строк.

Я пытался извлечь текст из следующего изображения.

Результат по TextBlockComparator

Результат по TextLineComparator

Для полного урока, пожалуйста, посмотрите на Простой пример OCRReader в Android

Answer 2

Вам необходимо отсортировать вывод, как показано в примере кода OCR. Я разбиваю текстовый блок на строки перед сортировкой.

Вот мой код:

List<Text> textLines = new ArrayList<>();

    for (int i = 0; i < origTextBlocks.size(); i++) {
        TextBlock textBlock = origTextBlocks.valueAt(i);

        List<? extends Text> textComponents = textBlock.getComponents();
        for (Text currentText : textComponents) {
            textLines.add(currentText);
        }
    }


    Collections.sort(textLines, new Comparator<Text>() {
        @Override
        public int compare(Text t1, Text t2) {
            int diffOfTops = t1.getBoundingBox().top -  t2.getBoundingBox().top;
            int diffOfLefts = t1.getBoundingBox().left - t2.getBoundingBox().left;     

            if (diffOfTops != 0) {
                return diffOfTops;
            }
            return diffOfLefts;
        }
    });

    StringBuilder textBuilder = new StringBuilder();
    for (Text text : textLines) {
        if (text != null && text.getValue() != null) {
            textBuilder.append(text.getValue() + "\n");
        }
    }

String ocrString = textBuilder.toString ();

Answer 3

Ну, если у вас есть время, протестируйте мой код. Это сделано тщательно и проверено много времени. Это дизайн, который берет sparseArray (как api give) и возвращает то же самое, но отсортированный. Надеюсь, это поможет вам.

/**
 * Taking all the textblock in the frame, sort them to be at the same
 * location as it is in real life (not as the original output)
 * it return the sparsearray with the same textblock but sorted
 */
private SparseArray<TextBlock> sortTB(SparseArray<TextBlock> items) {
    if (items == null) {
        return null;
    }

    int size = items.size();
    if (size == 0) {
        return null;
    }

    //SparseArray to store the result, the same that the one in parameters but sorted
    SparseArray<TextBlock> sortedSparseArray = new SparseArray<>(size);

    //Moving from SparseArray to List, to use Lambda expression
    List<TextBlock> listTest = new ArrayList<>();
    for (int i = 0; i < size; i++) {
        listTest.add(items.valueAt(i));
    }

    //sorting via a stream and lambda expression, then collecting the result
    listTest = listTest.stream().sorted((textBlock1, textBlock2) -> {
        RectF rect1 = new RectF(textBlock1.getComponents().get(0).getBoundingBox());
        RectF rect2 = new RectF(textBlock2.getComponents().get(0).getBoundingBox());

        //Test if textBlock are on the same line
        if (rect2.centerY() < rect1.centerY() + SAME_LINE_DELTA
                && rect2.centerY() > rect1.centerY() - SAME_LINE_DELTA) {
            //sort on the same line (X value)
            return Float.compare(rect1.left, rect2.left);
        }
        //else sort them by their Y value
        return Float.compare(rect1.centerY(), rect2.centerY());
    }).collect(Collectors.toList());

    //Store the result to the empty sparseArray
    for (int i = 0; i < listTest.size(); i++) {
        sortedSparseArray.append(i, listTest.get(i));
    }

    //return the sorted result
    return sortedSparseArray;
}