Определить пространство между текстом (OpenCV, Python)

У меня есть следующий код (на самом деле это всего лишь 1 часть из 4, необходимая для запуска всего проекта, над которым я работаю..):

#python classify.py --model models/svm.cpickle --image images/image.png

from __future__ import print_function
from sklearn.externals import joblib
from hog import HOG
import dataset
import argparse
import mahotas
import cv2

ap = argparse.ArgumentParser()
ap.add_argument("-m", "--model", required = True,
    help = "path to where the model will be stored")
ap.add_argument("-i", "--image", required = True,
    help = "path to the image file")
args = vars(ap.parse_args())

model = joblib.load(args["model"])

hog = HOG(orientations = 18, pixelsPerCell = (10, 10),
    cellsPerBlock = (1, 1), transform = True)

image = cv2.imread(args["image"])
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

blurred = cv2.GaussianBlur(gray, (5, 5), 0)
edged = cv2.Canny(blurred, 30, 150)
(_, cnts, _) = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)

cnts = sorted([(c, cv2.boundingRect(c)[0]) for c in cnts], key =
    lambda x: x[1])

for (c, _) in cnts:
    (x, y, w, h) = cv2.boundingRect(c)

    if w >= 7 and h >= 20:
        roi = gray[y:y + h, x:x + w]
        thresh = roi.copy()
        T = mahotas.thresholding.otsu(roi)
        thresh[thresh > T] = 255
        thresh = cv2.bitwise_not(thresh)

        thresh = dataset.deskew(thresh, 20)
        thresh = dataset.center_extent(thresh, (20, 20))

        cv2.imshow("thresh", thresh)

        hist = hog.describe(thresh)
        digit = model.predict([hist])[0]
        print("I think that number is: {}".format(digit))

        cv2.rectangle(image, (x, y), (x + w, y + h),
        (0, 255, 0), 1)
        cv2.putText(image, str(digit), (x - 10, y - 10),
        cv2.FONT_HERSHEY_SIMPLEX, 1.2, (0, 255, 0), 2)
        cv2.imshow("image", image)
        cv2.waitKey(0)

Этот код обнаруживает и распознает рукописные цифры на изображениях. Вот пример:

Образ

Допустим, мне плевать на точность распознавания.

Моя проблема заключается в следующем: как вы видите, программа берет все числа, которые он видит, и печатает их в консоли. С консоли я могу сохранить их в текстовом файле, если я хочу, НО я не могу сказать программе, что между числами есть пробел.

Image2

Я хочу, чтобы, если я печатал числа в текстовом файле, они должны быть разделены, как на картинке (извините, но это немного сложно объяснить..). Числа не должны (даже в консоли) печататься все вместе, но там, где есть пробел, печатать также пустую область.

Посмотрите на изображение ели. После первых 10 цифр в изображении появляется пробел, которого нет в консоли.

В любом случае, вот ссылка на полный код. Есть 4 .py файлы и 3 папки. Для выполнения откройте CMD в папке и вставьте команду python classify.py --model models/svm.cpickle --image images/image.png где image.png Имя одного файла в папке изображений.

Полный код

Заранее спасибо. По моему мнению, вся эта работа должна была бы быть сделана, используя нейронные сети, но я хочу попробовать это сначала таким способом. Я довольно новичок в этом.

Источник

2 ответа

Решение

Использовал этот код для выполнения работы. Обнаруживает область текста / цифр в изображениях.

import cv2

image = cv2.imread("C:\\Users\\Bob\\Desktop\\PyHw\\images\\test5.png")
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY) # grayscale
_,thresh = cv2.threshold(gray,150,255,cv2.THRESH_BINARY_INV) # threshold
kernel = cv2.getStructuringElement(cv2.MORPH_CROSS,(3,3))
dilated = cv2.dilate(thresh,kernel,iterations = 13) # dilate
_, contours, hierarchy = cv2.findContours(dilated,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE) # get contours


idx =0
# for each contour found, draw a rectangle around it on original image
for contour in contours:

    idx += 1

    # get rectangle bounding contour
    [x,y,w,h] = cv2.boundingRect(contour)

    # discard areas that are too large
    if h>300 and w>300:
        continue

    # discard areas that are too small
    if h<40 or w<40:
        continue

    # draw rectangle around contour on original image
    #cv2.rectangle(image,(x,y),(x+w,y+h),(255,0,255),2)

    roi = image[y:y + h, x:x + w]

    cv2.imwrite('C:\\Users\\Bob\\Desktop\\' + str(idx) + '.jpg', roi)

    cv2.imshow('img',roi)
    cv2.waitKey(0)

Код основан на этом другом вопросе / ответе: Извлечение текста OpenCV

Источник

Это стартовое решение.

У меня пока нет ничего в Python, но это не должно быть сложно конвертировать, плюс вызовы функций OpenCV похожи, и я связал их ниже.

TLDR;

Найдите центр ваших ограничивающих элементов, а затем найдите расстояние между ними. Если один прямоугольник находится на определенном пороге, вы можете считать его пробелом.

Сначала найдите центры ваших ограничивающих прямоугольников

vector<Point2f> centres;

for(size_t index = 0; index < contours.size(); ++index)
{
    Moments moment = moments(contours[index]);

    centres.push_back(Point2f(static_cast<float>(moment.m10/moment.m00), static_cast<float>(moment.m01/moment.m00)));
}

(Необязательно, но рекомендуется)

Вы можете нарисовать центры, чтобы иметь визуальное понимание их.

for(size_t index = 0; index < centres.size(); ++index)
{
    Scalar colour = Scalar(255, 255, 0);
    circle(frame, circles[index], 2, colour, 2);
}

При этом просто итерируйте их, подтверждая, что расстояние до следующего находится в разумных пределах

for(size_t index = 0; index < centres.size(); ++index)
{
    // this is just a sample value. Tweak it around to see which value actually makes sense
    double distance = 0.5;
    Point2f current = centres[index];
    Point2f nextPoint = centres[index + 1];

    // norm calculates the euclidean distance between two points
    if(norm(nextPoint - current) >= distance)
    {
        // TODO: This is a potential space??
    }
}

Вы можете прочитать больше о моментах, норме и вызовах рисования окружности в Python.

Удачного кодирования, Ура, приятель:)

Источник
Другие вопросы по тегам