Силлабификация деванагари

Question

Я пытаюсь составить слова деванагари

धर्मक्षेत्रे -> धर् मक् षेत् रे dharmakeshetre -> дхар мак шет ре

wd.split('्')

Я получаю результат как:

['धर', 'मक', 'षेत', 'रे']

Что частично правильно

Я пробую другое слово कुरुक्षेत्र -> कु रुक् षेत् रे курукшетре -> ку рук она тр

['कुरुक', 'षेत', 'रे']

Результат явно неверный.

Как эффективно извлечь слоги?

Answer 1

Если вы посмотрите на свои строки символ за символом

>>> data = "कुरुक्षेत्र"
>>> re.findall(".", data)
['क', 'ु', 'र', 'ु', 'क', '्', 'ष', 'े', 'त', '्', 'र']

И ваша вторая строка

>>> data = "धर्मक्षेत्रे"
>>> re.findall(".", data)
['ध', 'र', '्', 'म', 'क', '्', 'ष', 'े', 'त', '्', 'र', 'े']

Так что вы хотите, вероятно, разделить их с помощью '्'्, Давайте назовем их обозначениями на данный момент. Если вы распечатаете ord(data[2])для первого обозначения это 2381, Теперь, если вы исследуете это значение

>>> for i in range(2350, 2400):
...     print(i, chr(i))
...
2350 म
2351 य
2352 र
2353 ऱ
2354 ल
2355 ळ
2356 ऴ
2357 व
2358 श
2359 ष
2360 स
2361 ह
2362 ऺ
2363 ऻ
2364 ़
2365 ऽ
2366 ा
2367 ि
2368 ी
2369 ु
2370 ू
2371 ृ
2372 ॄ
2373 ॅ
2374 ॆ
2375 े
2376 ै
2377 ॉ
2378 ॊ
2379 ो
2380 ौ
2381 ्
2382 ॎ
2383 ॏ
2384 ॐ
2385 ॑
2386 ॒
2387 ॓
2388 ॔
2389 ॕ
2390 ॖ
2391 ॗ
2392 क़
2393 ख़
2394 ग़
2395 ज़
2396 ड़
2397 ढ़
2398 फ़
2399 य़

Мы в основном заинтересованы в ценностях между 2362 а также 2391, Таким образом, мы создаем массив таких значений

>>> split = ""
>>> for i in range(2362, 2392):
...     split += chr(i)

Далее мы хотим найти весь шаблон с соответствующим обозначением или без него.

>>> re.findall(".[" + split + "]?", "धर्मक्षेत्रे")
['ध', 'र्', 'म', 'क्', 'षे', 'त्', 'रे']
>>> re.findall(".[" + split + "]?", "कुरुक्षेत्र")
['कु', 'रु', 'क्', 'षे', 'त्', 'र']

Это должно приблизить вас к тому, что вы, вероятно, ищете. Если вам нужна более сложная обработка, вам нужно будет перейти по ссылке @OphirYoktan.

Answer 2

Проверять, выписываться unicodedata модуль.

>>> import unicodedata
>>> word = 'कुरुक्षेत्र'

Имена, назначенные каждому персонажу:

>>> for ch in word:
        print(unicodedata.name(ch))


DEVANAGARI LETTER KA
DEVANAGARI VOWEL SIGN U
DEVANAGARI LETTER RA
DEVANAGARI VOWEL SIGN U
DEVANAGARI LETTER KA
DEVANAGARI SIGN VIRAMA
DEVANAGARI LETTER SSA
DEVANAGARI VOWEL SIGN E
DEVANAGARI LETTER TA
DEVANAGARI SIGN VIRAMA
DEVANAGARI LETTER RA

Общая категория присваивается каждому персонажу:

>>> for ch in word:
        print(unicodedata.category(ch))


Lo
Mn
Lo
Mn
Lo
Mn
Lo
Mn
Lo
Mn
Lo

FileFormat.info содержит список категорий символов Unicode.

Посмотрите, хотите ли вы этого достичь:

import unicodedata

def split_clusters(txt):
    """ Generate grapheme clusters for the Devanagari text."""

    stop = '्'
    cluster = u''
    end = None

    for char in txt:
        category = unicodedata.category(char)
        if (category == 'Lo' and end == stop) or category == 'Mn':
            cluster = cluster + char        
        else:
            if cluster:
                yield cluster
            cluster = char
        end = char

    if cluster:
        yield cluster

Тестирование функции:

>>> list(split_clusters('धर्मक्षेत्रे'))
['ध', 'र्म', 'क्षे', 'त्रे']
>>> list(split_clusters('कुरुक्षेत्र'))
['कु', 'रु', 'क्षे', 'त्र']