Использование целых чисел / дат в качестве терминалов в анализаторе NLTK

Question

Я пытаюсь использовать парсер Earley в NLTK для разбора предложений, таких как:

Если дата до 21.12.2010, то серийный номер = 10

Чтобы сделать это, я пытаюсь написать CFG, но проблема в том, что мне нужно иметь общий формат дат и целых чисел в качестве терминалов вместо конкретных значений. Есть ли способы указать правую часть производственного правила как регулярное выражение, которое бы разрешало такую ​​обработку?

Что-то вроде:

S -> '[0-9]+'

который будет обрабатывать все целые числа.

Answer 1

Чтобы это сработало, вам нужно токенизировать дату, чтобы каждая цифра и косая черта были отдельным токеном.

from nltk.parse.earleychart import EarleyChartParser
import nltk

grammar = nltk.parse_cfg("""
DATE -> MONTH SEP DAY SEP YEAR
SEP -> "/"
MONTH -> DIGIT | DIGIT DIGIT
DAY -> DIGIT | DIGIT DIGIT
YEAR -> DIGIT DIGIT DIGIT DIGIT
DIGIT -> '1' | '2' | '3' | '4' | '5' | '6' | '7' | '8' | '9' | '0'
""")

parser = EarleyChartParser(grammar)
print parser.parse(["1", "/", "1", "0", "/", "1", "9", "8", "7"])

Выход:

(DATE
  (MONTH (DIGIT 1))
  (SEP /)
  (DAY (DIGIT 1) (DIGIT 0))
  (SEP /)
  (YEAR (DIGIT 1) (DIGIT 9) (DIGIT 8) (DIGIT 7)))

Это также дает некоторую гибкость в виде разрешения того, чтобы даты и месяцы были однозначными.