Как написать грамматику для записи встроенного комментария, игнорируя при этом строки только с комментариями?

Question

Я пишу грамматику на новый язык, который я развиваю. Язык имеет следующее определение комментариев:

1. Комментарий может быть "встроенным" или "только-строчным".
2. "встроенные" комментарии начинаются с #
3. комментарии "только строка" начинаются с # или же *
4. Каждое утверждение языка заканчивается newline
5. "только строки" комментарии могут быть проигнорированы
6. "встроенные" комментарии должны быть обработаны (значение передается обходчику дерева на этапе генерации кода)

Пример:

keyword(0x12, 0x12) # this is an inline comment
keyword(0x34, 0x34) # this is another inline comment

# this is an "only-line" comment
* this is another "only-line" comment
keyword(0x55, 0x55) # this is the 3rd inline comment

Вот моя (уменьшенная) грамматика для достижения этой цели:

statement :   empty_line
          |   comment_statement
          |   keyword_statement
          ;

keyword_statement : 'keyword' '(' HEX_VALUE ',' HEX_VALUE ')' in_line_comment?;

in_line_comment : IN_LINE_COMMENT;

comment_statement : LINE_COMMENT;
empty_line        : NL;

IN_LINE_COMMENT : '#' ~[\r\n]* ;
LINE_COMMENT    : [#*] ~[\r\n]* -> skip;

HEX_VALUE       : '0x' [0-9a-fA-F]+;

NL              : '\r'? '\n' -> channel(2);
WS              : [ \t]+ -> skip;

Компиляция Antlr4 и подача текста примера в грамматику дает:

[@0,0:6='keyword',<'keyword'>,1:0]
[@1,7:7='(',<'('>,1:7]
[@2,8:11='0x12',<HEX_VALUE>,1:8]
[@3,12:12=',',<','>,1:12]
[@4,14:17='0x12',<HEX_VALUE>,1:14]
[@5,18:18=')',<')'>,1:18]
[@6,20:46='# this is an inline comment',<IN_LINE_COMMENT>,1:20]
[@7,47:47='\n',<NL>,channel=2,1:47]
[@8,48:54='keyword',<'keyword'>,2:0]
[@9,55:55='(',<'('>,2:7]
[@10,56:59='0x34',<HEX_VALUE>,2:8]
[@11,60:60=',',<','>,2:12]
[@12,62:65='0x34',<HEX_VALUE>,2:14]
[@13,66:66=')',<')'>,2:18]
[@14,68:99='# this is another inline comment',<IN_LINE_COMMENT>,2:20]
[@15,100:100='\n',<NL>,channel=2,2:52]
[@16,101:101='\n',<NL>,channel=2,3:0]
[@17,102:133='# this is an "only-line" comment',<IN_LINE_COMMENT>,4:0]
[@18,134:134='\n',<NL>,channel=2,4:32]
[@19,172:172='\n',<NL>,channel=2,5:37]
[@20,173:179='keyword',<'keyword'>,6:0]
[@21,180:180='(',<'('>,6:7]
[@22,181:184='0x55',<HEX_VALUE>,6:8]
[@23,185:185=',',<','>,6:12]
[@24,187:190='0x55',<HEX_VALUE>,6:14]
[@25,191:191=')',<')'>,6:18]
[@26,193:224='# this is the 3rd inline comment',<IN_LINE_COMMENT>,6:20]
[@27,225:225='\n',<NL>,channel=2,6:52]
[@28,226:225='<EOF>',<EOF>,7:0]
line 4:0 extraneous input '# this is an "only-line" comment' expecting {<EOF>, 'keyword', LINE_COMMENT, NL}

что означает комментарий "только строка", который начинается с # идентифицируется как токен LINE_COMMENT, что неверно.

Как я могу поручить грамматике трактовать этот комментарий по-другому?

Answer 1

Хорошо. копаю это сам и как общественная работа..

вот мое решение. Я использовал семантический предикат в грамматике, чтобы решить проблему. В настоящее время в решении используется реализация Java (просто для того, чтобы устранить сложность Antlr4 Python), но я обязательно переведу приведенное ниже на python

Моя измененная грамматика:

@lexer::members {
    int in_line = 0;                                       <-- initialize to "only-line"
}

prog      : statement+ EOF;

statement :   empty_line
          |   comment_statement
          |   keyword_statement
          ;

keyword_statement : KEYWORD '(' HEX_VALUE ',' HEX_VALUE ')' in_line_comment?;

in_line_comment : IN_LINE_COMMENT;

comment_statement : LINE_COMMENT;
empty_line        : NL;

KEYWORD         : 'keyword' {in_line = 1;};

IN_LINE_COMMENT : '#' ~[\r\n]* {in_line == 1}?;            <-- will match this token only if in_line == 1 in run-time
LINE_COMMENT    : [#*] ~[\r\n]* -> skip;

HEX_VALUE       : '0x' [0-9a-fA-F]+;

NL              : '\r'? '\n' {in_line = 0;}-> channel(2);  <-- reset in_line to 0 after every statement
WS              : [ \t]+ -> skip;