АНТЛР: Есть простой пример?

Question

АНТЛР: Есть простой пример?

Я хотел бы начать работу с ANTLR, но, потратив несколько часов на рассмотрение примеров на сайте http://www.antlr.org/, я все еще не могу получить четкое представление о грамматике процесса Java.

Есть ли какой-нибудь простой пример, что-то вроде калькулятора четырех операций, реализованного с помощью ANTLR, проходящего через определение синтаксического анализатора и вплоть до исходного кода Java?

271

java antlr antlr4 antlr3

Источник

user207725 18 дек '09 в 23:35

5 ответов

Решение

Для меня этот урок был очень полезен: https://tomassetti.me/antlr-mega-tutorial

Здесь есть примеры грамматики, примеры посетителей на разных языках (Java, JavaScript, C# и Python) и многое другое. Настоятельно рекомендуется.

22

Источник

user1335665 09 ноя '17 в 08:18

Для Antlr 4 процесс создания кода Java ниже:-

java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g

Обновите свое имя фляги в classpath соответственно.

7

Источник

user3814888 16 апр '16 в 06:48

Версия 4.7.1 была немного другой: для импорта:

import org.antlr.v4.runtime.*;

для основного сегмента - обратите внимание на CharStreams:

CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);

4

Источник

user1562431 27 дек '18 в 03:00

На https://github.com/BITPlan/com.bitplan.antlr вы найдете библиотеку Java ANTLR с некоторыми полезными вспомогательными классами и несколькими полными примерами. Он готов к использованию с Maven, и если вам нравятся Eclipse и Maven.

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4

это простой язык выражений, который может делать операции умножения и сложения. https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.java имеет соответствующие модульные тесты для него.

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4 - это анализатор IRI, который разделен на три части:

грамматика синтаксического анализатора
грамматика лексера
импортированная грамматика LexBasic

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.java имеет для этого модульные тесты.

Лично я нашел это самой сложной частью, чтобы получить право. Смотрите http://wiki.bitplan.com/index.php/ANTLR_maven_plugin

https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr

содержит еще три примера, которые были созданы для проблемы производительности ANTLR4 в более ранней версии. В то же время эта проблема была исправлена, как показывает тестовый пример https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.java.

3

Источник

user1497139 23 окт '17 в 05:49

Другие вопросы по тегам java antlr antlr4 antlr3

user50476 19 дек '09 в 11:24 2009-12-19 11:24 · Accepted Answer · 2009-12-19 11:24

Сначала вы создаете грамматику. Ниже приведена небольшая грамматика, которую вы можете использовать для оценки выражений, построенных с использованием 4 основных математических операторов: +, -, * и /. Вы также можете группировать выражения, используя круглые скобки.

Обратите внимание, что эта грамматика является очень простой: она не обрабатывает унарные операторы (минус в: -1+9) или десятичные числа, такие как.99 (без начального числа), чтобы назвать только два недостатка. Это всего лишь пример, который вы можете работать над собой.

Вот содержимое файла грамматики Exp.g:

grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

(Правила парсера начинаются со строчной буквы, а правила лексера начинаются с заглавной буквы)

После создания грамматики вы захотите сгенерировать из нее парсер и лексер. Загрузите ANTLR jar и сохраните его в том же каталоге, что и ваш файл грамматики.

Выполните следующую команду в командной оболочке / командной строке:

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

Он не должен выдавать никаких сообщений об ошибках, и теперь должны быть сгенерированы файлы ExpLexer.java, ExpParser.java и Exp.tokens.

Чтобы увидеть, все ли работает правильно, создайте этот тестовый класс:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

и скомпилируйте это:

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

и затем запустите его:

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

Если все идет хорошо, ничего не выводится на консоль. Это означает, что парсер не нашел никакой ошибки. Когда вы меняете "12*(5-6)" в "12*(5-6" а затем перекомпилировать и запустить его, там должно быть напечатано следующее:

line 0:-1 mismatched input '<EOF>' expecting ')'

Хорошо, теперь мы хотим добавить немного кода Java в грамматику, чтобы синтаксический анализатор действительно делал что-то полезное. Добавление кода можно сделать, разместив { а также } внутри вашей грамматики с некоторым простым Java-кодом внутри.

Но сначала: все правила синтаксического анализатора в файле грамматики должны возвращать примитивное двойное значение. Вы можете сделать это, добавив returns [double value] после каждого правила:

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

что требует небольшого объяснения: каждое правило должно возвращать двойное значение. Теперь для "взаимодействия" с возвращаемым значением double value (который НЕ находится внутри простого блока кода Java {...}) изнутри блока кода, вам нужно добавить знак доллара перед value:

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;

// ...

Вот грамматика, но теперь с добавленным кодом Java:

grammar Exp;

eval returns [double value]
    :    exp=additionExp {$value = $exp.value;}
    ;

additionExp returns [double value]
    :    m1=multiplyExp       {$value =  $m1.value;} 
         ( '+' m2=multiplyExp {$value += $m2.value;} 
         | '-' m2=multiplyExp {$value -= $m2.value;}
         )* 
    ;

multiplyExp returns [double value]
    :    a1=atomExp       {$value =  $a1.value;}
         ( '*' a2=atomExp {$value *= $a2.value;} 
         | '/' a2=atomExp {$value /= $a2.value;}
         )* 
    ;

atomExp returns [double value]
    :    n=Number                {$value = Double.parseDouble($n.text);}
    |    '(' exp=additionExp ')' {$value = $exp.value;}
    ;

Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

и так как наши eval Правило теперь возвращает двойное значение, измените ваш ANTLRDemo.java на это:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

Снова (заново) сгенерируйте новый лексер и парсер из вашей грамматики (1), скомпилируйте все классы (2) и запустите ANTLRDemo (3):

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3

// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

и теперь вы увидите результат выражения 12*(5-6) напечатано на вашей консоли!

Опять же: это очень краткое объяснение. Я призываю вас просмотреть вики ANTLR и прочитать некоторые учебники и / или поиграть с тем, что я только что опубликовал.

Удачи!

РЕДАКТИРОВАТЬ:

Этот пост показывает, как расширить приведенный выше пример, чтобы Map<String, Double> может быть предоставлено, что содержит переменные в предоставленном выражении.

И эти вопросы и ответы демонстрируют, как создать простой синтаксический анализатор выражений и вычислитель, используя ANTLR4.

Чтобы этот код работал с текущей версией Antlr (июнь 2014 г.), мне нужно было внести несколько изменений. ANTLRStringStream нужно стать ANTLRInputStream возвращаемое значение необходимо изменить с parser.eval() в parser.eval().value и мне нужно было удалить WS предложение в конце, потому что значения атрибутов, такие как $channel больше не могут появляться в действиях лексера.