我想开始使用ANTLR,但是花了几个小时在antlr.org网站上回顾了这些示例之后,我仍然对Java语法没有一个清晰的了解。
是否有一些简单的示例,例如使用ANTLR实现的四运算计算器,经过解析器定义,一直到Java源代码?
注意:此答案适用于ANTLR3!如果你正在寻找ANTLR4的示例,那么此问答将演示如何使用ANTLR4创建简单的表达式解析器和评估器。
你首先创建一个语法。下面是一个小语法,可用于评估使用4个基本数学运算符构建的表达式:+,-,*和/。你也可以使用括号对表达式进行分组。
+,-,*
/
请注意,此语法只是一个非常基本的语法:它不处理一元运算符(负号:-1 + 9)或小数,如.99(无前导数字),仅列举两个缺点。这只是你可以自己进行工作的一个示例。
这是语法文件Exp.g的内容:
grammar Exp; /* This will be the entry point of our parser. */ eval : additionExp ; /* Addition and subtraction have the lowest precedence. */ additionExp : multiplyExp ( '+' multiplyExp | '-' multiplyExp )* ; /* Multiplication and division have a higher precedence. */ multiplyExp : atomExp ( '*' atomExp | '/' atomExp )* ; /* An expression atom is the smallest part of an expression: a number. Or when we encounter parenthesis, we're making a recursive call back to the rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */ atomExp : Number | '(' additionExp ')' ; /* A number: can be an integer value, or a decimal value */ Number : ('0'..'9')+ ('.' ('0'..'9')+)? ; /* We're going to ignore all white space characters */ WS : (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;} ;
(解析器规则以小写字母开头,而词法分析器规则以大写字母开头)
创建语法后,你需要从中生成一个解析器和词法分析器。下载ANTLR jar,并将其存储在与语法文件相同的目录中。
ANTLR jar
在shell /命令提示符下执行以下命令:
shell /
java -cp antlr-3.2.jar org.antlr.Tool Exp.g
它不应产生任何错误消息,并且现在应生成文件ExpLexer.java,ExpParser.java和Exp.tokens。
ExpLexer.java,ExpParser.java和Exp.tokens
要查看它们是否正常运行,请创建以下测试类:
import org.antlr.runtime.*; public class ANTLRDemo { public static void main(String[] args) throws Exception { ANTLRStringStream in = new ANTLRStringStream("12*(5-6)"); ExpLexer lexer = new ExpLexer(in); CommonTokenStream tokens = new CommonTokenStream(lexer); ExpParser parser = new ExpParser(tokens); parser.eval(); } }
并编译:
// *nix/MacOS javac -cp .:antlr-3.2.jar ANTLRDemo.java // Windows javac -cp .;antlr-3.2.jar ANTLRDemo.java
然后运行它:
// *nix/MacOS java -cp .:antlr-3.2.jar ANTLRDemo // Windows java -cp .;antlr-3.2.jar ANTLRDemo
如果一切顺利,则不会在控制台上打印任何内容。这意味着解析器未发现任何错误。当你更改”12(5-6)”到”12(5-6”,然后重新编译并运行它,应该有打印的情况如下:
line 0:-1 mismatched input '<EOF>' expecting ')'
好的,现在我们想向语法中添加一些Java代码,以便解析器实际执行一些有用的操作。添加代码可以通过将完成{,并}与里面的一些普通的Java代码你的语法内。
但首先:语法文件中的所有解析器规则应返回原始双精度值。你可以通过returns [double value]在每个规则之后添加:
grammar Exp; eval returns [double value] : additionExp ; additionExp returns [double value] : multiplyExp ( '+' multiplyExp | '-' multiplyExp )* ; // ...
这几乎不需要解释:每个规则都将返回一个双精度值。现在要与double value代码块内的返回值(不在普通Java代码块内{...})进行“交互” ,你需要在$前面添加一个美元符号value:
double value
{...}
$
value
grammar Exp; /* This will be the entry point of our parser. */ eval returns [double value] : additionExp { /* plain code block! */ System.out.println("value equals: "+$value); } ; // ...
这是语法,但现在添加了Java代码:
grammar Exp; eval returns [double value] : exp=additionExp {$value = $exp.value;} ; additionExp returns [double value] : m1=multiplyExp {$value = $m1.value;} ( '+' m2=multiplyExp {$value += $m2.value;} | '-' m2=multiplyExp {$value -= $m2.value;} )* ; multiplyExp returns [double value] : a1=atomExp {$value = $a1.value;} ( '*' a2=atomExp {$value *= $a2.value;} | '/' a2=atomExp {$value /= $a2.value;} )* ; atomExp returns [double value] : n=Number {$value = Double.parseDouble($n.text);} | '(' exp=additionExp ')' {$value = $exp.value;} ; Number : ('0'..'9')+ ('.' ('0'..'9')+)? ; WS : (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;} ;
并且由于我们的eval规则现在返回了double,因此将你的ANTLRDemo.java更改为:
import org.antlr.runtime.*; public class ANTLRDemo { public static void main(String[] args) throws Exception { ANTLRStringStream in = new ANTLRStringStream("12*(5-6)"); ExpLexer lexer = new ExpLexer(in); CommonTokenStream tokens = new CommonTokenStream(lexer); ExpParser parser = new ExpParser(tokens); System.out.println(parser.eval()); // print the value } }
再次(重新)从语法(1)中生成一个新的词法分析器和解析器,编译所有类(2)并运行ANTLRDemo(3):
// *nix/MacOS java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1 javac -cp .:antlr-3.2.jar ANTLRDemo.java // 2 java -cp .:antlr-3.2.jar ANTLRDemo // 3 // Windows java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1 javac -cp .;antlr-3.2.jar ANTLRDemo.java // 2 java -cp .;antlr-3.2.jar ANTLRDemo // 3
现在你将看到表达式的结果12*(5-6)打印到控制台上!
12*(5-6)
再次:这是一个非常简短的解释。我鼓励你浏览ANTLR Wiki,阅读一些教程和/或使用我刚刚发布的内容。
祝好运!
编辑:
这篇文章展示了如何扩展上面的示例,以便Map<String, Double>可以提供一个在所提供的表达式中包含变量的a。
Map<String, Double>
为了使此代码与当前版本的Antlr(2014年6月)一起使用,我需要进行一些更改。ANTLRStringStream需要变为ANTLRInputStream,返回值需要从更改parser.eval()为parser.eval().value,并且我需要最后删除该WS子句,因为$channel不再允许诸如lexer操作中的属性值出现。
ANTLRStringStream
ANTLRInputStream
parser.eval()
parser.eval().value
$channel