atitit.java解析sql语言解析器解释器的实现 1. 解析sql的本质:实现一个4gl dsl编程语言的编译器 1 2. 解析sql的主要的流程,词法分析，而后进行语法分析，语义分析,构建sql的ast 1 3. 词法分析器 2 4. 语法分析器--antlr 2 5. eclipse插件,,antlr studio 3 6.
atitit.java解析sql语言解析器解释器的实现
1. 解析sql的本质:实现一个4gl dsl编程语言的编译器 1
2. 解析sql的主要的流程,词法分析，而后进行语法分析，语义分析,构建sql的ast 1
3. 词法分析器 2
4. 语法分析器--antlr 2
5. eclipse插件,,antlr studio 3
6. 一个基于javacc实现的解析器jsqlparser0.7(yr2011)， 3
7. 例子代码-----解析sql表格列的名称and类型 3
8. }sql的历史 4
9. 解析select语句 4
10. zql，jsqlparser，general sql parser. 5
11. antlr实现的sql解析器 - oql 5
12. javacc/ast简单的介绍 5
13. sqljep http://sqljep.sourceforge.net/ 5
14. sql生成sqlbuilder ,querydsl ,hb 6
15. 俄的总结: 还凑火jsqlparser0.7走行兰. 6
16. 参考 6
1. 解析sql的本质:实现一个4gl dsl编程语言的编译器sql走十一个4gl dsl,..sql解析器基本上走十一个编译器实现
2. 解析sql的主要的流程,词法分析，而后进行语法分析，语义分析,构建sql的ast首先要进行词法分析，而后进行语法分析，语义分析
词法分析,and 语法分析>>>.
词法分析即将输入的语句进行分词(token)，解析出每个token的意义。分词的本质便是正则表达式的匹配过程，比较流行的分词工具应该是lex，通 过简单的规则制定，来实现分词。lex一般和yacc结合使用。关于lex和yacc的基础知识请参考yacc 与lex 快速入门- ibm。如果想深入学习的话，可以看下《lex与yacc》。
然而mysql并没有使用lex来实现词法分析，但是语法分析却用了yacc，而yacc需要词法分析函数yylex，
不过antlr更多简化...
作者:: 老哇的爪子 attilax 艾龙， email:1466519819@qq.com
转载请注明来源： http://blog.csdn.net/attilax
3. 词法分析器mysql的词法分析器是手工打造的。
语法分析器的入口函数是mysqlparse，词法分析器的入口函数是mysqllex。
2. 词法分析中会检查token是否为关键字。
最直接的做法是弄个大的关键字数组，进行折半查找
1.1 词法分析器（lexer）
词法分析器又称为 scanner，lexical analyser和tokenizer。程序设计语言通常由关键字和严格定义的语法结构组成。编译的最终目的是将程序设计语言的高层指令翻译成物力机器或 虚拟机可以执行的指令。此法分析器的工作是分析量化那些本来毫无意义的字符流，将他们翻译成离散的字符组（也就是一个一个的token）括关键字，标识 符，符号（symbols）和操作符供语法分析器使用。
，lexer不关心所生成的单个token的语法意义及其与上下文之间的关系
antlr将上述两者结合起来，它允许我们定义识别字符流的词法规则和用于解释token流的词法分析规则。然后，antlr将根据用户提供的语法文件自 动生成相应的词法/语法分析器。
4. 语法分析器--antlr也因为不想和以下推自动机为原理的yacc/lex生成的一大堆整数表打交道，我选择了另一个开源的ll（k）语法/词法分析器—antlr。
之前yacc/lex显得过于学院派，而以ll（k）为基础的antlr虽然在效率上还略有不足
lexer不关心所生成的单个token的语法意义及其与上下文之间的关系，而这就是parser的工作。语法分析器将收到的tokens组织起来，并转换成为目标语言语法定义所允许的序列。
无论是lexer还是parser都是一种识别器，lexer是字符序列识别器而parser是token序列识别器。他们在本质上是类似的东西，而只是在分工上有所不同而已。
antlr将上述两者结合起来，它允许我们定义识别字符流的词法规则和用于解释token流的词法分析规则。然后，antlr将根据用户提供的语法文件自 动生成相应的词法/语法分析器。用户可以利用他们将输入的文本进行编译，并转换成其他形式（如ast—abstract syntax tree，抽象的语法树）。构建sql的ast
5. eclipse插件,,antlr studio为了更好的使用antlr，你还可以下载antlr的eclipse插件来帮助你完成工作。antlr studio
6. 一个基于javacc实现的解析器jsqlparser0.7(yr2011)，它可以把sql语句转换为java对象，由于jsqlparser是使用javacc做语法分析的，而本身javacc就支持jjtree...如是就写了个小工具sqlparser，将生成的对象以树的形式呈现出来^
jsqlparser存在的问题及解决
jsqlparser是一个sql语句的解析器，包括常用的一些sql语句，insert,update,select,delete等，但兼容的语法有限，比如括号，或者一些复杂的结构等。 对于转义字符的处理
7. 例子代码-----解析sql表格列的名称and类型final string sql = filex.read(c:\\pojo.sql, gbk);
new sqlparseo7(sql)
this.sqlparseo7.parse(new closure()
public void parse(closure c) throws jsqlparserexception {
ccjsqlparsermanager parsermanager = new ccjsqlparsermanager();
// string statement =
// create table mytab (mycol a (10, 20) c nm g, mycol2 mypar1 mypar2 (23,323,3) asdf ('23','123') dasd,
// + primary key (mycol2, mycol)) type = myisam;
createtable createtable = (createtable) parsermanager
.parse(new stringreader(this.sql));
list columndefinitions = createtable.getcolumndefinitions();
string tabname = createtable.gettable().getname();
// system.out.println(columndefinitions.size());// 获得字段总数.
for (object object : columndefinitions) {
columndefinition col = (columndefinition) object;
object[] oa = { col.getcolumnname(),
col.getcoldatatype().getdatatype(), tabname };
c.execute(oa);
}
8. }sql的历史9. 解析select语句statement stat = new ccjsqlparsermanager().parse(new stringreader(
select * from a where 姓名='崔永远'));
select select = (select) stat;
expression where = ((plainselect) select.getselectbody()).getwhere();
whereexpressionvisitor visitor = new whereexpressionvisitor(rowmeta, where);
for (int i = 0; i object result = visitor.eval(data[i]);
if (result instanceof boolean && ((boolean) result).booleanvalue()) {
system.out.print(通过=====>);
} else {
system.out.print(不通过=====>);
}
system.out.println(stringutils.join(data[i], ,));
}
10. zql，jsqlparser，general sql parser.11. antlr实现的sql解析器 - oql12. javacc/ast简单的介绍javacc 是一个代码生成器，可以根据输入的语言定义输出一个词法分析器和解析器,javacc 输出的代码是合法的可编译java代码.解析器和词法分析器本身就是一个冗长而复杂的组件，手工编写一个这样的程序需要仔细考虑各条件的相互作用，总的来说，通过javacc完成一些字符串的分析，还是比较方便，现在普遍使用ast了。
13. sqljep http://sqljep.sourceforge.net/sqljep 是一个用来解析和仿真执行sql语句的java类库。支持几乎所有 oracle 和 maxdb 的函数。sqljep 使用 javacc 来做词法分析。
14. sql生成sqlbuilder ,querydsl ,hb3.sqlbuilder http://openhms.sourceforge.net/sqlbuilder/
sqlbuilder 是一个java的类库，它试图帮你避免在java程序内直接书写sql查询的痛苦。你只需要使用 sqlbuilder 的方法，它就可以帮你生成对应的 sql 数据库查询语句，例如下面一个sql语句：
15. 俄的总结: 还凑火jsqlparser0.7走行兰.16. 参考java 实现对sql语句解析 - 翠竹林 - 博客园.htm
sql 语法解释器jsqlparser - serv - iteye技术网站.htm
hibernate源代码分析 - 青火的笔记 - 记笔记 - 私塾在线 - 只做精品视频课程服务.htm
开源语法分析器--antlr - 薛笛的专栏 - 博客频道 - csdn.net.htm