基于模板的网页数据抽取系统实现

基于模板的网页数据抽取系统实现,指导教师：杜小勇教授05级计算机科学与技术 康菁菁2009.5.8,-,1,提纲,开发背景系统体系结构网页抓取数据抽取关键技术系统贡献未来工作,-,2,提纲,开发背景系统体系结构网页抓取数据抽取关键技术系统贡献未来工作,-,3,开发背景,课题组任务构建法学知识检索系统开发任务实现HTML网页抓取和数据抽取系统为法学检索系统提供互联网上的语料支持,-,4,思路：基于模板的网页数据抽取,网页的通用特性同一网站中网页的结构，往往被数量很少的固定模板承载网页内容可能会更新，其模板却相对可靠稳定基于模板的网页数据抽取对特定的网页配置抽取模板在模板中定位需要提取的信息,-,5,使用模板的优点,网页通过模板然后转化为结构化数据，网页格式的变化不需要修改抽取系统的代码,-,6,提纲,开发背景系统体系结构网页抓取数据抽取关键技术系统贡献未来工作,-,7,系统架构,网页抓取 扩展开源爬虫的功能数据抽取 使用XSL模板抽取数据,网页抓取,数据抽取,-,8,网页抓取：开源爬虫ItSucks的扩展,ItSucks爬虫：Java Web Spider开源项目下载规则：通过下载模板、正则表达式定义网页存储：镜像形式扩展爬虫的链接抽取功能HTMLParser工具包：网页解析器提高解析正确率、可解析含中文的链接,HTML代码：网站首页错误：/index.htm%20class=lj3正确：/index.htm,-,9,网页抓取 定义下载模板,配置：URL路径连接规则过滤器保存,-,10,网页抓取 用正则表达式过滤链接,-,11,运行爬取网页的界面,-,12,数据抽取,规范化网页格式：JTidy获得数据引用点：XPath转换为结构化数据：XSL模板数据存储到数据库,-,13,1.规范化网页格式：JTidy,修正网页中非规范的语法将 修改为 自动补齐缺少的将网页解析为一棵DOM树Document parseDOM( InputStream in, OutputStream out ),-,14,2.获得数据引用点：XPath,XPath语言：定位XML文档中元素和属性定位到数据所在节点 tdbgcolor=#E7E7E7提取法规颁布单位信息 normalize-space(substring-after(., 来源),-,15,3.转换为结构化数据：XSL模板,XSL模板：XHTML XML数据抽取结果,-,16,4.数据存储到数据库,获得属性标签和属性内容正向扫描XML文件，构造一个HashMap散列表，键对应XML标签，值对应标签内容时间信息的规范化建立一个类kjj.util.FormalTime 将不规范的日期格式转换为“yyyy-mm-dd”,-,17,抽取界面,用户指定信息网页文件夹模板文件XML文件存储路径数据库表名网页编码方式功能：自动抽取数据并存入数据库,-,18,抓取结果,属性：URL链接、法规案例标题、内容、颁布时间、颁布单位等,-,19,提纲,开发背景系统体系结构网页抓取数据抽取关键技术系统贡献未来工作,-,20,系统实现的关键点,数据定位的准确性数据的导航：根据数据周围内容属性的选取：与网页内容相关、格式无关中文编码转换GB2312、UTF-8、ISO-8859-1等编码方式方案：从文件中按字节读取，然后转换成指定的编码方式Swing多线程问题将耗时的任务放在一个独立的线程中,-,21,提纲,开发背景系统体系结构网页抓取数据抽取关键技术系统贡献未来工作,-,22,系统贡献,连续爬取抽取目录页和主页精确抽取基于模板的数据抽取技术用户友好的界面模板自定义，可保存,-,23,提纲,开发背景系统体系结构网页抓取数据抽取关键技术系统贡献未来工作,-,24,未来的工作,抽取模板如何建立