半结构化文本信息抽取系统

半结构化文本信息抽取系统 北京工业大学 硕士学位论文半结构化文本信息抽取系统 姓名:宋霞 申请学位级别:硕士 专业:计算机软件与理论 指导教师:刘椿年 20040501 摘 要 我的论文的 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 目是“半结构化文本信息抽取系统”，该项目得到了国家自然科学基金、北京市自然科学基金的资助。本文是对研究和实现信息抽取系统所做的工作总结。 ，,,,,,,,的发展使越来越多的信息以网上文本的形式存在，这使得人们能够便捷地获取信息，但也使得网上文本信息不断激增。从网上海量文本数据中获取所需信息非常困难。?信息抽取系统就是能够自动从文本中抽取出人们所需信息的文本处理工具。它能够从文本中抽取出有固定格式且意义明确的信息。随着互联网的发展，将网上文本信息转化为数据库数据就成为网上信息处理的一个重要的发展方向。 信息抽取系统能够提高人们从文本中获取信息的效率，它可以作为许多其它文本处理工具的基础或辅助工具。作为信息检索的下一步操作，信息抽取可以在查询粒度上使用户更加满意。 为了对信息进行更清晰地描述，网站发布的很多信息属于半结构化文本。本文介绍了我们研制的半结构化信息抽取系统,,,,,,,,;,,,,系统。其中，抽取规则的生成和算法的选择是信息抽取系统的关键技术，所以我们详细介绍了,,,,,,,,;,,,,系统的规则体系及一个基于,,,,,,,,的有监督的学习算法的实现。本文还给出了这个系统分别在中英文数据集上的测试结果，并讨论了它与其它国际同类系统相比的优点。关键词信息抽取;半结构化文本;有监督的学习算法 ,,,,,,;, ,, ,,,,,,,, ,,,,,, ,,“，,,,,,,,,,, ,,,,,;,,,, ,,,,,, ,, ,,,,,,,,,;,,,,, ,,,,”，,,,;, ,, ,,,,,,,, ,, ,,, ,,,,,,, ,;,,,;, ,,,,,,,,,, ,, ,,,,,(,,,,)，,,,,,,,,,,,;,,,, ,,,,,,, ,;,,,;, ,,,,,,,,,,(,,,,,)(,,,, ,,,,, ,, , ;,,;,,,,,, ,, ,,,,,,,,,;, ,,, ,,,,,,,,,,, ,, ,,,,,,,,,,, ,,,,,;,,,, ,,,,,,( ,,, ,,,,,,,,,,, ,, ，,,,,,;, ,,,,, ,,,, ,,, ,,,, ,,,,,,,,,,, ,,,,, ,, ,,,, ,,,,, ,,, ,,,,,(,,,,,,,, ,,,,,, ;,,, ,;？,,,, ,,,,,,,,,,, ;,,,,,,,,,,, ,, ,,,, ,,,，,,,,,,,,,, ,, ,,, ,,,,, ,,, ,,,,,,, ,,,,,,,;,,,,,(，, ,, ,,,, ,,,,,;,,, ,, ,;？,,,,,,,,,,,,,,, ,,,, ,,, ,,,,,,,,, ,,,, ,,,,;,, ,, ,,,, ,,,(，,,,,,,,,,, ,,,,,;,,,,,,,,,, ,, , ,,,, ,, ,,,, ,,,,,,,,, ,,,,, ,,,;, ,,,, ,,,, ,,,,,;, ,,,,,,,,,,, ,,,, ,,,,,,,,,,, ,,,, ,,,, ,,,,,,,,;,,,,(,,, ,,,,,, ,, ,,,,,,,,,,, ,,,;, ,,, ,,,,, ,,,,,, ,,,;,,,, ,,,,,,,(,, ,,?,,,,,,,, ,,,,,,,,(,, ,,,, ,, ,,, ,,,,,,,,, ,,,,;,,,, ,, ,,,, ,,,,,,, ,, ,,, ,,, ,, ,,,, ,, ,,, ,,,,,,,,( ,, ,,,,,,,, ,,, ,,,,,;,,,, ,,,,,, ;,,, ,,,, ,,,,,, ,;？,,,, ,,,,,,,,,,, ,,,, ,,,,,,, ,,,,;,,,,,,(,, ,,, ,, , ,,,,; ,, ,,,,,,,,, ,,,, ,, ,,,,, ,,,, ,,,,,,,,, ,,,,,(,, ,,,,,,, ,,,, ,, ,,,,,,,,,,, ,,,,,,,,,，,,,,,,,,,,, ,,,,,;,,,, ;,,, ,,,, ,,,,, ,,,,,,,,,,,,, ,, ,,, ？,,,, ,,,,,,,,,,, ,,,,;,( ,, ,,,, ,,, ,,,,,,,,,,, ,,,, ;,,,,，,,;, ,, ,,,,,,,,,,, ,, ,,, ,,, ,, ,,,,,,,, ,,,,—,,,,;,,,,, ,,,,(,, ,,,,,,,;, ,,, ,,,,,,,,,,, ,,,,,;,,,, ,,,,,,(，, ,, ;,,,,,,,,,,,,,;,,,, ,,, ;,, ,,,, ,,,, ,,,,—,,,,;,,,,, ,,,,(,,;,,,, ,,, ,,,,,, ,, ,,,,, ,,,,,, ,,,,;,,,, ,, ,,,,,,,,,, ,, ,,, ,,, ,,;,,,,,,,，,, ,,,,,,,;, ,,,,,,,,;,,,,,,,,,,?, ,,,, ,,;,,,,;,,,, ,,, , ,,,,,,,,,, ,,,,,,,, ,,,,,,,,, ,,,,, ,, ,,,,,,,,(,,,,,, ,,,, ,,, ,,, ,,,,,,,,,, ,,,,,,, ,, ,,,, ,,,,,,, ,,, ,,,,,,, ,,,, ,,,,,,,(，, ,,,,,,，,, ;,,,,,, ,,,,,,,,;,,,, ,, ,,,,, ,,,,,,, ,,, ,,,;,,, ,,?, ,,,,,,(,,, ,,,,, ,,,,,,,,,,, ,,,,,;,,,,;,,,,—,,,,;,,,,, ,,,,;,,,,,,,,,, ,,;,,,, ,,,,,,,, ,,,,,,,,, —，，— 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 虢巷皇吼翌坐:)毕 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即:学校有权保留送交论文的复印件，允许论文被查阅和借阅;学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 (保密的论文在解密后应遵守此规定) 签名 家鏖 导师签名: 第,章绪论 第,章绪论,(,信息抽取的研究背景 随着，,,,,,,,的迅猛发展与广泛应用，万维网(,,，,，，)已经成为人们数据资源共享和信息交流的重要平台。人们通过万维网发布信息，同时能够从网上得到想要的信息。虽然网上数据资源的存在形式有很多，如文本，图像，声音，动画等等，但是应用范围最广的还是以文本形式存在的网页资源。人们不仅习惯于从文本中获取信息，(而且不断开发处理工具来协助自己从文本获取信息。 早在二十世纪,,年代，,,,,,, ,,,,,,就提出了将文本信息简化为结构化元组形式信息的思想，同时在纽约大学由,,,,, ,,,,,开发出了处理医学文本的信息抽取系统。然而，由于文本内容涉及的范围相当广泛，针对 某一类内容文本的抽取系统并不能满足越来越多的文本处理需要。 信息抽取系统在,,世纪,,年代末由美国提出，其前身是文本理解。人工智能研究者一直致力于建造能把握整篇文章精确内容的系统。这些系统通常只在很窄的知识领域范围内运行良好，向其它新领域移植的性能却很差【,,。有两个推动信息抽取系统发展的因素:一个是在线和离线文本数量的几何级增加，另一个是,,,〔,,(,,,,,,, ,,,,,,,,,,,,, ,,,,,,;,;,)会议(信息理解会议)近十几年来对该领域的关注和推动。 ,,,是美国政府支持的一个专门致力于新闻文本理解的例会。八十年代以来，美国政府一直支持,,,对信息抽取技术进行评测。经过各界会议的不懈努力，,,,终于制定出了评分 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 。各届研讨会的测试主题各式各样，包括拉丁美洲恐怖主义活动、合资企业、微电子技术和公司管理层的人事更迭。目前大部分的信息抽取技术研究都只有英语和其它几种主要的语言。,(,信息抽取技术,(,(,定义 ,,,,年，,,,?就给出了信息抽取的定义:一个典型的信息抽取系统可以被看作输入不可预知的文本，输出有固定格式且意义明确的数据的系纠引。也就是说，信息抽取系统的输入是各种类型的文本，而输出是可以存入数据库的信息。 北京，、叱大学工学硕士学位论文,(,(,处理对象 由于信息抽取技术起源于自然语言处理，所以它最开始是处理自由文本的重要工具。但是，随着互联网的广泛兴起，结构化文本和半结构化文本的数量不断激增，致使科学家将信息抽取技术广泛应用于这两种文本。 ,)自由文本(,,,,,,,,) 信息抽取最初的目的是开发实用系统，从自由文本中抽取有限的主要信息。这类信息抽取技术通常借助,,,(,,,,,, ,,,,,,,, ,,,;,,,,,,，自然语言处理工具)，其中包括词法分析，实体名称识别(如人物、公司)，部分句法分析等等。规则可由人工编制，也可从人工标注的语料库中自动学习获得。 ,)结构化文本(,,,,;,,,,, ,,,,) 这种文本是指数据库里的文本信息，或者是根据事先规定的严格格式生成的文本。从这样的文本中抽取信息是非常容易的，准确度也高，通过描述其格式即可达到目的。所用的技术因而相对简单。网上通过数据库实时生成的网页大都属于这种文本。 ,)半结构化文本(,,,,(,,,,;,,,,, ,,,,) 这种文本界于自由文本和结构化文本之间，既缺少语法也没有严格的格式，几乎不存在完整的句子，比如电报报文。因其缺少 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 的语法结构，传统的,,,技术对抽取半结构化文本信息并不是很有用。而且，,,,方法的处理速度通常比较慢，所以不能用传统的信息抽取技巧或结构化文本处理方法进行半结构化文本信息抽取。这对于网上海量的信息来说是,个大问题。 ?关于网页 ，,,,,,,,上含有大量网页，有些研究者把所有网页都归入半结构化文本，但,,,【,,,对网页类型做了颇有用的定义:若能通过识别分隔符或信息点顺序等固定的格式信息即可把“属性(值”正确抽取出来，那么，该网页是结构化的。半结构化的网页则可能包含缺失的属性，或一个属性有多个值，或一个属性有多个变体等例外的情况。若需要用语言学知识才能正确抽取属性，则该网页是?结构化的。 第,章绪论,(,,,信息抽取技术的组成 信息抽取技术需要解决两个问题:如何描述文本，如何学习这些表达形式。 ,)如何描述文本——特征 用特征(,,,,,,,)描述文本是信息抽取的重要工作，它可以使我们将对文本的学习转化为对特征的学习。目前信息抽取技术已经作了很多这方面的尝试【,〕，许多描述文本特征或文本间相互关系的技术不断出现并发 展，给信息抽取技术带来了新的力量。 符号化„,,——符号化是文本数据处理的第一步。一个符号是信息抽取系统处理文本的最小单元，通常是一个单词或,,，段文本。符号化包括:识别句子边界，分割标点符号等等。 变异词归类——这种工具能够将表达一个意思的词的不同变体结合为一类，同时能够检查到拼写错了的单词。如,,，,中的,,,,,,工具。 词汇集——词汇集就是根据某种目标生成一类或几类单词的集合〔,，,,，相当于一个自定义的字典，将某些词(如:要抽取的目标文本或非常规词)存为一个集合，用于描述这些词的特征。 句法分类——即词性标注。使用,,,〔,，,,技术将文本标注为数字基数(,,)，名词(,,)，专有名词(,,,)，动词(,,)，标点符号(()，介词,连词(，,)以及其它种类(,,,)，用词性特征描述文本。 句法分块〔,，,】——依据造句法将文本分为名词短语，动词短语，介词短语等等，用短语类型特征描述文本。 大小写和词长特征——这是被许多研究者都使用过的一种简单的形式特征方法，如,,,,,,，,,，,,〕系统。 语义特征九——它是对文本语义的描述，语义特征具有重要意义，特别是识别人名，地名，地址的不同部分。如现在许多系统都使用,,,,,,,〔?,语义网工具。 ,,,,和,,,标志语言描述符——结构化文本中的标志语言可以表达出文本的相对位置，从而生成能够表达文本相对位置信息的模板。 ,,如何学习特征 在信息抽取系统算法设计方法上，主要有两大类【,】:一是知识工程方法 北京工业大学工学硕士学位论文 (,,,,,,,,, ,,,,,,,,,,, ,,,,,,;,)，二是自动训练方法似,,,,,,,; ,,,,,,,,,,,,,,;,)。 知识工程方法主要靠手工编制规则。这种方法要求编制规则的知识工程师对该领域有深入的了解。这样的人才有时找不到，且开发时耗时耗力。自动训练方法主要通过学习已经标记好的语料库获取规则。对该知识领域比较熟悉的人就可以根据事先约定的规范来标记语料库。系统可以根据标记后的语料库生成训练例。经训练后的系统能处理没有见过的新文本。这种方法要比知识工程方法快，但需要足够数量的训练数据，才能保证其处理质量。 由于信息抽取的目的是从大量文本信息中找到能够描述所有实例的一般规则，所以自动训练方法大多采用归纳方法。在最高层次，归纳学习法是从一些实例中生成未知目标概念，是对现象的一种概括。主要思路是，如果归纳出来的规则能解释观察到的实例，或者在新实例出现时能做出准确的预测，那么，这种归纳是成功的。用于信息抽取的机器学习方法有很多，如符号化学习法，，,,(归纳逻辑设计法)，分装器(,,,,,,, ,,,,,,,,,,)归纳法，统计法和语法归纳法。,(,(,信息抽取系统 从上面的介绍中我们能够看出，信息抽取系统主要有几个关键问题: ,)实现文本的预处理，将文本转化为系统能够处理的最基本文本单元序列比如，分割句子或中文分词工作; ,)使用特征描述文本，将文本表示成可以学习的特征; ,)设计规则及训练例的表达形式; ,)从训练例中根据一定的学习算法学习规则。 系统的结构如图,(,所示。 输入文本 ,?,,,,,,?(,,,,,,—,,,,,—,,一 , ， ? , ,生成抽取模,: ， , , ,扳式的规则,: , ,? 圜圜圉 蚕嚣器 图,,,信息抽取系统结构图 ,,,,?,:,,, ,,,,;,,,, ,, , ,,,,,,, ,,,,,,,,,,, ,,,,,;,,,, ,,,,,,,(,(,与其它文本处理工具的关系 信息抽取虽然起源于文本理解，但它并不同于完全的文本理解。文本理解技术致力于以 清楚的方式表达一篇文章中的所有信息。与此相反，在信息抽取中我们定义了输出的语义范围:即只要求抽取某几类语义项，同时希望发现这些语义项的关系。 搜索引擎或者说信息检索(，,,,,,,,,,, ,,,,,,,,,)引擎是最为常见的网上文本处理工具，它“,,通常是根据用户提供的关键字进行查找匹配，将可能存在该类信息的网页提供给用户。由于，,,,,,,具有开放性、动态性和异构性，网上的文本信息结构不固定、组织也欠规整，使用户得到网页，并不等于得到信息资源。用户只有读过网页的内容才能够知道自己所需要的信息的位置。而且，用户无法对这些信息二次利用，对网上信息的利用效率低。虽然搜索引擎难以在查询粒度上使用户满意，信息抽取技术却能够改善这一现状。信息抽取可以说是信息检索 北京工业大学工学硕上学位论文的下一步工作。,(,信息抽取技术的挑战和发展趋势,(,(,信息抽取技术发展面临的挑战 由于中文与英文文本表达形式的差异，使得英文的处理技术难以应用于中文处理。虽然，许多处理英文文本的信息抽取系统不断出现，但是处理中文的信息抽取系统还很少。主要的障碍在于无法用英文词法的特征描述中文文本，且中文词之间没有分隔标志，难以描述文本相互位置关系。所以将分词技术与信息抽取技术相结合就成为中文信息处理的一个重要发展方向。中国科学院计算技术研究所研制出了基于多层隐马模型的汉语词法分析系统，,,,,,,(，,,,,,,,, ,,,,,,,,,,, ,,;,,,,,,,，,,,,,,, ,,,,;,, ,,,,,,,, ,,,,,,)〔,,，,,,。该系统的功能有很多:中文分词;词性标注;命名实体识别等等。这个词法分析系统为我们实现中文半结构化信息抽取功能构建了平台。目前，该系统已经被应用于中文自由文本的处理，比如报纸信息„,,，,,,，而在半结构化文本方面的应用还很少。 在科学研究领域，信息抽取技术可以应用于许多领域。如新闻组文章，网页，科学文章，分好类的广告，医学笔记等等。但是目前，信息抽取还只能停留在处理某一特殊领域，而不能广泛适用于任何领域的内容，本文介绍的模式匹 配方 学校职工宿舍分配方案某公司股权分配方案中药治疗痤疮学校教师宿舍分配方案医生绩效二次分配方案 式可以很好地处理不符合英文词法的单词，对信息抽取系统在不同领域的推广起到一定的促进作用。,(,(,信息抽取技术的发展趋势 新出现的,,;,,,,,,,,,,就是,个依赖于信息抽取的发展领域。,,;,,,,,,,,,,来源于社会学领域的研究。,,,,,,,,,,,,,,在,,,,年作了一个实验【,”，让几个人从内布拉斯加州传递,封信到波士顿。他们只能将信传递给自己知道名字的人，结果发现平均经过六个人这封信就能传递到目的地，所以得出任何两个美国人间有着“六个分隔度”的距离。科学家们发现网络也有相似的结构，所以可以将社会学研究领域的技术应用于网上研究，以加强网上搜索能力。将互联网看作,,, ,,,,,,,,,,(网上社团)，这个社团的形式可以是显式的:如新闻组或某一问题的讨论组;也可以是隐式的，如:网页集合或具有相同特征的人群。,,;,,, ,,,,,,,就是要将这些网上社团的组织结构以图的形式表达出来，这种工 第,章绪论具建立在从相应的网上文本资源准确地获取信息的基础上，即将网页或文本资源转化为信息，依赖于信息抽取技术。 在现实生活中，许多借助信息抽取技术的实用系统也应运而生。比如:,，, (,,,,,,,,,, ，,,,,,,,,,, ,,,,,,，中文全称”企业信息门户”)是一个企业的信息门户，它使企业能够释放存储在企业内部和外部的各种信息，使企业员工、客户和合作伙伴能够从单一的渠道访问其所需的个人化信息。这些用户 利用从这个渠道获得的信息做出合理的业务决策并加以执行。这个单一的访问渠道就是网络浏览器(，,或,,,,;,,,)。,，,对已有系统的信息进行集成，用户通过单一的入口就能访问所需信息。其中，将多种格式的文本信息集成为同一种格式借助了信息抽取技术。 信息抽取能够作为进一步精化,,的结果的一个工具，提高信息检索的精度;而且它在智能浏览、问答系统(,,)等方面都具有较为广阔的发展前途。,(,本课题的来源 本课题在实践的基础上，对信息抽取系统作了大量自动训练方法方面的实践和尝试。我们在信息抽取领域所作的工作集中在构造半结构化文本信息抽取系统，并研究抽取规则自动生成方法以及描述文本特征的方法，同时，我们尝试借助分词工具处理中文文本。 这个课题得到国家自然科学基金，北京市自然科学基金资助项目，北京市教育科技发展项目的支持。,(,本论文的组织形式 本论文的组织结构如下: 第二章介绍信息抽取发展过程中有代表意义的系统，这几个系统都利用机器学习算法学习文本特征。从中，我们可以对信息抽取系统的功能以及当前所使用的主要技术有更加深入地理解，这对我们自己构造半结构化信息抽取系统有很大的帮助。 第三章介绍半结构化信息抽取系统,,,,,,,,;,,,,的整体框架结构，其中在学习规则过程介绍系统的输入输出、预处理、生成训练例集以及规则的形式;在抽取信息过程分别对系统的输入输出、测试例和抽取实现过程予以说明。最后是 ,本章 小结 学校三防设施建设情况幼儿园教研工作小结高血压知识讲座小结防范电信网络诈骗宣传幼儿园师德小结 。 北京〕:业大学工学硕士学位论文 ，， ，， ，， ， 第四章介绍半结构化信息抽取系统,,,,,,,,;,,,,的算法与实现，包括:,,,,,,,,算法、,,,,,,,,算法在信息抽取系统中的应用和规则学习的实现，最后是本章小结。 第五章介绍半结构化信息抽取系统,,,,,,,,;,,,,在三个数据集上的实验结果以及该系统与其它系统的比较。最后是本章小结。 论文的最后是本文对,,,,,,,,;,,,,系统的结论。 第,章典型的信息抽取系统 第,章典型的信息抽取系统 应用于传统的信息抽取源于文本理解。其处理对象是自由文本。其特点是规则的表达需要借助于语法或语义约束，所以在生成规则前要进行语法或语义分析。而半结构化信息抽取无需借助自然语言处理工具。两种文本除了在是否使用自然语言处理工具上有所差别，其它诸如学习算法，表达文本的方法上都有相通之处。 下面，我们就从基于规则的学习和基于概率的学习两方面对典型信息抽取系统进行介绍。我们介绍的重点在于系统用何种特征描述文本、使用何种规则形式以及使用何种算法进行学习。至于这些系统的具体实现细节:读者可以参照参考文献。,(,基于规则归纳的信息抽取方法 在信息抽取领域，应用归纳方法学习信息抽取规则是一个发展时间较长的途径。这些系统的重点是用机器学习方法来解决，,问题。所用的方法以归纳逻辑编程(,,,,;,,,, ,,,,; ,,,,,,,,,,,)或关系学习(,,,,,,,,,, ,,,,,,,,)为基础，而且与归纳算法有关。(抽取规则可以是只抽取一个信息的单抽取类型的，也可以是能够抽取多个信息的多抽取类型的【,,】。 ,】,(,(, ,,,,,(,,,,,,,,,,,, ,,,,)„, ,,,,,系统的规则被称为,,,,,—,,,,,,,(,,(,,,,;,,,,)，规则含有一个有意义的.