第２５卷第３期 郑州轻工业学院学报（自然科学版） ＪＯＵＲＮＡＬ ０Ｆ ＺＨＥＮＧＺＨＯＵ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＬＩＧＨＴ ＩＮＤＵＳＴＲＹ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ） Ｖｏ１．２５ Ｎｏ．３ ２０１０年６月 Ｊｕｎ．２０１Ｏ 文章编号：１００４—１４７８（２０１０）０３—００６６—０５ 基于语境分析的汉语分词器 在文本信息过滤系统中的应用 律佳，廉立志 （大庆职业学院计算机应用工程系，黑龙江大庆１６３２５５） 摘要：针对汉语分词的歧义切分问题，提出了一种基于语境分析的二元汉语分词器，通过词典匹配和 二元切词的结合进行歧义消解，使用分词校正器从句子语法角度上检测分词结果的正确性．实验证 明，改进的汉语分词器具有识别各种类型新词、消解各类歧义的能力；将其应用到文本信息过滤系统 的文本分析模块，在强化系统语言分析能力的同时，系统的过滤精度也得到大幅度的提高． 关键词：汉语分词器；文本信息过滤；歧义消解；分词校正器 中图分类号：ＴＰ３９３．０８ 文献标志码：Ａ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｃｈｉｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ｌａｎｇｕａｇｅ ａｎａｌｙｓｉｓ ｉｎ ｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ ｆｉｌｔｅｒｉｎｇ ｓｙｓｔｅｍ ＬＶ Ｊｉａ，ＬＩＡＮ Ｌｉ—ｚｈｉ （Ｄｅｐｔ．ｏｆ ｃ０ ．Ａｐｐｌｉ．Ｅｎｇ．，Ｄａｑｉｎｇ Ｖｏｃ．Ｃｏｌｌｅｇｅ，Ｄａｑｉｎｇ １６３２５５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｆｏｒ ｔｈｅ ｓｅｇｍｅｎｔａｔｉｏｎ ａｍｂｉｇｕｏｕｓ ｐｒｏｂｌｅｍｓ ｏｆ Ｃｈｉｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ，ａ ｂｉｇｒａｍ ｍｅｔｈｏｄ ｆｏｒ Ｃｈｉ－ ｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｗａｓ ｐｒｏｐｏｓｅｄ ｂａｓｅｄ ｏｎ ｌａｎｇｕａｇｅ ａｎａｌｙｓｉｓ．Ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ｄｉｃｔｉｏｎａｒｙ ｍａｔｃｈｉｎｇ ａｎｄ ｂｉｇｒａｍ ｓｅｇｍｅｎｔａｔｉｏｎ ｃａｎ ｄｉｇｅｓｔ ａｍｂｉｇｕｉｔｙ，ａｎｄ ｃｈｅｃｋ ｔｈｅ ｃｏｒｒｅｃｔｎｅｓｓ ｏｆ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎ ｓｅｎｔｅｎｃｅ ｇｒａｍ— ｍａｒ ｂｙ ｓｅｇｍｅｎｔａｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ．Ｅｘｐｅｒｉｍｅｎｔｓ ｐｒｏｖｅｄ ｔｈａｔ ｔｈｅ ｉｍｐｒｏｖｅｄ Ｃｈｉｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｈａｓ ｔｈｅ ｃａ－ ｐａｃｉｔｙ ｗｈｉｃｈ ｒｅｃｏｇｎｉｚｅｓ ｎｅｗ ｗｏｒｄｓ ｉｎ ｖａｒｉｏｕｓ ｄｏｍａｉｎｓ ａｎｄ ｄｉｓａｍｂｉｇｕａｔｅｓ ａｍｂｉｇｕｉｔｙ ｗｏｒｄｓ；Ｔｈｅ ｉｍｐｒｏｖｅｄ Ｃｈｉｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｓ ａｐｐｌｉｅｄ ｔｏ ｔｅｘｔ ａｎａｌｙｓｉｓ ｍｏｄｕｌｅ ｉｎ ｔｈｅ ｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ ｆｉｌｔｅｒｉｎｇ ｓｙｓｔｅｍ，ｔｈｅ ｌａｎ－ ｇｕａｇｅ ａｎａｌｙｓｉｓ ｃａｐａｂｉｌｉｔｉｅｓ ａｎｄ ｆｉｌｔｅｒｉｎｇ ａｃｃｕｒａｃｙ ｏｆ ｔｈｅ ｓｙｓｔｅｍ ｈａｖｅ ｂｅｅｎ ｉｍｐｒｏｖｅｄ ａｔ ｔｈｅ ｓａｎｌｅ ｔｉｍｅ． Ｋｅｙ ｗｏｒｄｓ：Ｃｈｉｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ；ｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ ｆｉｌｔｅｒｉｎｇ；ｄｉｓａｍｂｉｕａｔｇｉｏｎ；ｓｅｇｍｅｎｔａｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ ０引言 互联网的高速发展使其成为世界上资源最丰 曼 言 磊 息，这意味着互联网上海量信息的质量各种各样． 富的信息网络，其蕴涵的大量共享资源，已成为人 用户通常只是想阅读自己感兴趣的东西，如何更加 收稿日期：２００９—１１—０２ 基金项目：黑龙江省研究生创新科研项目（ＹＪＳＣＸ２００６－－３８ＨＬＪ） 作者简介：律佳（１９８０一），女，辽宁省北票市人，大庆职业学院助教，主要研究方向为人工智能与数据驼掘． 第３期 律佳，等：基于语境分析的汉语分词器在文本信息过滤系统中的应用 ・６７・ 准确快捷地帮助用户寻找其感兴趣的信息成为信 Ｗ Ｗ ｗ 为多义组合型字段．例如，在“提高人民生活 息搜索技术研究的一个热点问题，信息过滤技术正 水平”中，就可分为“提高”、“高人”、“人民”、“民 是为解决这一问题而提出的．所谓信息过滤是指计 生”、“生活”、“活水”、“水平”．词之间都有交段，分 算机根据用户提供的一个检索需求，从动态变化的 别为“高”、“人”、“民”、“生”、“活”、“水”６个，交段 信息流中自动检索出满足用户需求的信息．信息过 的个数称为链长，因此，“提高人民生活水平”是链 滤已经作为一种崭新的信息处理方式应用到信息 长为６的交集型歧义字段．再如，在“大家好”可以 内容安全领域．从１９９７年的第６届文本检索会议 分成“大”、“家好”、“大家好”，因此“大家好”就是 （ｔｅｘｔ ｒｅｔｒｉｅｖａｌ ｃｏｎｆｅｒｅｎｃｅ，ＴＲＥＣ）开始，文本过滤作 多义组合型歧义字段．一般来说，交集型歧义和多 为会议的主要任务固定下来．到２０００年，复旦大学 义组合型歧义统称为伪歧义，其中交集型歧义占伪 和微软亚洲研究院作为第一批来自中国的单 歧义的８５％．在歧义中还有一个难题，是真歧义．真 位参加了ＴＲＥＣ的第９次会议，讨论研究了文本过 歧义的意思是：给出一句话，由人去判断哪个应该 滤技术的发展．此外哈尔滨工业大学、南开大学等 是词．例如：“乒乓球拍卖完了”中的“球拍”和“拍 也正在对信息过滤方向进行研究．互联网上的信息 卖”． 分为文本信息和非文本信息（如图形、图像、音频、 本文提出了基于语境分析的中文分词算法，结 视频等）．文本信息过滤是信息过滤领域的重要组 合词典匹配和词频统计的迭代式二元分词方法，能 成部分，它根据用户的信息需求模型，在大量的动 够对目标文档进行基于语境的词频统计，并通过组 态文本流中，搜索用户感兴趣的文本内容，屏蔽其 合因子消解交集型歧义，解决基于二元分词模型分 他无用的信息． 词算法所产生的大量交集型歧义字段的问题．此 文本信息是不能直接进行计算和推理的，只有 外，分词过程中应用了基于语境函数的分词校正器 将它们抽象为可计算的模型后才能有效地处理计 作为后处理，基于语境信息函数从句子语法角度检 算和推理业务，所以，一个文本信息过滤系统首先 测，若不符合语法规则，调整语境信息函数，即 要解决的问题是文本的预处理．预处理的主要工作 ，（ ：Ｙ）的值置为０，并返回切词器重新切词，校正 是对所采集的信息进行文本格式化处理（如网页、 器的加入解决了冗长文本中因为分散存在的关键 电子邮件等标签的清理过程），对提取的文本利用 字而造成的假匹配问题． 词性标注词典进行分词得到向量空间模型．其中， １．１分词流程 分词是提取信息特征值及构建文本向量的前提，也 汉语分词器的分词流程如图１所示：１）对文本 是所有汉语文本处理的基础．汉语文本是基于单字 流用有限自动机进行文本处理，识别其中有明显特 的文本，词与词之间没有明显的界限标志，同时词 征的中英文数字（包括基数词、序数词、小数）、域 与词之间存在着大量的歧义现象，因此分词是汉语 名、日期等．２）把处理后的文本与词典匹配（词典包 文本分析处理中首先要解决的问题之一．基于语境 括词频字典、姓氏表、地名表、量词表、停词表等）， 分析的汉语分词器从语境角度分析歧义字段内部 选取所有与字典匹配的词并去掉与停词表匹配的 的信息…，利用扩展转移网络的语法分析技术检测 词．３）文本流输入到二元切词器中并进行词频统计 分词结果的正确性．本文将在文本信息过滤系统中 ‘和候选词选择．４）将分词后的结果输入到分词校正 应用汉语分词器，以期提高系统的过滤精度和效率． 器，通过调整语境信息函数，从句子语法角度上检 １汉语分词器 测分词结果的正确性．５）对校正后的分词结果进行 倒排序索引，索引后的数据包含词和词频，加入词 在自动切词的过程中，只是在歧义切分字段才 频字典形成新的词频字典，增强了分词系统的学习 有可能发生错误切分．歧义字段从构成形式上可以 性能．． 分为交集型字段和多义组合型字段．例如，汉字串 １．２二元切分算法 Ｗ１Ｗ２ｗ３，如果Ｗ１Ｗ２，Ｗ２Ｗ３都可成词，则ＷｌＷ２Ｗ３为交 设Ｄ表示一个中文文档，中文序列被各类非中 集型字段．如果Ｗ１，Ｗ１Ｗ２，Ｗ１Ｗ２Ｗ３都可以成词，则 文字或符号分割．这样划分出来的序列称为句子Ｓ ． ・６８・ 郑州轻工业学院学报（自然科学版） ２０ｌＯ年 图１ 汉语分词器流程图 若不考虑句子之间的相关性，则文档Ｄ是由ｍ个序 列Ｓ （０＜ｉ≤ｍ）构成的集合，即Ｄ＝｛Ｊｓ ，Ｓ ， ３，…， ｓ ｝．每个序列．ｓ 由 个字Ｗ （０＜ ≤／ｇ）按序构成， 即Ｓ ＝Ｗ Ｗ ，…，Ｗ 对．ｓ 可以有多种切分，可以 把Ｓ 中的第 种切分为 ］． ＝ ｘＰ（ ｌ ｃ １）＝ ＝ａｒｇ ｘＰ（ ）尸（ｃ ｌ １） 其中ｃ 表示Ｗ 。一 的一次切分；由于有了词串， 句子就被唯一确定了，故Ｐ（Ｃ ｌ ）＝１，则有 Ｗ＝ａｒｇｍａｘＰ（ ） 假设词与词之间，则有 ＝ａｒｇ ａｘｎＰ（ Ｊ）＝ａｒｇ ａｘ ｎＰ（ Ｊ）≈ ／ｌ ｍｉ ａｒｇｍ ｎ（ ） ① ． ．令Ｐ（Ｋ ）＝ｋＷｉ Ｉ∑ｋ 其中，ｋＷｉ√表示词 Ｗｉ，ｊ在训练集中出现的次数时Ｐ（ｋ ）表示全局词 频； Ｗｉｌ表示词 ，ｚ在本文中出现的次数时Ｐ（ｋ ） ，表示局部词频；所以式①可以改写成 尸（ ） ａｒｇＷｊ．ｍａｘ∑Ｉｎ（Ｐ（ＷｉＪ）） 根据动态规划的思想，将统计值从前到后作如 下处理： 叶 ｍｊ一１ ∑ｌｎＰ（ＷｉＪ）：【∑ｌｎＰ（ｗｉ√）］＋ｌｎＰ（Ｗｉ，叶）② 为了衡量每个词的性，计算 转移到后续 词Ｗ 的概率和为组合因子 Ａ ＝∑ｐ（ｗ Ｗ ） ③ ｕｉ ｉ １．３迭代式二元切分算法 本文将迭代思想引入到交叉双字切词方法中， 即首先以二元切分作为候选；筛选后，合并选取的 二元词作为字进入下一轮迭代；如此反复，直到规 定的迭代次数或没有符合要求的二元词出现为止． 本分词算法主要解决如何在尽可能多的候选词基 础上，从中挑选出有意义的组合之类的问题． 假设，句子Ｓ＝｛Ｗ１，Ｗ２，Ｗ３，Ｗ４，…，Ｗ 一１，Ｗ ｝在 第１次迭代中的候选词｛Ｗ１Ｗ２，Ｗ２，Ｗ３，Ｗ３，Ｗ４，…， Ｗ ，Ｗ ｝，计算②式得到Ｐ（Ｗ Ｗ ）和Ｐ（Ｗ：Ｗ ）筛选 候选词，如果还在候选词之列，则计算③式得到组 合因子Ａ ． 和Ａ ．３＇由Ａ ， 和Ａ：．，的比较决定是选 Ｗ１Ｗ２还是Ｗ２Ｗ３．例如，若Ａ１．２＜Ａ２－３，故Ｗ１Ｗ２被拆 分，形成新的候选词Ｗ ／ｗ：Ｗ，＿３－４］．以此类推，合并 后的候选词作为一个字进入下一轮切分，不断重 复，直到规定的迭代次数或没有符合要求的二元词 出现为止，即算法收敛 Ｊ． 例如，设候选词为“李玉刚”，第一次的切分结 果是“李玉／玉刚”，计算“李玉”和“玉刚”的词频并 与词频字典匹配，若与词典匹配，则分词完毕，若不 匹配则计算组合因子．在这里“李玉”和“玉刚”没有 与词典匹配，说明这两个词是“新词”（词频词典里 不存在的词）．计算它们的组合因子，由于“李玉”的 组合因子数＜“玉刚”的组合因子，故“李玉／玉刚” 被拆分为“李／玉刚”，第１次迭代结束．第２次迭代 时，“李”和“玉刚”的组合因子相等，故“李玉刚”被 组合．但这样依旧带有盲目性，易产生大量无意义 的组合，本文设置了词频阈值和组合因子阈值．词 频阈值的作用是尽快去掉无关的结果；组合因子阈 值则决定了词的相对性． １．４分词校正 １．４．１语境信息函数２个字之间的结合紧密度 是用互信息量来衡量的，设 是文档Ｄ中的词，其 首字为 ，首字以后部分为Ｙ．词加 的语境信息可用 和Ｙ之间的互信息量表示．由语境切分理论可知， 语境信息函数应当考虑文章语境信息和社会语境 信息２种。。 ． 设文章语境信息为， （ ：Ｙ），则 ，， 、 ［１ｏｇ［ｐ （ ）／（ （ ）ｐｚ（），））］其中Ｙ不为空 ”… 【ｌｏｇ［ｐ （ ）］ 其中Ｙ为空 其中，Ｐ （ ），Ｐ （Ｙ）分别表示 ，Ｙ在文章Ｄ中出现的 概率．若令Ｐ （ ），Ｐ （Ｙ）表示 ，Ｙ在训练集中出现 的概率，则社会语境信息为 ，， 、 ｆｌｏｇＥｐ （ｘｙ）／（ｐ （ ） （ｙ））］其中Ｙ不为空 ： Ｉｌｏｇ［ｐ （ ）］ 其中Ｙ为空 第３期 律佳，等：基于语境分析的汉语分词器在文本信息过滤系统中的应用 ・６９・ 有了词的文章语境信息和社会语境信息的表 示，语境信息函数可表示为 ，（ ：），）：口 （ ：ｙ）＋（１一 ）Ｉｔ（ ：ｙ） 用自身．因此，递归转移网络的过程是非确定的，对 这种非确定性的处理就需要采用语境函数，（ ：ｙ）来 回溯处理，从统计函数角度来检测分词结果，若不 符合规则，调整语境信息函数，即，（ ：Ｙ）的值置为 ０，并返回分词器重新分词． 其中，比例参数 ［０，１］． １．４．２语法模型由于句子是词按句法组成的，因 此，对分词结果进行语法分析同时还能检测分词的 正确性．本部分借鉴采用递归转移网络，递归转移 ２汉语分词器在文本过滤系统中的 网络是ｗ．伍兹研究的著名实验性智能信息检索系 统中首先采用的语法分析技术，递归转移网络语法 图如图２所示． Ｓ： ＮＰ＝ ＰＰ＝、 图２递归转移网络语法图 图２中给出分析句子、名词短语、前置词短语的 ３个递归转移网络，其中每个网络的起始节点标号 代表该网络所要分析的语法类，实际上这个标号也 代表语法分析程序的名称．每条有向弧线上的标号 可以是词或词组，带双圈的节点代表接收状态．如 果一个英语句子能为一组网络接收，那么这个句子 就是符合语法要求的一个合式句．递归转移网络的 思想是自顶向下分析，即：自左向右逐个扫描输入 串，一边把输入符号移人（ｓｈｉｆｔ）分析栈内，一边检查 位于栈顶的一串符号是否与某个产生式右部相同． 如果相同，就把栈顶的这串符号替换为相应产生式 左部的非终结符，这种替换称之为规约（ｒｅｄｕｃｅ）；如 果不同，就继续向栈内移人符号，并继续进行判断． 上述过程一直重复到输入串已结束，而栈内恰好是 给定文法的开始符号（假定未发现错误）时为止．在 这个过程中，反复执行移人和规约这２个动作，规约 动作是在栈顶形成某个产生式右部的符号串执行． 一个产生式的右部通常表示句子某部分语法成分， 语句就是通过不断地规约才识别出来的．通过对英 文语句的处理发现，用名词短语分析程序时需要调 用前置词短语分析程序，这又导致要调用名词短语 分析程序自身，程序在运行过程中直接或间接地调 应用 文本过滤可以分为以下几部分：１）对用户的要 求进行认知，即把用户的要求在计算机内表达； ２）对输人文本进行表达，以便能够与用户的要求进 行比较，把符合要求的文本提供给用户；３）对输入 文本进行判断，即把用户的要求与输入文本进行比 较，然后把输入文本划分为相关文本或无关文本． 考虑到汉语的特殊性，本系统在输人文本的分析模 块中增加了基于语境分析的汉语分词器，筛选候选 词并进行歧义消解，以提高语境分析的准确度 ７ｊｌ． 系统的整体模型图如图３所示． ●●●●●●●●●●●●●●●●●●●●●●●● 图３改进后的文本信息过滤器 ３仿真实验 ３．１ 中文分词系统性能分析 下载了较常用的分词算法逆向最大匹配法和 词频统计法，将其与本文算法分别用来对现有语料 库中的文章进行分词，分别计算出在相同实验条件 下各分词算法的准确率（算法所分得的正确的词的 个数与分得的所有的词的个数之比）．选取ＳｏｇｏｕＣ 的开源文本语料库里的５篇文章，每篇文章１Ｏ０— ２００字．分词结果用人工对照ＰＦＲ人民日报标注语 料库，实验结果如表１． 逆向最大匹配法一般只作为１种初分手段，单 独使用这种方法进行分词，其精度不高；统计法分 词在分词精度上有了很大提高，但仍不能满足应用 需求．实验结果表明，本文算法的平均准确率比逆 郑州轻工业学院学报（自然科学版） ２０１０年 向最大匹配算法提高３１．９％，比词频统计法提高 ９．８％，比逆向最大匹配法和词频统计法更能满足应 用需求． 表１各算法精度比较 行分析，使用改进的反馈算法对主题特征项进行学 习，完善了系统的分析和学习功能，因此衡量过滤 系统性能查全率和查准率明显提高，系统性能得到 优化． ４结论 通过实验分析，可以看到分词的精度在一定程 表１表明：逆向最大匹配法和词频统计法实验 次数的增加，其算法的准确率变化不大，可见逆向 匹配算法和词频统计法比较稳定．本文算法综合了 词典匹配和词频统计法２种方法，在分词过程中虽 然准确率较高，但算法的稳定性还待提高． ３．２ 中文分词对信息过滤性能的影响 选取语料库中１００篇文档，分别采用ＣＪＫＡｎａ— ｌｙｚｅｒ分词的过滤系统和改进后的本文过滤系统对 不同主题进行过滤，２个过滤系统的评测指标数据 见表２． 表２ 系统性能对比表 ％ 表２表明，ＣＪＫＡｎａｌｙｚｅｒ过滤系统的平均召回率 ６７．６％，平均精度７２．６％；本文过滤系统的平均召 回率８３．９％，平均精度８５．２％，其平均召回率和平 均精度与其相比，分别提高１６．３％和１２．６％．由 于本文采用了基于语境的分词方法对待测文本流进 度上影响到文本过滤系统的精度．换言之，若分词 的精度达到一定的水平，其对中文信息过滤的影响 将不再明显．本文提出的基于语境分析的汉语分词 器，是一个具备较强份额跨领域新词识别能力的分 词系统，通过对不同领域的文章进行分词评测，本 文的分词算法有着良好的表现，分词精度很高．此 外，各类别的准确率有一些差别，因为过滤结果对 类别的依赖性大，例如，娱乐和体育类的过滤性能 高于科技类．说明各类别自身的特征鲜明程度不 同，造成了过滤结果的不同，特征越鲜明、与其他类 别反差越大，过滤性能也越好．因此，可以对特征鲜 明程度不明显的主题寻找更多的语料或者是进行 人工干预，以解决上述问题． 参考文献： ［１］ 章茂元，卢正鼎，邹春燕．一种基于语境的中文分词方 法研究［Ｊ］．小型微型计算机系统，２００５，２６（１）：１２９． ［２］ 黄萱菁，夏迎炬．基于向量空间模型的文本过滤系统 ［Ｊ］．软件学报，２００３，１４（３）：４３６． ［３］ 曹贵洪，何丕廉，吴光远，等．中文分词对中文信息检 索系统性能的影响［Ｊ］．计算机工程与应用，２００３， １９：７８． ［４］ 张家勇，刘建辉．基于中文分词技术的信息智能过滤 系统［Ｊ］．信息技术，２００６，３０（１２）：１７５． ［５］ 苏云，马慧芳．基于Ｗｅｂ的信息过滤技术［Ｊ］．情报技 术，２００５（５）：７３． ［６］ 孙建军，成颖．信息检索技术［Ｍ］．北京：科学出版 社．２００４． ［７］ 律佳．文本信息过滤系统的研究与实现［Ｄ］．大庆：大 庆石油学院，２００９．
