浅析汉语问答系统中的句子检索方法

浅析汉语问答系统中的句子检索方法

如若比翼便双飞 发表于:2018-01-20 点击:45

  摘要: 自动问答系统是自然语言理解研究领域中的热门方向,它综合运用了多种自然语言处理技术。本文首先简单介绍了问答系统中的几种关键技术,然后对问答系统中信息检索模块句子检索的方法和特点进行了分析。
  Abstract: The automatic question and answering system(QA)is a hot research field in natural language understanding,which includes many kinds of NLP technologies.This paper introduces several key technologies of QA, then analyses methods and characteristics of sentence retrieval in Chinese question answering system.
  关键词: 问答系统;自然语言理解;句子检索
  Key words: QA;natural language understanding;sentence retrieval
  中图分类号:TP391文献标识码:A文章编号:1006-4311(2010)14-0165-02
  
  0引言
  自动问答系统(Automatic Question and Answering System)简称问答系统(QA),又称人机交互系统,是自然语言处理领域中一个非常热门的研究方向,它综合运用了各种自然语言处理技术。目前,英文问答技术的研究已经取得了大量的成果并出现了相对成熟的英文问答系统,而汉语自动问答技术的研究机构和成果并不是很多,基本还没有成型的中文问答系统。问答系统针对用户所提供的自然语言式的查询式,从相关文档中抽取并返回给用户准确的答(本文来自:www.bdFqY.cOM 千 叶帆文 摘:浅析汉语问答系统中的句子检索方法)案。由此可见,在问答系统中信息检索占有十分重要的地位,检索性能的高低决定了问答系统的运行效率和返回答案的准确性[1]。
  1问答系统的原理及关键技术
  问答系统包含知识存储、知识表示、信息抽取、自然语言处理等多方面的综合技术。基于自然语言处理的中文问答系统包括五个主要组成部分:问题理解、信息检索、信息处理、答案抽取、FAQ模块 [2]。有的学者也将问答系统的体系结构划分成三个主要部分:问题处理、信息检索和答案抽取[3-5]。不管如何划分,问答系统中的信息检索模块都是其最基本也是最重要的模块。
  问题处理是指对用户用自然语言提出的问题进行词法、句法、语义分析等方面的预处理,从而获取用户查询的关键词以及问题所属类型等信息。信息检索通过传统的信息检索技术获得答案可能所在的文档,并对文档进行排序等处理。而答案抽取则是对信息检索所得到的候选文档进行各种分析抽取出答案返回给用户。
  汉语问答系统主要涉及到如下几种关键技术:
  1.1 分词及词性标注由于汉语书面语是连续书写的,因此计算机需要将汉字字串按词切分开并打上切分标志,该处理称为中文文本自动分词。中文文本的分词与词性标注是中文信息处理中特有的基础性问题[6]。
  1.2 关键词抽取与扩展统计法是关键词抽取常用的和经典的方法,该方法通过确定候选词的权重并选取权重较大者作为最终的关键词。候选词的权重由它所反映的文献主题的重要性决定。
  1.3 基于模式的句子相似度计算模式匹配的最终目标是获取用户提问的准确答案。通过定义和计算句子之间相似度完成模式匹配并检索出针对用户提问的准确答案的句子。
  2汉语处理中句子检索的特点及方法
  问答系统中的检索模块负责从网上或文本库中检索出大量的可能包含问题答案的文本,其检索方式有基于文档、基于段落等多种,目前大部分的问答系统的检索实际上都是在句子的基础上进行的。因此可以说,问答系统的检索基本上都是句子检索。
  2.1 句子检索的特点虽然句子检索可以借鉴文本检索的大多数技术,例如向量空间模型、布尔模型、概率模型、语言模型等等,但是同文本检索相比,仍有其特点:①信息量少,词频不具有统计意义。在句子中,一般总的词次也就在1-10 这个数量级,词频超过 2 个的词很少(停用词除外)。②上下文信息匮乏。与篇章、段落信息相比,既没有结构上的信息(如段落位置),也没有内容上的背景信息。对于消解部分歧义词有着不利的因素。③重视顺序信息。通常篇章检索的结果,大多数只要覆盖用户的“关键词”(key words)就基本算是相关。但是在句子检索中,有时仅仅覆盖词是不够的,除了某些词出现,常常还要考虑顺序。例如“我们提高工作热情,把热量消耗的水平降下去”中,如果查询是“提高水平”,这个句子就不是很符合用户的需求,因为“提高”、“水平”之间相隔数个词,根本就不是表达一种整体的意义。④需要考虑同义词情况。文档检索中,即使不考虑同义词,根据上下文信息,也通常可以匹配上;但是在句子检索中,因为上下文信息很少,而且多数词仅仅出现一次。一旦没有匹配,就是造成严重的“词不匹配”问题,即认为某个句子是完全不符合意思的。⑤侧重深层次理解。例如“今天天气好”和“今天天气不好”,前后只差一个字“不”,意思就完全反了。再比如,“苹果的价格是多少?”,“梨的价格是多少?”如果在做问答的时候,虽然相差仅仅是一个词,但是对应完全不同的主体,不是相近。因此说句子检索强调深层次的理解,不能仅仅停留在词汇一层。
  2.2 句子检索中的几种核心方法目前,句子检索主要有如下几种方法[1]:①传统的文档检索方法:该方法将单个句子本身看成是一个微型文档。②信息过滤方法:该方法将主题作为初始的用户兴趣背景,将句子看成是文档集,以句子与用户兴趣的相关度来进行信息过滤。③分类方法:该方法根据词语的分类特征属性来判断所在句子与主题的信息相关度。④语义比较方法:该方法借助现有的语义体系进行不同词语之间的相似度计算,然后综合计算得到句子与查询之间的相关度。⑤隐马模型(HMM)方法:该方法将句子的检索过程转化为对状态模型中的相关概率最大的路径的搜索。
  2.3 句子检索方法分析
  2.3.1 查询扩展查询词提取和查询词扩展是影响检索性能的关键因素之一。中文问答系统中的句子检索需要采用查询扩展技术。Van Rijsbergen于1986年首次提出了查询扩展技术。目前,查询扩展技术已成为公认的能够改善信息检索查全率和查准率的关键技术之一。
  问答系统中的检索模块占有十分重要的地位,其性能不仅在一定程度上影响问答系统的准确率,而且对系统的运行效率也有相当的影响。汉语处理中句子的检索与传统的基于网页的搜索引擎存在着很大的不同。这是因为句子包含的信息量是很小的。而问答系统需要给用户提供的是尽可能准确的答案,而不是传统搜索引擎所提供的所有可能结果。并且,将语言模型应用于问答系统中的句子检索,数据稀疏将更为严重。为了提高问答系统的检索性能,需要对文档集合包含的信息进行更加细致的挖掘[7]。
  在汉语问答系统中以自然语言问题进行答案文本检索时,答案文本检索是针对一个问题进行,而不再是传统搜索引擎中的几个关键词的组合,也就是说,问题本身比关键词组合具有更丰富的语义特征。为此,问答系统通常都需要对关键词进行扩展,这就是查询扩展技术。所谓查询扩展是指利用计算机语言学、信息学等多种技术,把与原查询相关的词语或者与原查询语义相关联的概念以逻辑或方式添加到原查询,得到比原查询更长的新查询,然后依据该新查询再去进行信息检索。
相关标签内容推荐:    

版权声明:本文内容为作者提供和网友推荐收集整理而来,仅供学习和研究使用。若相关内容侵犯您的合法权益时,请您联系我们,我们将根据中国法律法规和政府规范性文件,采取措施移除相关内容或相关链接。千叶帆文摘对互联网版权绝对支持,净化网络版权环境。

阅读更多
猜你喜欢
推荐图文