问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

搜索引擎算法中,什么是正向索引?什么是倒排索引?4

发布网友 发布时间:2023-10-10 18:42

我来回答

2个回答

热心网友 时间:2024-12-11 19:21

倒排索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件,简称倒排文件。建立全文索引中有两项非常重要,一个是如何对文本进行分词,一是建立索引的数据结构。分词的方法基本上是二元分词法、最大匹配法和统计方法。索引的数据结构基本上采用倒排索引的结构。
分词的好坏关系到查询的准确程度和生成的索引的大小。在中文分词发展中,早期经常使用分词方式是二元分词法,该方法的基本原理是将包含中文的句子进行二元分割,不考虑单词含义,只对二元单词进行索引。因此该方法所分出的单词数量较多,从而产生的索引数量巨大,查询中会将无用的数据检索出来,好处是算法简单不会漏掉检索的数据。之后又发展出最大匹配分词方法,该方法又分为正向最大分词和逆向最大分词。其原理和查字典类似,对常用单词生成一个词典,分析句子的过程中最大的匹配字典中的单词,从而将句子拆分为有意义的单词链。最大匹配法中正向分词方法对偏正式词语的分辨容易产生错误,比如“首饰和服装”会将“和服”作为单词分出。达梦数据库采用的是改进的逆向最大分词方法,该分词方法较正向正确率有所提高。最为复杂的是通过统计方式进行分词的方法。该方法采用隐式马尔科夫链,也就是后一个单词出现的概率依靠于前一个单词出现的概率,最后统计所有单词出现的概率的最大为分词的依据。这个方法对新名词和地名的识别要远远高于最大匹配法,准确度随着取样文本的数量的增大而提高。
二元分词方法和统计方法是不依赖于词典的,而最大匹配法分词方法是依赖于词典的,词典的内容决定分词结构的好坏。
全文检索的索引被称为倒排索引,之所以成为倒排索引,是因为将每一个单词作为索引项,根据该索引项查找包含该单词的文本。因此,索引都是单词和唯一记录文本的标示是一对多的关系。将索引单词排序,根据排序后的单词定位包含该单词的文本。
步骤1)读取一整条句子到变量str中,转到步骤2

步骤2)从句子的尾端读取1个字到变量word中,转到步骤3

步骤3)在字典查找word中保存的单词。如果存在则保存word,转到步骤4,否则转到步骤5)

步骤4)如果是字典中最大单词或者超过最大单词数(认定为新词),从句尾去掉该单词,返回步骤2

步骤5)读取前一个字到word中,构成新单词,转到步骤3)

词库的内存数据结构和词库中单词的匹配算法

内存中单词采用层次结构保存

假设字典中有如下的单词:中国 中华* 国家 人民 民主

在内存中按照如下方式按层排列,其中每一个方块代表一个字,箭头所指向为该单词的前一个字

热心网友 时间:2024-12-11 19:21

这个很深奥哦。之前没有听说过这个。。。
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
猛禽点烟器在什么位置? 哪家公司的Burkert角座阀性价比更高? 腊肠炒青豆做法 香肠炒青豆的家常做法大全怎么做好吃 我想模仿一个淘宝大店铺'主要是因为他们销量很好,。我想生产他们的... 模仿别人淘宝店铺算侵权吗?侵权赔偿标准介绍 applexsmax突然黑屏 大雁气功当代传人 贷款担保合同签字担保人没有来是不是有效 当一个习惯养成的时候,是不是戒不掉了 为什么放线菌产生的抗生素比细菌和真菌要多?2 为什么ps在百度找的图片打开时总是很小,放大后总是失真的呢?...2 qq号与绑定qq被盗怎么找回,13 小照片放到ps里放大后怎样才能很清晰1 为什么PS里300分辨率的图片保存,打开还是很模糊?7 信天翁代表什么意思?404 有几种信天翁分别是?1 信天翁有着怎样的生活习性? 东方国信股票怎么样7 东方国信股票还能持有吗 人字的结构代表着什么? 上海机场有多大8 上海虹桥机场H3道口距离跑道头的距离是多少? 怎么通过icloud恢复苹果通讯录吗3 化学中H表示什么? 腾讯会议3.0有哪些变化? 我把注销对方发消息给我会显示什么 中国航空工业第二集团公司总部在北京吗?1 月经期还没有过还有两天月经期就用验孕棒测了一条深点一条浅点 ...4 中国银行股份有限公司嘉兴南湖支行怎么样? 王者荣耀单机版在哪里下载?注意是手机版的34 王者荣耀单机版去哪里下载19 王者荣耀单机版不要网在哪里下载?4 目前最常用的评价肾小球滤过率的指标是() 下列各种物质中,其肾清除率能准确代表肾小球滤过率的是 JT5000725181117极兔快递,补发单号?14 我是距离来月经还要五天的时候的中午用验孕棒测的是一深一浅 请...2 室内除了养绿箩,还能养哪些植物呢?1 刚才有个人在qq上给我转账0.1叫我加她,我不认识她,...2 表达一家人相亲相爱的句子 她QQ发信息要我加她微信,我加了之后然后说这个网名是我,她微...1 腾讯会议和腾讯课堂导出来的参会记录有什么区别吗?1 第一次做酒水买卖如何下去铺货 我求一个酒水业务员的销售提成方案及提成标准。前提是酒水铺货到...1 我想注册一家公司,具体是做酒水代理,就是给超市商场铺货的那种... 我有一个新品酒类的进货资源,一个做酒的朋友有现成的铺货渠道,... 酒水销售公司应该办理哪些证件?66 手机怎么用icloud恢复通讯录5 手机微信一不小心进了微信轰炸群了,怎么退出来。2 怎样做酒水销售?282