最新研究搜索引擎了,做点笔记。
搜索引擎一般分为三个模块: 网页搜集、预处理和查询服务。
网页搜集是事先搜集的,在查询的时候再去搜集明显不可能了。而事先搜集又分为定期搜集和增量搜集。定期搜集是个全量的搜集过程,往往更新一次需要很长的时间,基本也不时新了,但是实现无疑要简单点;增量搜集除第一次是全量的外,后续做的就是更新了(包括新增网页,删除过期的,以及更新),实现上要复杂的多。现实上这两种也是相辅相成的,如新闻的搜索要及时更新,但某些学术网站就很少更新了。
网页搜集要解决的问题:
(1)各种类型的网页(html、asp、javascript),各种语种(ascii, utf-8)
(2)网络资源的多样化(文件,图片,文档,音频,视频 etc.)
(3)搜索策略(深度优先,广度优先)
(4)并发搜集(避免对同一站点同一时刻的大量访问,不然就变成Dos攻击了)
(5)避免重复搜集
记录未访问、已访问URL和网页内容摘要信息
域名与IP的对应问题
(6)判断网页的重要程度
1) 网页的入度大,表明被其他网页引用的次数多;
2) 某网页的父网页入度大;
3) 网页的镜像度高,说明网页内容比较热门,从而显得重要;
4) 网页的目录深度小,易于用户浏览到。
posted on 2008-03-04 21:52
merlinfang 阅读(601)
评论(2) 编辑 收藏 引用 所属分类:
搜索引擎