查看完整版本: 网页抓取优先策略

网页抓取优先策略

*** 作者被禁止或删除 内容自动屏蔽 ***

这个标题

在一本叫做《走进搜索引擎》的目录里面也出现了哦。。。不知道说的是不是一个东东。。。::002::

2007年1月第1版，电子工业出版社，作者：梁斌

        第一章 引言
第一节 什么是搜索引擎
　第二节 搜索引擎的发展简史
　　搜索引擎的发展历史
　第三节 搜索引擎大事快览
　第四节 国内著名搜索引擎
　　百度（[url]www.baidu.com[/url]）
　　中搜（[url]www.zhongsou.com[/url]）
　　天网（e.pku.edu.cn）
　　搜狗（[url]www.sogou.com[/url]）
　参考文献
第二章 搜索引擎概貌
　第一节 搜索引擎的主要需求
　　查得快
　　查得全
　　查得准
　　查得稳
　第二节 搜索引擎的大系统
　　搜索引擎的体系结构
第三章 搜索引擎的下载系统
　第一节 爬虫的发展历史
　　世界上第个爬虫
　　爬虫的发展历程
　第二节 万维网及其网页分析
　　蝴蝶结型的万维网
　　万维网的直径
　　万维网的规模及变化特征
　　网页的特征
　第三节 有关爬虫的基本概念
　　爬虫
　　种子站点
　　[wiki]URL[/wiki]
　　Backlinks
　第四节 网页抓取原理
　　telnet和wget
　　从种子站点开始逐层抓取
　　不重复抓取策略
　　[color=Red][b]网页抓取优先策略[/b][/color]
　　网页重访策略★
　　Robots协议
　　其他应该注意的礼貌性问题
　　抓取提速策略（合作抓取策略）
　第五节 网页库
　第六节 下载系统回顾及未来发展
　　参考文献
第四章 搜索引擎的分析系统
　第一节 知识准备
　　[wiki]HTML[/wiki]语言
锚文本（anchor text）
半结构化数据（Semi-structured data）
第二节 信息抽取及网页信息结构化
网页结构化的目标
建立HTML[wiki]标签[/wiki]树
通过投票方法得到正文
网页结构化过程回顾
第三节 网页查重
网页查重技术发展历史
网页查重实现方法
第四节 中文分词
什么是中文分词
通过字典实现分词
通过统计学方法实现分词
第五节 PageRank
PageRank的来由
PageRank的基本想法
PageRank的计算公式
PageRank的计算方法 ★
第六节 分析系统结构图
参考文献
第五章 搜索引擎的索引系统
第一节 知识准备
信息
索引
倒排索引、倒排表、临时倒排文件、最终倒排文件
其他概念
第二节 全文检索
全文检索
第三节 文档编号
编号的本质
文档编号的方法
游程编码
第四节 倒排索引
经典的倒排索引
正排索引（前向索引）
倒排索引
第五节 数据规模的估计
齐普夫法则
布尔检索模型下的索引规模估计★
第六节 涉及存储规模的一些计算
正排表与倒排表的合并
多个临时倒排文件的归并
倒排索引分布式存储
倒排文件缓存
倒排索引词典统计信息的计算
第七节 倒排索引文件的创建过程
创建倒排表
计算统计信息
参考文献
第六章 搜索引擎的查询系统
第一节 知识准备
什么是信息熵
检索和查询的区别
检索词和查询词的区别
自动文本摘要(Automatic Text Summarization)
第二节 网页信息检索
早期的检索模型
向量空间模型（Vector Space Models）
关键词权重的量化方法TF/IDF★
搜索引擎采用的检索模型
多文档列表求交计算
检索结果排序
堆排序
第三节 中文自动摘要
自动摘要的发展历史
自动摘要的含义和实现
第四节 生成搜索结果页
生成搜索结果页
第五节 搜索结果页的缓存
搜索结果页的缓存
第六节 推测用户查询意图
查询分类
推测信息类、事物类的查询意图
第七节 查询系统的当前热点和发展方向
查询系统的当前热点
参考文献
第七章 搜索引擎的其他话题
第一节 搜索引擎问与答
为什么搜索引擎的搜索速度这么快
为什么搜索引擎能够返回那么多的查询结果
为什么搜索引擎总能返回最想要的结果
搜索引擎如何大规模存储网页的
什么是[wiki]SEO[/wiki]
什么是元搜索引擎
搜索引擎认为的作弊行为是哪些
如何进一步学习和了解搜索引擎发展的最新成果
第二节 搜索引擎未来的发展
新兴的搜索产品
搜索技术的未来
参考文献
附录A 搜索引擎系统结构全观图

[[i] 本帖最后由 elviscai 于 2008-1-18 10:55 编辑 [/i]]

::001::

::001:: 不错!

路过，SEO我只是一个菜鸟

学习学习
呵呵

dsfdsf

[url=http://www.jipiaoonline.cn]机票[/url] [url=http://www.jipiaoonline.cn/guoji/]国际机票[/url] [url=http://www.jipiaoonline.cn/dazhe/]打折机票[/url] [url=http://www.jipiaoonline.cn/tejia/]特价机票[/url] [url=http://www.jipiaoonline.cn/feijp/]飞机票[/url] [url=http://www.jipiaoonline.cn/guonei/BJS/]北京机票[/url] [url=http://www.jipiaoonline.cn/guoji/BJS/]北京国际机票[/url] [url=http://www.jipiaoonline.cn/dazhe/BJS/]北京打折机票[/url] [url=http://www.jipiaoonline.cn/tejia/BJS/]北京特价机票[/url] [url=http://www.jipiaoonline.cn/feijp/BJS/]北京飞机票[/url] [url=http://www.jipiaoonline.cn/guonei/SHA/]上海机票[/url] [url=http://www.jipiaoonline.cn/guoji/SHA/]上海国际机票[/url] [url=http://www.jipiaoonline.cn/dazhe/SHA/]上海打折机票[/url] [url=http://www.jipiaoonline.cn/tejia/SHA/]上海特价机票[/url] [url=http://www.jipiaoonline.cn/feijp/SHA/]上海飞机票[/url] [url=http://www.jipiaoonline.cn/guonei/CTU/]成都机票[/url] [url=http://www.jipiaoonline.cn/guoji/CTU/]成都国际机票[/url] [url=http://www.jipiaoonline.cn/dazhe/CTU/]成都打折机票[/url] [url=http://www.jipiaoonline.cn/tejia/CTU/]成都特价机票[/url] [url=http://www.jipiaoonline.cn/feijp/CTU/]成都飞机票[/url] [url=http://www.jipiaoonline.cn/guonei/CAN/]广州机票[/url] [url=http://www.jipiaoonline.cn/guoji/CAN/]广州国际机票[/url] [url=http://www.jipiaoonline.cn/dazhe/CAN/]广州打折机票[/url] [url=http://www.jipiaoonline.cn/tejia/CAN/]广州特价机票[/url] [url=http://www.jipiaoonline.cn/feijp/CAN/]广州飞机票[/url] [url=http://www.jipiaoonline.cn/guonei/HGH/]杭州机票[/url] [url=http://www.jipiaoonline.cn/guoji/HGH/]杭州国际机票[/url] [url=http://www.jipiaoonline.cn/dazhe/HGH/]杭州打折机票[/url] [url=http://www.jipiaoonline.cn/tejia/HGH/]杭州特价机票[/url] [url=http://www.jipiaoonline.cn/feijp/HGH/]杭州飞机票[/url] [url=http://www.jipiaoonline.cn/guonei/CKG/]重庆机票[/url] [url=http://www.jipiaoonline.cn/guoji/CKG/]重庆国际机票[/url] [url=http://www.jipiaoonline.cn/dazhe/CKG/]重庆打折机票[/url] [url=http://www.jipiaoonline.cn/tejia/CKG/]重庆特价机票[/url] [url=http://www.jipiaoonline.cn/feijp/CKG/]重庆飞机票[/url] [url=http://www.jipiaoonline.cn/guonei/XIY/]西安机票[/url] [url=http://www.jipiaoonline.cn/guoji/XIY/]西安国际机票[/url] [url=http://www.jipiaoonline.cn/dazhe/XIY/]西安打折机票[/url] [url=http://www.jipiaoonline.cn/tejia/XIY/]西安特价机票[/url] [url=http://www.jipiaoonline.cn/feijp/XIY/]西安飞机票[/url]  [url=http://www.jipiaoonline.cn/guonei/KMG/]昆明机票[/url] [url=http://www.jipiaoonline.cn/guoji/KMG/]昆明国际机票[/url] [url=http://www.jipiaoonline.cn/dazhe/KMG/]昆明打折机票[/url] [url=http://www.jipiaoonline.cn/tejia/KMG/]昆明特价机票[/url] [url=http://www.jipiaoonline.cn/feijp/KMG/]昆明飞机票[/url]  [url=http://www.jipiaoonline.cn/guonei/SZX/]深圳机票[/url] [url=http://www.jipiaoonline.cn/guoji/SZX/]深圳国际机票[/url] [url=http://www.jipiaoonline.cn/dazhe/SZX/]深圳打折机票[/url] [url=http://www.jipiaoonline.cn/tejia/SZX/]深圳特价机票[/url] [url=http://www.jipiaoonline.cn/feijp/SZX/]深圳飞机票[/url]
[url=http://www.shenzhenair.org.cn]北京机票[/url]
[url=http://www.shenzhenair.org.cn/gj/]北京国际机票[/url]
[url=http://www.shenzhenair.org.cn/index-1.htm]北京打折机票[/url]
[url=http://www.shenzhenair.org.cn/changshi.htm]北京特价机票[/url]

[url=http://www.cn-tour.com.cn/jp/gjp.htm]北京国际机票[/url]
[url=http://www.cn-tour.com.cn/gj.asp]北京国际机票[/url]
[url=http://www.cn-tour.com.cn]北京机票[/url]

[url=http://www.skytravel.net.cn]北京机票[/url]
[url=http://www.skytravel.net.cn/pek/pekgj.htm]北京国际机票[/url]
[url=http://www.skytravel.net.cn/pek/pekgn.htm]北京打折机票[/url]
[url=http://www.skytravel.net.cn/tejia.asp]北京打折机票[/url]

[url=http://www.pktour.com.cn]北京机票[/url]
[url=http://www.pktour.com.cn/flypiao/flypiaogn.htm]北京打折机票[/url]
[url=http://www.pktour.com.cn/flypiao/flypiaogj.htm]北京国际机票[/url]

[url=http://www.taopiao.org.cn]北京机票[/url]
[url=http://www.taopiao.org.cn/mhsp/mhspgj.htm]北京国际机票[/url]

[url=http://www.meters-bonwe.net.cn]北京机票[/url]
[url=http://www.meters-bonwe.net.cn/gjp/]北京国际机票[/url]
[url=http://www.meters-bonwe.net.cn/gnp/]北京航班[/url]

[url=http://www.shandongair.org.cn]北京机票[/url]
[url=http://www.shandongair.org.cn/jp/gj.htm]北京国际机票[/url]

[url=http://www.yoee.org.cn]机票[/url]
[url=http://www.yoee.org.cn/gjjp/]北京国际机票[/url]
[url=http://www.yoee.org.cn/gnjp/]北京机票[/url]
[url=http://www.yoee.org.cn/bjtj/]北京特价机票[/url]
[url=http://www.yoee.org.cn/bjfjp/]北京飞机票[/url]
[url=http://www.yoee.org.cn/bjdz/]北京打折机票[/url]