百度蜘蛛

一、 简述

视频检索系统一种数据流图如下图所示。主要包括网页的抓取、网页上信息的抽取以及建立起索引提供外部可以访问的检索服务几个主要步骤。视频收录指的就是网页的抓取这一步。视频检索实际上也是文本检索，其核心数据只有两种：一种是用于定位视频资源的url，通过该url可以观看视频，通常是视频播放页面的url；另一种是对视频资源的内容进行说明的各种各样的描述信息，通过这些描述信息在用户的检索请求和视频资源之间架起了一座桥梁。因此，对于视频站的收录，核心就是获取视频播放页url及视频的文本描述信息。

...

网友代问：百度蜘蛛会抓取被Robots 禁止的网页

1、己经Disallow了 /modules/news/ 文件夹，但/modules/news/view.category.php/ 还是会被抓走，并且放了出来。

2、重新设置了Disallow，设置为/modules/，蜘蛛才不抓/modules/news/view.category.php/

3、年初刚做站时，担心蜘蛛抓错了测试文章，所以整站Disallow了，五月初才开放给蜘蛛进来，蜘蛛每天访问很多次首页和部分内页，但只放出首页，和一些抓错网址的栏目页，一个合格的内页都没放出来。
...