2012-06-10 557
什么是百度蜘蛛?
百度蜘蛛,英文名是“Baiduspider”是百度搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
如果你的空间商给你的空间支持查询蜘蛛访问记录的话。那么就会在FTP的根目录下面生成一个WebLog的文件夹,这个文件里放的就是蜘蛛的访问记录了。前提是你的空间支持这个功能,不同的IDC空间生成的日志文件目录名称不一样,仅供参考。一般文件夹中包含Log字符的都是日志文件夹。然后打开WebLog目录后,里面有一些以日期格式特征为文件名的文件。这些就是我们需要下载到本地的空间日志文件。
百度蜘蛛是否来过我的网站,怎么才知道百度蜘蛛来过我的网站呢?我们只需要用记事本工具打开下载到本地的日志文件,查询网站日记,好好的分析网站日记就可以了。
百度蜘蛛大概分为三类:
我们最常见的就是:220.181.108.*这一段了!这段IP主要负责抓取网站的更新,和增加网站权重的作用。
其次就是:123.125.71*。这段IP主要负责一些权重比较低的网站内容的抓取,以及对文章原创度情况进行判断。一般会在48小时内抓取你的网页,但是对于非原创内容也会在48小时内删除你的资料,这也是许多新手站长感到奇怪的地方。一定要请大家注意,这个IP出现在网站日记的话一定要小心。
最后一个,也是大家不愿意看到的一个IP:123.125.68*。这段IP我们一般叫做黑武士,他如果来到你的网站的话,你的网站基本就会被降权或者被K掉,情况好的只会抓取你一次,如果网站大量出现这样的百度蜘蛛的话,你的网站就准备被K掉吧,也说明了百度发现你做了很多不好的事情。这个IP是许多老站长都不愿意看到的IP。
百度蜘蛛的三大类的基本工作情况:
快照蜘蛛:顾名思义就是说专门给你网页拍照的蜘蛛。IP以75结尾的就是快照蜘蛛,它来到你网站越多越好,快照更新越快,说明你的网站百度非常欢迎。
IP以89结尾的蜘蛛,我们称为高权重的蜘蛛,但是它的权重没有IP以86结尾的高,但是权重也是非常不错的。
前面我们说到最常见的就是220.181.108.*,其中220.181.108.86它抓取的网页权重是最大的,如果说这个蜘蛛在你的网页上返回正常的话,说明你的网站问题不大,如何抓取的时候返回数据库有其他的数值的话,说明网站问题就很大了,一定要注意。
接下来就是:94,97,80,83,z这些蜘蛛都是高权重的蜘蛛,它们的权重是依此递减的。剩下来的就是普通的蜘蛛了,它们会抓取新的网站的内容,返回数据库的值有200的话,一般情况下,会在24到40小时之内会被放出的。如果显示304的话,就说明此网站有待考察。
经过以上的几种介绍相信大家对百度蜘蛛有个全新的认识,要经常查看服务器日志,看有没有蜘蛛光临,但要注意并不是有蜘蛛就是好事。
资源中心 2025-01-03
资源中心 2023-10-25
生活百科 2024-06-21
生活百科 2021-04-14
生活百科 2021-06-22
生活百科 2021-09-08
生活百科 2017-07-20
生活百科 2018-08-02
生活百科 2014-07-01
生活百科 2021-05-01
电脑应用 2022-02-28
生活百科 2020-10-30
资源中心 2019-12-08
生活百科 2020-06-28
电脑应用 2023-02-07
生活百科 2018-07-17
资源中心 2012-03-20
生活百科 2025-01-03
生活百科 2019-02-22
电脑应用 2019-07-29
扫码二维码
获取最新动态