全面封杀腾讯SOSO蜘蛛

日期: 标签:杂谈 15 条留言
如需帮忙改代码,或者WordPress二次开发、PHP网站建设等需求,可联系我购买付费服务:  点此联系我

     平常我都有看网站原始访问日志的习惯,最近一周以来,日志中开始大量出现Sosospider的访问信息,IP是 124.115.0. 段,查询到的地址是:陕西省西安市 SOSO蜘蛛。

     从日志中分析,Sosospider每隔几秒钟就来抓取一次,访问的都是一些乱七八糟的链接,甚至robots.txt中禁止索引的链接也被抓取,更让我想不通的是,一个搜索引擎的爬虫蜘蛛去抓取页面中的js和css干什么?

     对于搜索引擎蜘蛛我还是挺有好感的,但是对于Soso蜘蛛的这种行为,我感到无法理解,我暂时把它理解为对我网站的恶意流量攻击,不仅耗费了大量流量,也耗费了大量的CPU资源。流量是花钱买来的,不能浪费。索性在.htaccess中封杀这个IP段:

deny from 124.115.0.

     搜索发现,124.115.0.这个ip段的Sosospider早在2007年就已是臭名昭彰了,见报道:腾讯SOSO蜘蛛乱撒网 惹怒站长被封杀.相信肯定有很多人给腾讯搜搜反应过这样的问题,但是直到世界末日都过了,搜搜依然没解决这个问题。莫非这个Sosospider不属于搜搜,而是肉鸡?

-- 完 --

本文采用 「CC BY-NC-SA 4.0」创作共享协议,转载请标注以下信息:
原文出处:露兜博客 https://www.ludou.org/block-sosospider.html
露兜
kaapass@outlook.com  QQ 825533758

业余编程爱好者,主业是淘宝店主,卖些工艺品,感兴趣可以到我的淘宝店看看(旺旺不提供技术咨询):西西弗sisyphe

15 条留言

点此留言
  1. 向日葵媒体设计

    无法理解它的反链怎么会那么多。。几万条~

  2. ICU路

    肉鸡思密达。。。

  3. Louis Han

    搜搜的蜘蛛怎么会跑到陕西?
    而且07年的时候搜搜还是用的Google的数据吧

  4. waiting-无限博客

    骚噶,回去看看自己网站有没有中这个招……

  5. 茶话汇

    soso搜索来的流量本来就不多,禁用应该关系不大的

  6. Mouse

    其实那个是冒充的spider,不仅是soso,百度和bing也有过。

  7. Tokin

    平时我也没关注过爬虫,随便抓取吧,正愁流量用不完呢…

  8. hea

    怎么提交不了留言、

  9. 一堵墙

    他那个方向链接的统计怕是有问题吧

  10. 哼哼猪

    确实,不产生索引,一味在爬取,纯粹浪费流量

  11. 第三眼

    国内搜索引擎的蜘蛛从来不care robots.txt的

  12. 西贝博客

    待会切看看log

  13. 红色石头

    雅虎360更多,我看我的,几十万~~~

  14. 柚子

    长见识了,前几天查看服务器log的时候也看到了SOSO的爬虫,当时没怎么在意,看来有必要filter一下它了。Google的搜索技术本身肯定没问题,SOSO太贪心了点。。

发表留言