反爬虫战争进行了十八年,但一切才刚刚开始

  在一大堆技术术语里,最为被普通人所熟知的大概就是爬虫了。其实爬虫这个名字就已经特别好地表现出了这项技术的作用像密密麻麻的虫子一样分布在网络上,爬行至每一个角落获取数据;也一定程度上表达了人们对这项技术的情感倾向虫子或许无害,但总是不受欢迎的。

  有关爬虫的功能、益处或危害,此前已经有过很多讨论。因为爬虫技术造成的大量IP访问网站侵占带宽资源、以及用户隐私和知识产权等危害,很多互联网企业都会花大力气进行反爬虫。

  相比爬虫技术本身,反爬虫其实更加复杂,发展历程也更加有趣。

  我们如何反爬虫?先礼后兵、再对簿公堂

  几乎是和爬虫技术诞生的同一时刻,反爬虫技术也诞生了。在90年代开始有搜索引擎网站利用爬虫技术抓取网站时,一些搜索引擎从业者和网站站长通过邮件讨论定下了一项君子协议 robots.txt。即网站有权规定网站中哪些内容可以被爬虫抓取,哪些内容不可以被爬虫抓取。这样既可以保护隐私和敏感信息,又可以被搜索引擎收录、增加流量。

  爬虫技术刚刚诞生时我们还处于上古时代,互联网是一片贤者云集的乐土,大多数从业者都会默守这一协定,毕竟那时候信息和数据都没什么油水可捞。但很快互联网上开始充斥着商品信息、机票价格、个人隐私在利益的诱惑下,自然有些人会开始违法爬虫协议了。

  当君子协议失效,我们开始改用技术手段阻拦爬虫的入侵。比如从访问数量上发现爬虫,当我们在某一网站浏览过快时,系统往往会要求输入验证码,就是因为这种快速浏览的行为很接近爬虫。或者是不定期改变HTML标签,使之无法与Web排序匹配来限制爬虫。

  但是即便如此,我们也没有任何方法可以禁止爬虫在网站中出入,只能加大爬虫的访问难度。如果网站可以供给人类访问,就一定也可以被爬虫访问。而且如果从底层完全组织爬虫抓取,也很可能让网站无法被搜索引擎收录。

  所以,在所有的先礼后兵都对爬虫失效时。最后反爬虫的手段只有最后一项对簿公堂。

  两场官司和十七年,爬虫没变,我们变了

  历史上第一桩关于爬虫的官司诞生在2000年,eBay将一家聚合价格信息的比价网站BE告上了法庭,eBay声称自己已经将哪些信息不能抓取写进了爬虫协议中,但BE违反了这一协议。但BE认为eBay上的内容属于用户集体贡献而不归用户所有,爬虫协议不能用作法律参考。

  最后经过业内反复讨论和法庭上的几轮唇枪舌战,最终以eBay胜诉告终,也开了用爬虫协议作为主要参考的先河。

(责任编辑:松灵棋牌)

本文地址:http://www.elblogdechuchus.com/fengshui/2020/0910/297.html

上一篇:三星Galaxy Fold本月26日开卖:骁龙855+UFS 3.0闪存 下一篇:索尼虚拟空气曲棍球台 揭示增强现实的未来

相关文章

  1. 虚商须一个月内完成实名

    近日,工信部下发通知,要求虚拟运营商在1个月内对前期未实名登记、虚假登记的电话号码,完成用户身份信息补登等工作。备受争议的170号段的骚扰、诈骗电话有望从源头得到治理。 ...详情

  2. 天津建立上百“院士专家

    为帮助企业提升自主创新能力,助推企业转型升级,天津近年松灵棋牌来加大力度,积极帮助和引导两院院士在天津的科技型企业建立“院士专家工作站”,截至目前已建立上百个。   ...详情

  3. Windows 10装机量突破3.5亿

    松灵棋牌 北京时间6月29日晚间消息,微软今日宣布,Windows 10装机量已突破3.5亿台,距离Windows 10正式上市11个月。同时,微软还证 ...详情

  4. “种子银行”,如何拯救

    厚重的密闭门莹莹闪光、整齐的松灵棋牌格子标记划一、敦实的墙体展示着抗震力……除了“金库”的标配之外,这里还严格按照-2℃的温度、45%的湿度运行。7月底,科技日报记者走进 ...详情

  5. 马斯克:机器人时松灵棋

    据英国《每日邮报》报道,担任特斯拉、SolarCity和SpaceX三家公司CEO的埃隆马斯克表示,装备有人工智能的机器正在进入劳动力市场,对于人类来说,这很可能松灵棋牌意味着工作流失和 ...详情

  6. 华为软件开发云 驱动大

    【环球网科技 记者 张之颖】随着云计算市场不断发展,据IDC预测,到2020年,企业云端支出将占全球总体IT基础架构支出近50%。在这样的背景下,对应的是云服务商之间的竞争日趋激烈。 ...详情

  7. 奇幻无比!无人机航拍伊

    【环球无人机综合报道】据美国《连线》杂志2月2日报道,土耳其摄影师AYDIN BYKTAŞ利用无人机拍摄以及电脑软件后期处理让伊斯坦布尔的美景变成了过山车轨道。照片中的景象垂直向上 ...详情

在线评论

想说什么就说点什么吧! * 为必填字段

今日头条
  • 关于WannaCry勒索病毒 你需要知道的松灵棋牌8个问题-IT资讯网
    关于WannaCry勒索病毒 你需要

    近日来,WannaCry勒索病毒席卷全球,超过150个国家至少30万名用户中招,造成损失达80亿美元(约合人民币550亿元)。目前,多名网络安全专家指出,目前病毒事态只是由于多种原因而稍显缓 ...详情

  • 越南邀三星投资芯片厂 业内称建厂可能性几乎为零
    越南邀三星投资芯片厂 业内

    众所周知的是,近些年韩国三星电子将越南建设成为其最重要的电子制造基地,越南生产的智能手机、家用电器等数量越来越多。据外媒最新消息,不满足于电器制造的越南提出丰厚条 ...详情

  • 销量遇冷:日本人为什么不买特松灵棋牌斯拉?
    销量遇冷:日本人为什么不

    松灵棋牌  3月5日消息,据外媒报道,来自欧洲和日本的最新数据表明,特斯拉新车注册量正在急剧下滑。  挪威凭借其积极的电动汽车激励措施,始终是特斯拉的重要市场。2019年 ...详情

  • 反爬虫战争进行了十八年,但一切才刚刚开始
    反爬虫战争进行了十八年,

    在一大堆技术术语里,最为被普通人所熟知的大概就是爬虫了。其实爬虫这个名字就已经特别好地表现出了这项技术的作用像密密麻麻的虫子一样分布在网络上,爬行至每一个角落获取 ...详情

人气点击

+