数据爬虫的是与非：一文读懂运用爬虫技术的合规边界

利用爬虫技术，企业可以更加便捷与有针对性地从各个政府机构等公开信息披露的平台与网站采集可为己所用的公共数据，如启信宝、企查查、天眼查等网站便汇聚了大量来自全国各工商网站、各省社会组织信息网、各级人民银行官网等的企业信息与资讯，而这些信息与资讯经企业汇聚、整合与加工处理，形成企业的重要财富。但企业在使用公共数据进行商业化利用的过程中，如未尽必要注意义务导致原始数据主体合法权益受损的，将承担相应的法律责任。

正如蚂蚁金服等诉朗动科技商业诋毁及不正当竞争纠纷一案【3】判决所述，公共数据的使用需遵循“合法、必要、正当”原则，注重信息时效、保障信息质量和敏感信息校验等，否则将可能因不当利用而构成不正当竞争，该案中朗动科技运营的企查查正是因为发布和向特定用户推送了存在数据瑕疵的蚂蚁金服等的清算信息，对其收集利用的数据未尽必要注意义务，经法院审理认为其行为构成不正当竞争，最终被依法判决赔付蚂蚁金服等经济损失及合理费用60万元。

为限制第三方采用爬虫技术获取自身平台数据，不少网站会设置爬虫协议（又称“Robots协议”）。爬虫协议的核心功能在于声明网站上哪些内容可以爬取、哪些不可以，其并非法律意义上的协议，不具有强制力，可视为一种约定俗成的惯例和声明，技术突破并不困难但不遵守有可能承担法律责任。

如“大众点评”诉“百度地图”不正当竞争纠纷案【5】，法院认为汉涛公司（“大众点评”运营方）为了积累点评信息付出了巨额成本，点评信息是其核心竞争优势之一，用户在使用百度地图查阅商户信息和点评信息后已经无需再跳转至大众点评，故百度地图已对大众点评形成实质性替代，对汉涛公司造成了实质损害，最终判决百度公司停止不正当竞争行为，赔偿汉涛公司经济损失和合理损失323万元。

数据的商业化发展带来的不仅仅是便利，还有对个人信息与隐私的侵害。《网络安全法》《数据安全法》《个人信息保护法》中均严格要求企业依法依规处理个人数据。如《个人信息保护法》第66条中明确规定，如企业未能依照规定履行个人信息保护义务的，将面临警告、没收违法所得、责令暂停或终止提供服务、罚款、停业整顿、吊销相关业务许可或营业执照等处罚，企业的直接负责主管人员及其他指直接责任人员也将面临罚款、限期从业禁止等处罚。

如果企业通过绕行或强行突破反爬虫措施抓取个人数据，可能构成“窃取或以其他非法方式获取个人信息的违法行为”，情节严重的，可能构成侵犯公民个人信息罪；若未经数据主体同意向第三方提供的，还可能构成“提供公民个人信息”。

企业采用爬虫技术获取的数据形式多样，可能包括文字、图片、音频、视频等。而当抓取的数据内容落入我国著作权法的保护范畴，属于著作权法所保护的作品时，则企业采用爬虫技术获取相应数据的行为将可能侵犯相关权利人的著作权。

如针对部分数据设置了访问权限，仅有特定用户有权访问相关页面的情况下，企业采用的爬虫技术绕行或突破了该等限制即有可能构成侵权或违法犯罪行为。如进一步将前述访问限制数据进行存储、抹除署名信息或进行删改的，则还可能侵犯权利人的复制权、署名权、修改权。

根据《信息网络传播权保护条例（2013修订）》第4条规定，“为了保护信息网络传播权，权利人可以采取技术措施。任何组织或者个人不得故意避开或者破坏技术措施，不得故意制造、进口或者向公众提供主要用于避开或者破坏技术措施的装置或者部件，不得故意为他人避开或者破坏技术措施提供技术服务。但是，法律、行政法规规定可以避开的除外。”

如果企业采用爬虫技术获取相关数据后在自有平台上或与他人合作进行公开传播，还可能构成侵犯信息网络传播权。如“大众点评”诉“爱帮网”著作权侵权纠纷案件【10】中，法院认为具有独创性的点评内容可构成《著作权法》保护的作品，爱帮公司未经汉涛公司授权擅自将构成作品的点评内容刊登在“爱帮网”上，且使用比例较大，并构成了对“大众点评”的实质性替代，因而违反了著作权法的规定。

此外，企业采用爬虫技术获取的数据属于著作权法所保护的作品时，还可能构成侵犯著作权罪。如北京鼎阅文学信息技术有限公司等侵犯著作权罪案【11】中，被告单位未经权利人许可，利用爬虫技术爬取正版电子图书后在其运营推广的多个APP中展示供他人访问并下载阅读，通过广告收入、付费阅读等方式牟利。法院经审理认为被告单位采取爬虫技术抓取涉案电子图书行为非法，认定被告单位及其相关责任人以营利为目的，未经著作权人许可，复制发行他人享有著作权的文字作品，情节特别严重，其行为均已构成侵犯著作权罪，依法判处公司罚金150万元并判处被告人有期徒刑和罚金。

《网络数据安全管理条例（征求意见稿）》第17条第1款规定，“数据处理者在采用网络爬虫等自动化工具访问、收集数据时，应当评估对网络服务的性能、功能带来的影响，不得干扰网络服务的正常功能。”上海颁布实施的《企业数据合规指引》亦有相同规定。针对爬虫技术获取数据的手段，企业不仅需要事前开展，还需要定期检查和评估，并组织各业务部门、技术部门等，在外部的专业技术与法律团队的支持下协力完成。评估的内容包括：

评估围绕着是否采用爬虫技术访问、收集相关数据可能对拟抓取对象网站的性能、功能带来的影响及其程度进行。例如，针对频次问题，参考《数据安全管理办法（征求意见稿）》第16条规定，如当采用爬虫技术访问收集流量超过网站日均流量三分之一时，可能会被认为“严重影响网站运行”。

在我们办理的相关项目中，有的企业会在开展业务之前设计“合规替代方案”。例如，考虑将采取爬虫技术获取数据这一项工作“外包”给第三方企业或个人，认为此种方式可有效隔离法律风险。

事实上，基于企业是爬虫技术获取数据的最终使用者，当数据主体或权利人拟维护自身相关权益时，作为最终使用者的企业始终是数据主体或权利人的第一目标，“主体隔离”并不会降低企业可能面临的法律风险。同样地，采集其他国家网站数据也难以通过地域实现“风险隔离”；相反，当相关网站运营者依法维权时，企业还可能面临更加复杂的域外法律程序与更加高昂的诉讼支出。