网络爬虫的数据合规丨现行法律制度对爬虫行为的监管规制

爬虫技术客观上实现数据流通与共享，也引发了一系列法律问题。其中，既包含民法领域的财产保护、隐私保护，个人信息领域的个人信息权益保护，也包含竞争法领域的不正当竞争，此外还涉及刑法领域的侵犯公民个人信息或非法获取计算机系统数据等。数据爬取行为从民事违法到刑事入罪，可能涉及侵犯多个法益，引发法律适用的竞合。在我国现行法律的制度框架下，对数据爬取行为主要有竞争法、著作权法和刑事法三方面的法律规制。

实务中，企业因数据爬取行为引发的案件纠纷，大多集中在反不正当竞争法领域，且多集中于互联网行业。我国现行法律法规包括《反不正当竞争法》，均未对数据爬取行为的性质予以明确规定。

现有裁判案例中，法院大多援引《反不正当竞争法》第二条和第十二条对案件作出裁判，且第二条即原则性的“一般条款”，适用概率明显高于第十二条。^【1】“一般条款”的适用由于缺乏明确的构成要件或行为规则，在判断数据爬取行为的正当性边界上，并无清晰标准。即使对于《反不正当竞争法》第十二条，所谓“互联网专条”，也并不能很好地对实务中行为的正当或违法与否，作出明晰判断。

有学者进一步指出，《反不正当竞争法》第十二条，对互联网领域利用技术实施的不正当竞争行为进行了类型化处理，但是在适用于数据爬取纠纷案件时，囿于该专条对行为属性的描述缺乏明确性；比如，何谓“恶意”“不兼容”“妨碍、破坏”等；对不断涌现的新型行为缺乏周延性，比如，哪些是“合法提供的网络产品或者服务”，如何界定“正常运行”的内涵及形态等，都致该专条适用率不高。即便是在适用该专条进行裁判，也只是适用其第1款概括性条款，或第2款第4项的兜底条款。^【2】

由此可见，对数据爬取行为在竞争法规制视野下的违法性行为模式，判断标准仍需进一步明确。

此外，在数据爬取行为的既有判决中，基于适用《反不正当竞争法》第二条进行裁判，还可能存在司法实践中同案不同判的风险。在百度公司与奇虎公司的不正当竞争纠纷二审判决中，北京市高级人民法院认定百度通过robots协议限制 360搜索引擎抓取网页内容的行为，是将其他经营者区别对待，此种有针对性、歧视性的设置方式，有违公平竞争原则，构成不正当竞争违法。

法院在该案判决书中说理引入了对社会公共利益的衡量：百度在线公司和百度网讯公司对robots协议的利用方式，是将其他经营者区别对待，此种有针对性、歧视性的设置方式，有违公平竞争原则，该行为不仅损害与其存在竞争关系的奇虎公司的利益，也损害了相关消费者的利益。此种行为与互联网发展普遍遵循的开放、平等、协作、分享原则不符，若任由其发展，可能导致同行业经营者的效仿，将使原本遵循互联、互通、共享、开放精神的互联网变成信息相互隔绝、无法自由流动的信息“孤岛”，将有碍互联网功能的正常发挥，对互联网竞争秩序造成破坏，从而有损社会公共利益。^【3】

然而，在微梦公司与字节跳动的不正当竞争纠纷一审判决中，北京市海淀区人民法院认定微梦公司投入的经营资源和服务增加了消费者的福利，帮助公司建立了市场竞争优势，本质上是竞争性权益，字节跳动将抓取的新浪微博内容直接用于“微头条”的行为，构成不正当竞争。

北京市高级人民法院在微梦公司与字节跳动不正当竞争纠纷的二审判决中指出：反不正当竞争法不是权益保护法，其对互联网行业的竞争行为进行规制时不应过多考虑静态利益和商业成果，而应立足于竞争手段的正当性和竞争机制的健全性，更应考虑市场竞争的根本目标。对于网站经营者通过robots协议限制其他网站网络机器人抓取的行为，不应作为一种互联网经营模式进行绝对化的合法性判断，而应结合robots协议设置方与被限制方所处的经营领域和经营内容、被限制的网络机器人应用场景、robots协议的设置对其他经营者、消费者以及竞争秩序的影响等多种因素进行综合判断。根据前述分析，本案被诉行为应被认定为行使企业自主经营权的行为，但这并不意味着对于互联网企业所设置的任何robots协议，均能够基于企业自主经营权而当然地认定其具有正当性。^【4】

两个案件均关于数据爬取行为涉不正当竞争，但法院判决结果迥异——分别支持了数据爬取方和数据被爬取方，且说理充分。

由此可见，在缺乏对数据爬取行为正当性模式明晰界定的情况下，类案裁判因采纳的价值立场不同，会极大影响对案件实体结果的判断。当前，对数据爬取行为的竞争法规制，价值立场是采取经营者权益优先，还是消费者福利和市场竞争秩序优先，甚至综合考虑国家利益和公共利益，从学理层面到实务层面，尚存在较大争议。

企业采用爬虫技术获取的数据内容多样，可能包括文字、图片、音频、视频等。当爬取的数据内容落入《著作权法》的保护范畴，即属于著作权法所保护的作品时，则数据爬取行为可能侵犯相关权利人的著作权。比如，网站针对部分数据设置了访问权限，仅有特定用户有权访问相关页面的情况下，企业采用爬虫技术绕行或突破该等限制即可能构成违法违规行为。如进一步将前述访问限制数据进行存储、抹除署名信息或进行删改的，还可能侵犯权利人的复制权、署名权、修改权。

《信息网络传播权保护条例（2013修订）》第四条规定，“为了保护信息网络传播权，权利人可以采取技术措施。任何组织或者个人不得故意避开或者破坏技术措施，不得故意制造、进口或者向公众提供主要用于避开或者破坏技术措施的装置或者部件，不得故意为他人避开或者破坏技术措施提供技术服务。但是，法律、行政法规规定可以避开的除外。”如果企业采用爬虫技术获取相关数据后，在自有平台上或与他人合作进行公开传播，可能构成侵犯信息网络传播权。

在大众点评诉爱帮网著作权侵权纠纷案件中，法院认为具有独创性的点评内容可构成《著作权法》保护的作品，爱帮公司未经汉涛公司授权擅自将构成作品的点评内容刊登在爱帮网上，且使用比例较大，并构成了对大众点评的实质性替代，因而违反了著作权法的规定，被认定构成侵犯信息网络传播权，裁判爱帮公司连续二十四小时发布声明，消除其虚假宣传造成的不良影响，赔偿经济损失及诉讼合理开支共计五十万元等。^【5】

此外，采用爬虫技术获取的数据属于著作权法所保护的作品时，还有可能构成侵犯著作权罪。比如，在北京鼎阅文学信息技术有限公司等侵犯著作权罪案中，被告单位未经权利人许可，利用爬虫技术爬取正版电子图书后在其运营的多个APP中展示供他人访问并下载阅读，通过广告收入、付费阅读等方式牟利。

法院经审理认为，被告单位采取爬虫技术抓取涉案电子图书行为非法，认定被告单位及其相关责任人以营利为目的，未经著作权人许可，复制发行他人享有著作权的文字作品，情节特别严重，其行为均已构成侵犯著作权罪，依法判处公司罚金150万元并判处被告人有期徒刑和罚金。^【6】

刑事法视野下规制网络爬虫行为，常见如下几个罪名：侵犯公民个人信息罪，非法侵入计算机信息系统罪，非法获取计算机信息系统数据、非法控制计算机信息系统罪，提供侵入、非法控制计算机信息系统程序、工具罪。^【7】近年来，随着数据安全和个人信息保护理念的提升，以及数据黑灰产交易和个人信息权益侵害的问题日益凸显，实务领域对网络爬虫的规制，逐渐由民事领域的竞争法规制转向刑事法规制。

2017年，全国首例数据爬取行为入罪案，展现了对数据爬取行为的法律评价，从民事违法到刑事入罪的变化。2016年至2017年间，被告人张某、宋某、侯某作为被告单位晟品公司的主管人员，在上海共谋采用技术手段抓取被害单位字节跳动服务器中存储的视频数据，并由侯某指使被告人郭某破解字节跳动的防抓取措施、使用“tt_spider”文件实施视频数据抓取行为，造成被害单位损失技术服务费人民币2万元。

法院经审理认为，晟品公司违反国家规定，采用技术手段获取计算机信息系统中存储的数据，情节严重，其行为已构成非法获取计算机信息系统数据罪，应予惩处，最终判决晟品公司犯非法获取计算机信息系统数据罪，判处罚金人民币二十万元；四名被告人分别处于公司法定代表人、CEO、CTO和爬虫工程师的职位，分别被判处有期徒刑9个月至1年不等，并处罚金。^【8】

2021年，备受关注的魔蝎科技爬虫案宣判，更为聚焦地体现了我国对网络爬虫刑法规制趋于严厉的态势。2016年初，被告单位魔蝎公司与各网络贷款公司、小型银行进行合作，为其需要贷款的用户提供个人信息及多维度信用数据。魔蝎公司将其开发的前端插件嵌入上述网贷平台中，在用户使用网贷平台的APP借款时，需要在魔蝎公司提供的前端插件上，输入其通讯运营商、社保、公积金、征信中心等网站的账号、密码。经用户授权后，魔蝎公司的爬虫程序代替用户登录网站，进入其个人账户，利用各类爬虫技术，爬取网站上贷款用户本人账户内的通话记录、社保、公积金等各类数据，提供给网贷平台用于判断用户的资信情况，并从网贷平台获取每笔0.1元至0.3元不等的费用。

法院经审理认为，魔蝎公司以其他方法非法获取公民个人信息，情节特别严重，构成侵犯公民个人信息罪，判处罚金人民币3000万元，没收违法所得3000万元，并对其法定代表人和技术负责人分别判处有期徒刑三年，并处罚金。^【9】

值得注意的是，《刑法》第二百五十三条之一的侵犯公民个人信息罪和第二百八十五条第二款的非法获取计算机信息系统数据罪，二者是法条竞合的关系。有学者指出，采用爬虫行为侵入他人计算机信息系统并窃取其中数据的，是否一律构成非法获取计算机信息系统数据罪，要看行为人所获取的信息性质。

公民个人信息也是数据的一种，但我国《刑法》以第二百五十三条之一对公民个人信息予以特别保护。于此，侵犯公民个人信息罪是特别法，非法获取计算机信息系统数据罪是普通法，根据特别法优于普通法的法条竞合处理原则，非法获取的信息是公民个人信息的，应构成我国《刑法》第二百五十三条之一的侵犯公民个人信息罪;；非法获取的信息是公民个人信息之外的其他信息的，则构成我国《刑法》第二百八十五条第二款的非法获取计算机信息系统数据罪。^【10】

以上，是我国当前法律制度对数据爬取行为在竞争法、著作权法和刑事法三方面的法律规制，也是实务中企业使用爬虫技术容易出现争议或违规的方面。下一篇文章，我们将聚焦在对爬虫行为的监管中，如何平衡竞争性利益保护和开放互联网之公共利益。