网络爬虫的数据合规丨爬虫协议及数据爬取行为的法律性质

• 某制造网Robots协议示例

User-agent: *

Disallow: /*.do$

Disallow: /*.do?

Disallow: /*.action$

Disallow: /*.action?

Disallow: /sendInquiry/

Disallow: /browsing-history/

Disallow: /advanced-search/

Disallow: /member/

Disallow: /rss/

Disallow: /ad?url=

Disallow: /cs/

Disallow: /products-search/find-china-products/*-1.html

Disallow: /errorDocs/

Disallow: /multi-search/

Disallow: */recommend/alsoLiked/*

Disallow: /showroom/*/prod-question-count

Disallow: /dt/

Disallow: /join/?sourceType

Disallow: /start-order.html?from=

Disallow: /go/

Disallow: /company-search/

User-agent: SemrushBot

Disallow: /

作为一种单方宣示意义上的行为指南，爬虫协议具有区别于一般合同的典型特征。作为一种技术规范，其作用仅在于标示该网站是否准许爬虫访问、准许哪些爬虫访问，但爬虫识别该协议后，无论是否遵守，爬虫协议都不会起到强制禁止访问的结果。

在学理层面，有学者提出爬虫协议具有三个特征：其一，技术性，是由搜索引擎中的计算机软件所识别、阅读的技术文档，基本功能是解决技术问题，而非分配权利义务；其二，非强制性，其存在或生效与否，不影响网站信息的公开，也不会对搜索引擎的访问行为带来技术上的障碍；其三，竞争性，相关各方主体往往将其用作竞争工具。有学者进一步指出，爬虫协议在法律定性上系权利声明或单方意思表示，它是ICP等数据控制方的单方意思表示，必须与某种具体的实体权利相结合并以之为依托方可充分发挥其作用，脱离该实体权利的爬虫协议将丧失其针对爬虫程序的效力。

在实务层面，北京市第一中级人民法院曾在百度公司诉奇虎公司不正当竞争纠纷案中，对爬虫协议的性质做出如下评述：

第一，技术规范。Robots协议虽然名为“协议”，但仅是一种网站程序编写的技术规范，旨在通过程序代码标示是否准许搜索引擎爬虫机器人访问、准许哪些搜索引擎爬虫机器人访问，其并非法律意义上的协议或者合同。

第二，单方宣示。Robots协议是由网站服务商或所有者在编写网站程序时自行编写，并不事先征求搜索引擎服务商或网络用户的意见，其具体内容并非网站服务商或所有者与搜索引擎服务商达成的一致。

第三，非技术措施。Robots协议作为一种技术规范，其作用只在于标示该网站是否准许搜索引擎爬虫机器人访问、准许哪些搜索引擎爬虫机器人访问，但爬虫机器人识别该Robots协议的内容后，无论爬虫机器人是否遵守，Robots协议都不会起到强制禁止访问这一技术措施的作用。

第四，普遍遵守。在Robots协议出现的上世纪九十年代，由于互联网刚刚出现，只有较少的技术人员掌握互联网技术，所以当上述技术人员提出和发起了Robots协议的时候，相当于形成了本领域内的行业共识。时值今日，虽然互联网技术已经极大普及，但作为一种对本领域技术人员通俗易懂、操作简便的技术规范，Robots协议已经成为了一种国内外互联网行业内普遍通行、普遍遵守的技术规范，国内外由于搜索引擎拒绝遵守Robots协议而引起的纠纷甚为少见。

在具体操作方面，网站服务商或所有者可以在Robots协议中列明准许其爬虫机器人访问的名单，其他爬虫机器人均不许访问，即白名单制度；亦可列明不准其爬虫机器人访问的名单，其他爬虫机器人均可以访问，即黑名单制度。

在数据处理活动中，数据流通机制通常包含两种路径：一是多方基于合同安排，通过“开放应用端口”（open API）进行的数据共享；二是一方通过爬虫软件自动抽取他方数据库数据，其表现为“网页抓取”（web scraping）、“屏幕抓取”（screen scraping）等数据爬取形式。

数据爬取作为数据流通的一种手段，行为本身不具备可责性。这不仅仅是“技术中立”之说辞的万能解释，更重要的原因在于，蕴含于数据爬取中的——数据自由流通——是数字经济社会倡导的重要价值。作为一种新型生产要素，数据价值的发掘有赖于数量上的规模（volume）、类型上的多样（variety）和流通上的高速（velocity）。

进入超数据时代，大数据还表现出了新的特征。一是交织性（Hybrid）。数据碎片化分布在信息空间、物理世界和人类社会三元空间中，客观事物在不同空间留下了碎片化、不完整的数字足迹。为了全面刻画事物全貌，需要充分发掘和利用三元空间的交织性与互补性，对碎片化数据实现优质聚合。二是超维性（Hyper）。数据片段之间的关联关系空前复杂多变。在三元空间中，单一空间中的数据只能反映事物某一方面的特征，只有融合三元空间的关联数据，对各类数据、信息实现高效的整合，才能解决人类科学与知识探索中“盲人摸象”的问题。因而，数据自由流通原则已经被国际规则和各国法律所认可。我国《数据安全法》第七条亦明文规定“鼓励数据依法合理有效利用，保障数据依法有序自由流动”。

实务中，企业因数据爬取行为产生的争议解决，焦点不在于爬虫技术本身，而在于使用该技术突破行为正当性边界，进而可能产生的不正当竞争、侵害公民个人信息或者非法侵入计算机信息系统等问题中。

分析基于数据爬取行为产生的案件纠纷，常见的突破正当性边界的爬虫行为主要有：

其一，大量爬取并使用被爬取网站的相关信息，实质性地替代了被爬取网站向用户提供服务，对其造成实质损害，比如本章所示的关于点评网的数据爬取行为。

其二，抓取太快或过于频繁易导致被爬取网站拥堵，甚至服务器瘫痪，影响该网站正常运行和数据的顺畅流通。

其三，抓取网站管理后台等敏感数据，甚至会爬取到敏感个人信息或企业商业秘密。

其四，抓取行为对网上投票、订票业务等场景造成冲击，出现虚假“刷票”或“黄牛”抢票等有违公平的结果。

回到数据爬取行为的定性上，作为一种单方的非合意的数据流通行为，其本身不具备违法性和可责性。正如最高人民法院在某技术秘密纠纷的判决书中所指出：“即使爬虫技术曾被用于违法活动，但并不等于该项技术本身具有违法性。”

由此可见，提到爬虫就想到坐牢，实属想当然的误解。但为何在网络爬虫的实务活动中，对其监管和法律规制往往伴随着法律责任的承担，甚至是刑事责任呢？这关乎我国现行法律框架下，对网络爬虫的法律规制方式，即基于竞争法、著作权法和刑法进行的规制。我们将在下一篇文章详细展开。