本文字數(shù)：3277，閱讀時長約10分鐘

文 |王瓊飛

編輯 | 魯偉

步入大數(shù)據(jù)時代，網(wǎng)絡爬蟲由網(wǎng)頁爬取“進化”到數(shù)據(jù)爬取，尤其隨著大數(shù)據(jù)應用加速，數(shù)據(jù)的價值極具增加，并成為市場競爭的重要資源，惡意爬蟲爬取數(shù)據(jù)案件也在頻繁發(fā)生。

據(jù)不完全統(tǒng)計，自2016年至今，涉及網(wǎng)絡爬蟲的司法案件多達十余起，其中民事案件居多，包括2016年“車來了”APP爬取“酷米客”APP公交車行駛實時數(shù)據(jù)案、2017年脈脈非法抓取使用新浪微博用戶信息案、2017年今日頭條未經(jīng)授權(quán)移植新浪微博大V賬號內(nèi)容數(shù)據(jù)案、2019年刷寶APP爬取抖音APP短視頻及用戶評論數(shù)據(jù)案、2021年“極致了”網(wǎng)站爬取微信公眾號文章數(shù)據(jù)案等。

除了民事案件，因爬取個人信息數(shù)據(jù)涉及的刑事案件也呈增多趨勢，其中不乏數(shù)億級別的數(shù)據(jù)被爬取案件。比如，2021年6月，河南省商丘市睢陽區(qū)人民法院公布的刑事判決書顯示，逯某和黎某兩男子通過自己開發(fā)的爬蟲軟件，對淘寶實施了長達8個月的數(shù)據(jù)爬取，非法獲取近12億條用戶消息。

原本技術(shù)中立的“網(wǎng)絡爬蟲”卻因應用于數(shù)據(jù)爬取，有變成“害蟲”的威脅。惡意爬蟲在輕易爬取數(shù)據(jù)時，未經(jīng)授權(quán)抓取、突破Robots協(xié)議、同行業(yè)間數(shù)據(jù)爬取，往往是典型情形。網(wǎng)絡爬蟲的法律邊界在哪里？數(shù)據(jù)企業(yè)如何保護自身合法權(quán)益？如何規(guī)制惡意爬蟲抓取數(shù)據(jù)亂象，引導行業(yè)合規(guī)健康發(fā)展？這是已經(jīng)進入大數(shù)據(jù)時代后，行業(yè)參與者亟待解答的問題。

01

未經(jīng)授權(quán)爬取數(shù)據(jù)涉嫌不正當競爭

政策加持讓數(shù)據(jù)迎來高光時刻。2020年4月9日，《中共中央國務院關于構(gòu)建更加完善的要素市場化配置體制機制的意見》正式發(fā)布，將數(shù)據(jù)作為一種新型生產(chǎn)要素。

然而，涉及數(shù)據(jù)權(quán)利的配套制度法規(guī)還未出臺，非法數(shù)據(jù)爬蟲已經(jīng)襲來。2014年，因認為脈脈未經(jīng)用戶允許和微博平臺授權(quán)，非法抓取、使用新浪微博用戶信息，非法獲取并使用脈脈注冊用戶手機通訊錄聯(lián)系人與微博用戶的對應關系，新浪微博將脈脈訴至法院。該案也被稱為首例大數(shù)據(jù)不正當競爭糾紛案。

2016年，北京市海淀區(qū)人民法院（下稱“北京海淀法院”）一審認為，網(wǎng)絡平臺可以就他人未經(jīng)許可擅自使用其經(jīng)過用戶同意收集并使用的用戶數(shù)據(jù)信息主張權(quán)利。2017年，北京知識產(chǎn)權(quán)法院終審認定，脈脈未經(jīng)用戶允許和微博平臺授權(quán)，非法抓取、使用新浪微博用戶信息，構(gòu)成不正當競爭。

未經(jīng)授權(quán)和超出授權(quán)范圍使用成為上述案件判決的重要考量因素。北京知識產(chǎn)權(quán)法院認為，作為第三方開發(fā)者通過Open API獲得用戶信息時必須遵循“用戶授權(quán)+平臺授權(quán)+用戶授權(quán)”，即用戶同意平臺向第三方提供信息，平臺授權(quán)第三方獲取信息，用戶再次授權(quán)第三方使用信息，而且用戶的同意必須是具體的、清晰的，是用戶在充分知情的前提下自由作出的決定。這也被行業(yè)稱為“三重授權(quán)原則”。

“三重授權(quán)原則”對后續(xù)案件影響重大，并成為第三方爬取、使用數(shù)據(jù)的大前提。然而，惡意爬蟲往往越過紅線。現(xiàn)實中，數(shù)據(jù)爬取多發(fā)生在電商領域和內(nèi)容平臺，以內(nèi)容平臺為例，2021年9月，杭州互聯(lián)網(wǎng)法院審理斯氏(杭州)新媒體科技有限公司（下稱“斯氏公司”）爬取微信公眾號平臺數(shù)據(jù)案時認為，斯氏公司運營的“極致了”網(wǎng)站違背誠實信用原則，擅自使用其他經(jīng)營者征得用戶同意、依法匯集且具有商業(yè)價值的數(shù)據(jù)，構(gòu)成不正當競爭。

尤其在數(shù)字內(nèi)容領域，數(shù)據(jù)是內(nèi)容產(chǎn)業(yè)的核心競爭資源，內(nèi)容平臺經(jīng)過匯總分析處理后的數(shù)據(jù)往往具有極高的經(jīng)濟價值。如果要求內(nèi)容平臺經(jīng)營者將其核心競爭資源向競爭對手無限開放，不僅損害創(chuàng)作者的創(chuàng)作環(huán)境，使得社會整體內(nèi)容生產(chǎn)萎靡，消費者對優(yōu)質(zhì)內(nèi)容的需求也就無從保障，而且有違“互聯(lián)互通”的精神實質(zhì)，不利于優(yōu)質(zhì)內(nèi)容的不斷更迭和互聯(lián)網(wǎng)產(chǎn)業(yè)的持續(xù)發(fā)展。

02

突破Robots協(xié)議違背商業(yè)道德

在涉及網(wǎng)絡爬蟲的案件中，Robots協(xié)議是繞不開的話題。Robots協(xié)議的全稱是“網(wǎng)絡爬蟲排除標準”，網(wǎng)站通過Robots協(xié)議明確警示搜索引擎哪些頁面可以爬取，哪些頁面不能爬取，類似于行業(yè)的“君子協(xié)定”。

按照Robots協(xié)議規(guī)則，搜索引擎會按照每個網(wǎng)站主給予自己的權(quán)限來抓取。實踐中可以發(fā)現(xiàn)，通過百度搜索引擎無法搜索到淘寶網(wǎng)的信息，可以搜索到京東商城的商品信息，原因是2008年淘寶禁止百度爬蟲，而京東商城則沒有對百度爬蟲說“不”。這其中的原因，和淘寶、京東的流量入口選擇和商業(yè)利益考量密切有關。

淘寶網(wǎng)禁止百度爬蟲Baiduspider訪問自己網(wǎng)站

但Robots協(xié)議并非強制性規(guī)定，在商業(yè)利益驅(qū)動下，網(wǎng)絡爬蟲與反爬取方之間更像是一場攻防戰(zhàn)，一些網(wǎng)絡平臺的惡意爬蟲不惜冒著風險主動出擊，突破Robots協(xié)議，而被爬取方只能在技術(shù)上被動防守，并通過求助司法訴訟主動維權(quán)。

在這場攻防戰(zhàn)中，也不乏互聯(lián)網(wǎng)領域知名企業(yè)的身影，其中，新浪微博和今日頭條間的矛盾沖突就不止一次出現(xiàn)。

2017年，因認為今日頭條未經(jīng)授權(quán)抓取新浪微博賬號內(nèi)容，新浪微博將今日頭條訴至法院。2021年5月17日，該不正當競爭糾紛案落槌，北京海淀法院一審判定，未獲平臺授權(quán)第三方不得抓取用戶內(nèi)容，今日頭條的母公司字節(jié)跳動通過類似“復制粘貼”的方式對新浪微博內(nèi)容進行大規(guī)模移植，有針對性地將新浪微博的內(nèi)容移植至今日頭條，構(gòu)成不正當競爭，賠償新浪微博2000萬元。

字節(jié)跳動轉(zhuǎn)而起訴新浪微博通過Robots協(xié)議禁止頭條搜索的爬蟲，構(gòu)成不正當競爭。該案經(jīng)歷一審敗訴，二審反轉(zhuǎn)的劇情。2021年10月8日，北京市高級人民法院終審認為，網(wǎng)絡平臺通過Robots協(xié)議對網(wǎng)絡爬蟲進行限制是網(wǎng)絡經(jīng)營者經(jīng)營自主權(quán)的一種體現(xiàn)。Robots協(xié)議在某種意義上已經(jīng)成為維系企業(yè)核心競爭力，維系市場有序競爭的一種手段，應當允許網(wǎng)站經(jīng)營者通過Robots協(xié)議對其他網(wǎng)絡機器人的抓取進行限制。

值得一提的是，通過Robots協(xié)議對網(wǎng)絡爬蟲進行限制并不違背互聯(lián)網(wǎng)行業(yè)的商業(yè)道德。在互聯(lián)網(wǎng)行業(yè)中，除了新浪微博通過Robots協(xié)議限制爬蟲抓取，包括字節(jié)跳動在內(nèi)的互聯(lián)網(wǎng)公司均會通過Robots協(xié)議來明示禁止抓取的內(nèi)容。

03

司法裁判指導數(shù)據(jù)合規(guī)

非法爬取數(shù)據(jù)案件背后，惡意爬蟲所建立的數(shù)據(jù)服務往往與被爬取方形成直接的競爭關系，甚至形成某種替代關系。

法院在案件裁判中也明確，互聯(lián)網(wǎng)領域中消費者福利的增加，不是通過數(shù)據(jù)爬取對數(shù)據(jù)進行明顯替代性或同質(zhì)化地利用。非法爬蟲不勞而獲地爬取數(shù)據(jù)，獲得競爭權(quán)益等行為，顯然具有“搭便車”的不正當性。比如，在“極致了”網(wǎng)站爬取微信公眾號數(shù)據(jù)案中，法院認定，“極致了”網(wǎng)站違背誠實信用原則，擅自使用其他經(jīng)營者征得用戶同意、依法匯集且具有商業(yè)價值的數(shù)據(jù)，并實質(zhì)性替代其他經(jīng)營者提供的部分產(chǎn)品或服務，損害公平競爭的市場秩序。

同時，法院在認定數(shù)據(jù)企業(yè)享有數(shù)據(jù)競爭權(quán)益時，也把數(shù)據(jù)企業(yè)對收集、整理時付出的人力物力財力等經(jīng)營成本作為重要考慮因素。比如，在抖音起訴刷寶爬取數(shù)據(jù)案件中，法院認為，微播公司（抖音APP的開發(fā)者和運營者）投入相應的人力、財力成本，通過正當合法的經(jīng)營積累用戶和短視頻內(nèi)容。刷寶APP在未投入相應成本的情況下，直接獲取視頻資源、評論內(nèi)容，掠奪微播公司的經(jīng)營成果，損害了抖音的合法權(quán)益，構(gòu)成不正當競爭。

研讀案件裁判思路不難發(fā)現(xiàn)，當數(shù)據(jù)企業(yè)面臨未經(jīng)授權(quán)的惡意爬取時，司法機關也在不斷探索數(shù)據(jù)權(quán)益保護路徑，定紛止爭。在已有的司法判決中，法院對數(shù)據(jù)企業(yè)所享有的正當權(quán)益持肯定態(tài)度。數(shù)據(jù)企業(yè)的數(shù)據(jù)權(quán)利在遭受他人侵害時有權(quán)要求侵權(quán)人承擔侵權(quán)責任，包括在他人未經(jīng)許可而竊取數(shù)據(jù)時，有權(quán)要求侵權(quán)人停止侵害、刪除非法竊取的數(shù)據(jù)；在侵權(quán)人因故意或過失造成損害時，有權(quán)要求侵權(quán)人承擔侵權(quán)賠償責任。

此外，從市場經(jīng)濟發(fā)展的角度來看，如果數(shù)據(jù)從業(yè)者尤其是數(shù)據(jù)企業(yè)對于自己收集、存儲的數(shù)據(jù)無法合理有效地控制，爬蟲可以任由抓取，來去自如，數(shù)據(jù)企業(yè)顯然就沒有動力投入成本去收集、存儲以及利用海量數(shù)據(jù)，進而挖掘數(shù)據(jù)中蘊涵的巨大價值，更不可能研發(fā)更多的數(shù)據(jù)產(chǎn)品，數(shù)據(jù)產(chǎn)業(yè)的發(fā)展與大數(shù)據(jù)時代也就無從談起。

當前，雖然法律尚未對數(shù)據(jù)權(quán)利進行界定，但司法實踐中日漸增多的行業(yè)案例，其中，數(shù)據(jù)“權(quán)利”或“權(quán)益”并非完全無法界定，“用權(quán)”的合法事實和情景，“授權(quán)”鏈條相對清晰，且已經(jīng)得到相當程度認可，尤其是司法審判對于數(shù)據(jù)權(quán)利部分的探索和認定，將對指導數(shù)據(jù)企業(yè)開展數(shù)據(jù)合規(guī)提供諸多參考和借鑒。

作者為浙江墾丁律師事務所創(chuàng)始合伙人、浙江省法學會競爭法學研究會理事

關鍵詞： 數(shù)據(jù) robots 爬蟲 用戶 網(wǎng)絡爬蟲 惡意 案件 協(xié)議 司法 經(jīng)營者