唐林垚:“脫離算法自動(dòng)化決策權(quán)”的虛幻承諾
原創(chuàng) 唐林垚 上海市法學(xué)會(huì) 收錄于話(huà)題#法學(xué)47#核心期刊47#原創(chuàng)首發(fā)47#東方法學(xué)5
唐林垚 中國(guó)社會(huì)科學(xué)院法學(xué)研究所助理研究員,法學(xué)博士、博士后。
內(nèi)容摘要
歐盟《通用數(shù)據(jù)保護(hù)條例》(GDPR)第22條應(yīng)作權(quán)利而非禁令解,由此產(chǎn)生的“脫離自動(dòng)化決策權(quán)”存在與“更正權(quán)”競(jìng)合之表象、與“獲解釋權(quán)”補(bǔ)強(qiáng)之曲解以及與“被遺忘權(quán)”混同之誤判。界定該權(quán)利應(yīng)把握兩條主線(xiàn):(1)GDPR序言第71條賦予數(shù)據(jù)主體的三種基本權(quán)利乃相互并列而非互為因果;(2)權(quán)利內(nèi)涵隨技術(shù)發(fā)展嬗變,在基于數(shù)據(jù)庫(kù)編碼的計(jì)算機(jī)自動(dòng)化場(chǎng)景為脫離數(shù)據(jù)采集,在基于機(jī)器學(xué)習(xí)的算法自動(dòng)化場(chǎng)景為脫離用戶(hù)側(cè)寫(xiě),在基于神經(jīng)網(wǎng)絡(luò)的超級(jí)自動(dòng)化場(chǎng)景為脫離平臺(tái)交互。破除權(quán)利失語(yǔ)的關(guān)鍵在于適用條件去場(chǎng)景化以及自甘風(fēng)險(xiǎn)式的豁免進(jìn)路讓位于實(shí)現(xiàn)公共利益所必須的法定許可。若不囿于既定框架,陳情權(quán)和離線(xiàn)權(quán)的重構(gòu)思路各有合理之處,但應(yīng)防范可能產(chǎn)生過(guò)高的社會(huì)成本。
關(guān)鍵詞:脫離自動(dòng)化決策權(quán) 更正權(quán) 獲解釋權(quán) 被遺忘權(quán) 豁免規(guī)則 自甘風(fēng)險(xiǎn)
自動(dòng)化決策是與自然人決策相對(duì)立的概念,意指利用計(jì)算機(jī)技術(shù)(1980-2000)、算法程序(2000-2020)、深度學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)(2020+)替代自然人處理關(guān)鍵數(shù)據(jù),憑借其自動(dòng)生成對(duì)數(shù)據(jù)主體具有法律效果的決策的行為。歐盟《通用數(shù)據(jù)保護(hù)條例》(下簡(jiǎn)稱(chēng)GDPR)第22條第1款允許數(shù)據(jù)主體“脫離自動(dòng)化決策”,國(guó)內(nèi)主流學(xué)者將其翻譯為“反對(duì)自動(dòng)化決策”或“不受自動(dòng)化處理的決定的限制”,但依照原文“有權(quán)不成為自動(dòng)化決策支配對(duì)象(not to be subject to a decision d solely on automated processing)”之表述,將其譯為“脫離自動(dòng)化決策”更為妥當(dāng)。第22條第1款雖然在文義上賦予了數(shù)據(jù)主體脫離完全依靠自動(dòng)化處理對(duì)其做出的具有法律后果決策的權(quán)利,可是具體該如何脫離、能夠脫離到何種程度,僅憑第22條無(wú)從知曉。
我國(guó)雖未進(jìn)行相關(guān)法律移植,但在實(shí)踐中以行勝于言的方式,一定程度上實(shí)現(xiàn)了上述“脫離自動(dòng)化決策權(quán)”的精神內(nèi)涵。一個(gè)貼切的例子是:政府部門(mén)允許個(gè)人在健康碼的結(jié)果同實(shí)際情況不符時(shí),撥打12345熱線(xiàn)發(fā)起糾錯(cuò)申請(qǐng),經(jīng)縣級(jí)防控指揮部核實(shí)確認(rèn)后,即可修改風(fēng)險(xiǎn)判定結(jié)果。該實(shí)例向我們充分展示了三個(gè)深刻的現(xiàn)實(shí):其一,在疫情防控常態(tài)化的背景之下,數(shù)據(jù)主體與自動(dòng)化決策“脫鉤”將寸步難行,即便行使了“脫離自動(dòng)化決策權(quán)”,也不過(guò)是對(duì)不公正結(jié)果的暫時(shí)糾偏,不能、也不可能完全脫離自動(dòng)化決策;其二,即便效果有限,“脫離自動(dòng)化決策權(quán)”也是一種值得保護(hù)的法律權(quán)利,因?yàn)闊o(wú)論自動(dòng)化技術(shù)有多么先進(jìn),出錯(cuò)在所難免,此時(shí),適當(dāng)?shù)娜斯そ槿肽藬?shù)據(jù)主體脫離自動(dòng)化決策失誤的補(bǔ)救之道;其三,“脫離自動(dòng)化決策權(quán)”是一種頗為特殊的權(quán)利,有著不同于一般請(qǐng)求權(quán)的行使要件和適用場(chǎng)景。例如,GDPR第16條規(guī)定了數(shù)據(jù)主體的“更正權(quán)”,允許數(shù)據(jù)主體在不違反處理目的的前提下,完善或更正不充分的個(gè)人數(shù)據(jù)。我國(guó)網(wǎng)絡(luò)安全法也有類(lèi)似的規(guī)定,且被最新頒布的民法典所吸納,成為人格權(quán)編中的重要條款。似乎,撥打12345發(fā)起健康碼糾錯(cuò)申請(qǐng),是當(dāng)事人在行使法定的更正權(quán)。對(duì)此,需要厘清的是,無(wú)論是歐盟還是我國(guó),數(shù)據(jù)主體行使更正權(quán)可以更正的對(duì)象,只能是個(gè)人數(shù)據(jù)而非數(shù)據(jù)經(jīng)自動(dòng)化處理后產(chǎn)生的決策結(jié)果,兩者有著指向性的區(qū)別。就行權(quán)擬取得的法律效果而言,“更正權(quán)”甚至算不上最低程度的“脫離自動(dòng)化決策權(quán)”。
在自動(dòng)化應(yīng)用結(jié)構(gòu)性嵌入社會(huì)運(yùn)營(yíng)的大趨勢(shì)下,“脫離自動(dòng)化決策權(quán)”絕非請(qǐng)求人工介入、修改決策結(jié)果這么簡(jiǎn)單,否則GDPR第22條大費(fèi)周章、甚至有些迂回曲折的立法嘗試將毫無(wú)必要。“脫離自動(dòng)化決策權(quán)”的內(nèi)涵和外延究竟是什么?與GDPR保障數(shù)據(jù)主體的其他權(quán)利有何關(guān)聯(lián)和區(qū)別?正確理解“脫離自動(dòng)化決策權(quán)”背后的核心價(jià)值與理論基礎(chǔ),將對(duì)我國(guó)未來(lái)人工智能立法帶來(lái)重要啟示。
一
從DPID到GDPR:歷史沿革與理論爭(zhēng)議
“脫離自動(dòng)化決策權(quán)”并非GDPR首創(chuàng),始見(jiàn)于1995年歐盟《個(gè)人數(shù)據(jù)保護(hù)指令》(下簡(jiǎn)稱(chēng)DPID)第15條第1款:“數(shù)據(jù)主體享有免受基于用戶(hù)側(cè)寫(xiě)的完全自動(dòng)化決策的權(quán)利”。該權(quán)利的行使以?xún)蓚€(gè)必要條件為前提:(1)自動(dòng)化決策必須對(duì)數(shù)據(jù)主體造成具有法律后果的重大影響;(2)用戶(hù)側(cè)寫(xiě)完全由自動(dòng)化處理實(shí)現(xiàn)。
(一)DPID第15條的歷史遺留問(wèn)題
DPID是GDPR的前身,兩者前后間隔23年,在此期間,有兩個(gè)事實(shí)需要注意。其一,自動(dòng)化決策實(shí)現(xiàn)了技術(shù)層面的飛躍,逐步改變了探討“脫離自動(dòng)化決策權(quán)”的語(yǔ)境。在制定DPID并推行的20世紀(jì)90年代,自動(dòng)化決策主要指基于數(shù)據(jù)庫(kù)編碼的計(jì)算機(jī)自動(dòng)化,即利用計(jì)算機(jī)替代自然人實(shí)現(xiàn)唯手熟爾的重復(fù)性基礎(chǔ)工作和流程性工作。2000年之后,基于數(shù)據(jù)庫(kù)編碼的計(jì)算機(jī)自動(dòng)化逐漸讓位于基于機(jī)器學(xué)習(xí)的算法自動(dòng)化,其實(shí)質(zhì)是作為編程理論典范的透過(guò)規(guī)則本原尋求邏輯。大數(shù)據(jù)加持機(jī)器學(xué)習(xí)模型,在范圍不確定的環(huán)境中進(jìn)行規(guī)律挖掘或模式識(shí)別,替代自然人實(shí)現(xiàn)溫故而知新的基礎(chǔ)性預(yù)測(cè)工作與規(guī)范性鑒別工作。GDPR自2018年5月開(kāi)始生效,基于機(jī)器學(xué)習(xí)的算法自動(dòng)化正逐步向基于神經(jīng)網(wǎng)絡(luò)的超級(jí)自動(dòng)化邁進(jìn)。隨著數(shù)據(jù)平臺(tái)的開(kāi)源共享以及機(jī)器學(xué)習(xí)模型的重疊交互,今天的自動(dòng)化決策已經(jīng)漸次突破立普斯基所稱(chēng)“自然人可以、機(jī)器人不行”的推理和演繹的智能上限,其獲得識(shí)辨特定時(shí)期的法律和社會(huì)運(yùn)行宏觀規(guī)律、以超乎常人的洞察力來(lái)提供制度解決方案或進(jìn)行價(jià)值判斷的奇點(diǎn)臨近。在這個(gè)階段,自動(dòng)化決策將是“以任何信息技術(shù)設(shè)備為載體、以持續(xù)控制形式干預(yù)和引導(dǎo)日常社會(huì)互動(dòng)的高度自主的精細(xì)化治理秩序”。括而言之,雖然用語(yǔ)均是“自動(dòng)化決策”,但DPID的自動(dòng)化決策概念僅僅涵蓋了基于數(shù)據(jù)庫(kù)編碼的計(jì)算機(jī)自動(dòng)化和基于機(jī)器學(xué)習(xí)的算法自動(dòng)化,而GDPR的自動(dòng)化決策概念囊括了迄今為止所有的自動(dòng)化類(lèi)型。這是筆者研究“脫離自動(dòng)化決策權(quán)”需要顧及的權(quán)利適用范圍變化。DPID和GDPR“脫離自動(dòng)化決策權(quán)”的微妙差異如圖一所示。
圖一DPID和GDPR“脫離自動(dòng)化決策權(quán)”之差異
其二,在DPID的整個(gè)生命周期內(nèi),第15條幾乎完全處于休眠狀態(tài),但GDPR第22條依舊毅然決然地承襲了DPID第15條的規(guī)定,歐盟部長(zhǎng)委員會(huì)于2018年通過(guò)的《關(guān)于個(gè)人數(shù)據(jù)處理的現(xiàn)代化保護(hù)公約》第9條也吸收了DPID第15條的相關(guān)規(guī)定。這或許意味著,在基于機(jī)器學(xué)習(xí)的算法自動(dòng)化和基于神經(jīng)網(wǎng)絡(luò)的超級(jí)自動(dòng)化大行其道的場(chǎng)景中,“脫離自動(dòng)化決策權(quán)”更有適用和推廣的必要。此前,“脫離自動(dòng)化決策權(quán)”一直被戲稱(chēng)為DPID中的“二等權(quán)利”,因?yàn)樵跉W盟法院和各成員國(guó)法院的審判實(shí)踐中,對(duì)抗雙方從未就該權(quán)利的行使方式和法律效果展開(kāi)有實(shí)質(zhì)意義的辯論:“脫離自動(dòng)化決策之訴”客觀存在,但是雙方總是聚焦于有爭(zhēng)議的決策是否完全由自動(dòng)化處理作出。例如,德國(guó)聯(lián)邦法院在SCHUFA案中裁定,資信考察系統(tǒng)輸出的信用評(píng)價(jià)不屬于DPID第15條所界定的完全無(wú)人工介入的自動(dòng)化決策范疇,因?yàn)殂y行對(duì)其客戶(hù)的信用評(píng)價(jià)實(shí)由自然人在自動(dòng)化決策的“輔助”下完成;法國(guó)最高法院認(rèn)為,執(zhí)法者采取算法自動(dòng)化系統(tǒng)進(jìn)行裁決輔助,也不受DPID第15條的約束。前歐盟個(gè)體保障局在工作報(bào)告中指出,DPID第15條不是針對(duì)數(shù)據(jù)保護(hù)可以推而廣之的一般性原則,而是針對(duì)特定自動(dòng)化用戶(hù)側(cè)寫(xiě)的例外原則。伴隨早期立法嘗試鎩羽而歸的新問(wèn)題是,GDPR第22條相對(duì)于DPID第15條的修改,能否讓“脫離自動(dòng)化決策權(quán)”煥發(fā)新的活力呢?
(二)規(guī)則演進(jìn)與責(zé)任豁免
相較于DPID第15條,GDPR第22條的進(jìn)步主要體現(xiàn)在以下三個(gè)方面:
其一,GDPR第22條對(duì)于特別敏感的個(gè)人數(shù)據(jù)給予了更多關(guān)注。第22條第4款規(guī)定,數(shù)據(jù)主體有權(quán)脫離依據(jù)涉及種族、民族歷史、政治觀念、工會(huì)、基因、自然人健康和性生活取向等數(shù)據(jù)形成的自動(dòng)化決策。當(dāng)且僅當(dāng)數(shù)據(jù)控制者取得數(shù)據(jù)主體的明確同意或?yàn)閷?shí)現(xiàn)公共利益所必須的法定許可時(shí),才能不受干擾地處理此類(lèi)敏感信息。由此可見(jiàn),GDPR在個(gè)人數(shù)據(jù)類(lèi)型化處理方面,具有比DPID更高的“顆粒度”。
其二,GDPR第22條拓展了“脫離自動(dòng)化決策權(quán)”的行權(quán)范圍,將未成年人的個(gè)人數(shù)據(jù)納入特別保護(hù)對(duì)象。GDPR序言第38條指出,對(duì)未成年人個(gè)人數(shù)據(jù)的具體保護(hù)“尤其應(yīng)適用于可能供機(jī)器學(xué)習(xí)模型生成用戶(hù)側(cè)寫(xiě)的數(shù)據(jù)”。序言第71條規(guī)定,基于用戶(hù)側(cè)寫(xiě)的自動(dòng)化決策不作用于未成年人。相較之下,DPID并未就未成年人數(shù)據(jù)保護(hù)作出相關(guān)規(guī)定,也難從相關(guān)條款中推定未成年人是否應(yīng)當(dāng)享有“脫離自動(dòng)化決策權(quán)”。對(duì)未成年人個(gè)人數(shù)據(jù)予以特殊保護(hù),彰顯出法律順應(yīng)市場(chǎng)需求與時(shí)俱進(jìn):隨著互聯(lián)網(wǎng)低齡時(shí)代的到來(lái),九零后逐漸成為被輿論拋棄的“后浪”,零零后甚至一零后接過(guò)泛娛樂(lè)時(shí)代的大旗稱(chēng)雄網(wǎng)絡(luò)。研究報(bào)告表明,零零后在餐飲、顏值經(jīng)濟(jì)等領(lǐng)域已經(jīng)成為消費(fèi)主力。數(shù)據(jù)控制者深諳“得零零后者得天下”“營(yíng)銷(xiāo)要從娃娃抓起”“先入為主培養(yǎng)消費(fèi)習(xí)慣”的道理,在巨大商業(yè)利益的誘惑下,社交媒體、電商平臺(tái)、視頻網(wǎng)站對(duì)未成年數(shù)據(jù)趨之若鶩,競(jìng)相獲取新生代個(gè)體的瀏覽歷史、個(gè)人軌跡、消費(fèi)記錄、點(diǎn)贊和收藏列表等——精準(zhǔn)針對(duì)未成年人的內(nèi)容推送和價(jià)值觀引導(dǎo)接踵而至,個(gè)中風(fēng)險(xiǎn)不言而喻。
其三,GDPR第22條拓展了“脫離自動(dòng)化決策權(quán)”的適用范圍,不再局限于DPID第15條“用戶(hù)側(cè)寫(xiě)完全由自動(dòng)化處理實(shí)現(xiàn)”的行權(quán)限制。依照GDPR第22條“有權(quán)不成為自動(dòng)化決策支配對(duì)象,包括用戶(hù)側(cè)寫(xiě)”的表述,似乎“自動(dòng)化決策和用戶(hù)側(cè)寫(xiě)”共同構(gòu)成了“脫離自動(dòng)化決策權(quán)”的適用場(chǎng)景。也即是說(shuō),自動(dòng)化決策無(wú)論是否以用戶(hù)側(cè)寫(xiě)實(shí)現(xiàn),均可以引發(fā)數(shù)據(jù)主體行使“脫離自動(dòng)化決策權(quán)”。反過(guò)來(lái),用戶(hù)側(cè)寫(xiě)無(wú)論最終是否形成自動(dòng)化決策,也終將受到GDPR第22條的約束。多名學(xué)者對(duì)此表達(dá)了異議,例如,門(mén)德薩和拜格雷夫認(rèn)為,上述理解方式“違背了第22條的基本原理和立法背景,原文中的‘包括(including)’應(yīng)當(dāng)被解釋為‘涉及(involving)’”。布爾坎認(rèn)為,現(xiàn)今自動(dòng)化決策必然涉及用戶(hù)側(cè)寫(xiě),因此圍繞第22條的爭(zhēng)議可謂毫無(wú)必要。在筆者看來(lái),反對(duì)派觀點(diǎn)的學(xué)者至少犯了兩個(gè)方面的錯(cuò)誤:(1)未能深入考察自動(dòng)化決策從最初基于數(shù)據(jù)庫(kù)編碼的計(jì)算機(jī)自動(dòng)化,到近來(lái)基于機(jī)器學(xué)習(xí)的算法自動(dòng)化,再到未來(lái)基于神經(jīng)網(wǎng)絡(luò)的超級(jí)自動(dòng)化的躍遷過(guò)程,理所當(dāng)然地認(rèn)為自動(dòng)化決策就是機(jī)器學(xué)習(xí)模型依照特定算法進(jìn)行用戶(hù)側(cè)寫(xiě)形成的決策。實(shí)際上,自動(dòng)化決策若由計(jì)算機(jī)檢索數(shù)據(jù)庫(kù)編碼作出,就根本不涉及用戶(hù)側(cè)寫(xiě)的過(guò)程;若由神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn),用戶(hù)側(cè)寫(xiě)只是超級(jí)自動(dòng)化決策的一個(gè)環(huán)節(jié)。(2)將GDPR第22條視為DPID第15條的單純延續(xù),未能深究措辭變化背后可能蘊(yùn)藏的政策轉(zhuǎn)向。概括適用到局部適用的條件變化,使得本來(lái)共同構(gòu)成DPID第15條必要條件的自動(dòng)化決策和用戶(hù)側(cè)寫(xiě),在GDPR第22條中轉(zhuǎn)變?yōu)槌浞謼l件。這也從正面證實(shí)了,DPID第15條僅允許數(shù)據(jù)主體在基于機(jī)器學(xué)習(xí)模型的算法自動(dòng)化情形中行使“脫離自動(dòng)化決策權(quán)”,而GDPR第22條可以同時(shí)適用于基于數(shù)據(jù)庫(kù)編碼的計(jì)算機(jī)自動(dòng)化、基于機(jī)器學(xué)習(xí)的算法自動(dòng)化乃至基于神經(jīng)網(wǎng)絡(luò)的超級(jí)自動(dòng)化的所有情形,權(quán)利的適用范圍被大大拓寬。
遺憾的是,雖有上述大刀闊斧的修改,自GDPR生效至今,絲毫未見(jiàn)“脫離自動(dòng)化決策權(quán)”的復(fù)蘇跡象。作為一項(xiàng)值得被保護(hù)的法律權(quán)利,為何“脫離自動(dòng)化決策權(quán)”經(jīng)常被遺忘、極少被行使、幾乎與現(xiàn)實(shí)相“脫離”?這個(gè)問(wèn)題的答案首先在于GDPR第22條相對(duì)于DPID第15條并未發(fā)生實(shí)質(zhì)性修改的“適用條件”——數(shù)據(jù)主體有權(quán)請(qǐng)求脫離的,必須是“完全依靠自動(dòng)化處理”產(chǎn)生的決策,這無(wú)疑極大地提高了“脫離自動(dòng)化決策權(quán)”的適用門(mén)檻。無(wú)論是基于數(shù)據(jù)庫(kù)編碼的計(jì)算機(jī)自動(dòng)化、還是基于機(jī)器學(xué)習(xí)的算法自動(dòng)化,最低限度的人工介入實(shí)為不可避免,無(wú)論是出于維護(hù)機(jī)器運(yùn)轉(zhuǎn)之必須、還是確保數(shù)據(jù)結(jié)構(gòu)化處理的一致性、亦或是確認(rèn)機(jī)器學(xué)習(xí)模型未脫離“算法代碼的韁繩”。針對(duì)適用門(mén)檻的權(quán)威解釋長(zhǎng)期缺位,進(jìn)一步加劇了法條本身的模糊性,使得各參與方只能完全依照字面理解來(lái)調(diào)整自身的行為——既然一丁點(diǎn)自然人參與的“蛛絲馬跡”便能推翻數(shù)據(jù)主體對(duì)GDPR第22條的信賴(lài)?yán)妫?ldquo;脫離自動(dòng)化決策權(quán)”被完全架空的結(jié)果并不出人意料。
“脫離自動(dòng)化決策權(quán)”的式微,還源于過(guò)于寬松的豁免條件。DPID第15條規(guī)定,數(shù)據(jù)主體主動(dòng)要求并同意接受自動(dòng)化決策服務(wù)時(shí),將受到類(lèi)似“禁止反言原則”的約束;在簽訂合同時(shí),只要數(shù)據(jù)控制者或處理者采取了合適的措施來(lái)維護(hù)數(shù)據(jù)主體的合法權(quán)益,那么純粹自動(dòng)化決策的效力將不受挑戰(zhàn)。GDPR實(shí)際上擴(kuò)大了DPID的豁免范圍,在第22條第2款中明確規(guī)定了“脫離自動(dòng)化決策權(quán)”不適用的三種情形——當(dāng)事人同意、法律授權(quán)以及合同約定。在上述三種豁免情形之外,GDPR第4款額外增加了需要和其他法條相互參照的行權(quán)限制條件。第22條第3款雖然對(duì)豁免條件進(jìn)行了適當(dāng)限縮,要求“數(shù)據(jù)控制者應(yīng)當(dāng)采取充分措施保障數(shù)據(jù)主體的權(quán)利、自由和正當(dāng)利益,允許數(shù)據(jù)主體對(duì)數(shù)據(jù)控制者進(jìn)行人工干涉,以便表達(dá)其觀點(diǎn)和對(duì)決策表達(dá)異議的基本權(quán)利”。但是深究該款措辭不難看出,在豁免情形中,數(shù)據(jù)控制者依法應(yīng)當(dāng)保障數(shù)據(jù)主體的,只是“數(shù)據(jù)主體進(jìn)行人工干涉”而非“數(shù)據(jù)主體請(qǐng)求數(shù)據(jù)控制者進(jìn)行人工干涉”的權(quán)利,并且,數(shù)據(jù)主體進(jìn)行人工干涉是為了表達(dá)其觀點(diǎn)和對(duì)決策表達(dá)異議,具有“反對(duì)權(quán)”而非“脫離自動(dòng)化決策權(quán)”的外觀。易言之,“脫離自動(dòng)化決策權(quán)”豁免條件生效,只需以對(duì)反對(duì)權(quán)的保障作為前提,而反對(duì)權(quán)已在GDPR第21條中得以單獨(dú)規(guī)定:“出于公共利益、官方權(quán)威、控制者或第三方追求正當(dāng)利益所進(jìn)行的數(shù)據(jù)處理,包括根據(jù)相關(guān)規(guī)定進(jìn)行的用戶(hù)側(cè)寫(xiě),數(shù)據(jù)主體有權(quán)隨時(shí)反對(duì)。”第22條第3款對(duì)第21條的簡(jiǎn)單重復(fù)并未實(shí)質(zhì)性提高數(shù)據(jù)控制者的豁免門(mén)檻。
(三)“權(quán)利”與“禁令”的實(shí)質(zhì)之爭(zhēng)
在適用條件苛刻、豁免門(mén)檻過(guò)低的雙重制約下,“脫離自動(dòng)化決策權(quán)”賦予數(shù)據(jù)主體的權(quán)利在法律上并非以“可執(zhí)行的狀態(tài)”存在,數(shù)據(jù)執(zhí)法機(jī)關(guān)在實(shí)踐中也很難將第22條作為切實(shí)可行的執(zhí)法依據(jù)。實(shí)踐中,對(duì)GDPR第22條的內(nèi)在屬性的認(rèn)識(shí)割裂,在立法者和執(zhí)法者之間漸次成型:立法者認(rèn)為自己為數(shù)據(jù)主體創(chuàng)設(shè)了一種在特定情形中可以行使的權(quán)利,但執(zhí)法者只將其視為針對(duì)特定類(lèi)型自動(dòng)化決策的禁令。與GDPR相對(duì)應(yīng)的《歐盟執(zhí)法指令》(下簡(jiǎn)稱(chēng)LED)第11條針對(duì)特殊類(lèi)型的自動(dòng)化決策連續(xù)使用了三個(gè)“禁止”,顯然是將GDPR第22條視為一條禁令,招來(lái)了多數(shù)成員國(guó)的質(zhì)疑。從執(zhí)法者的角度來(lái)看,禁令思維確實(shí)更易于執(zhí)法活動(dòng)的開(kāi)展,也在表面上維護(hù)了GDPR與LED的和諧統(tǒng)一。但此種“為了執(zhí)行而執(zhí)行”的粗淺認(rèn)識(shí)罔顧了歐盟立法者在個(gè)人數(shù)據(jù)保護(hù)方面的大局觀,強(qiáng)行以LED第11條的規(guī)定去統(tǒng)合GDPR第22條的實(shí)現(xiàn)方式反倒會(huì)破壞歐盟整體數(shù)據(jù)保護(hù)框架的一致性。
在筆者看來(lái),以權(quán)利思維而非禁令思維理解GDPR第22條,至少有三點(diǎn)好處:其一,承認(rèn)GDPR第22條為數(shù)據(jù)主體可以行使的“脫離自動(dòng)化決策權(quán)”,同第22條的字面表述相吻合,同時(shí)也符合立法者以法律規(guī)則“鉗制”自動(dòng)化決策過(guò)程的主觀想象;其二,權(quán)利思維契合當(dāng)下自動(dòng)化決策被廣泛應(yīng)用于私營(yíng)和公共部門(mén)的現(xiàn)實(shí),對(duì)特定類(lèi)型的自動(dòng)化決策不宜一概禁止而應(yīng)當(dāng)考察其應(yīng)用場(chǎng)景;其三,權(quán)利思維更符合辯證法所崇尚的自然科學(xué)觀,即自動(dòng)化決策完全可以給社會(huì)整體帶來(lái)可觀的利益,而非總是因外部性擴(kuò)散催生社會(huì)成本??偠灾越钏季S理解GDPR第22條的做法過(guò)于簡(jiǎn)單,這其實(shí)是LED其他條款也或多或少存在的共性問(wèn)題,反映出人工智能領(lǐng)域立法者與執(zhí)法者難以消磨的思維偏差以及由此產(chǎn)生的釋法斷層——可解釋的法律不可執(zhí)行、可執(zhí)行的法律不合解釋;如何盡可能縮小兩者之間的差距,是在規(guī)則的應(yīng)然和實(shí)然爭(zhēng)辯之外,值得學(xué)術(shù)界和實(shí)務(wù)界上下求索的基礎(chǔ)問(wèn)題。
作為一項(xiàng)披著禁令外衣的權(quán)利,“脫離自動(dòng)化決策權(quán)”本質(zhì)上是一項(xiàng)請(qǐng)求權(quán),是自動(dòng)化決策關(guān)系中數(shù)據(jù)主體請(qǐng)求數(shù)據(jù)控制者“為或不為一定行為的權(quán)利”,數(shù)據(jù)主體不能對(duì)自動(dòng)化決策的權(quán)利標(biāo)的進(jìn)行直接支配,而只能請(qǐng)求數(shù)據(jù)主體予以配合。由此引出了本文的關(guān)鍵問(wèn)題,“脫離自動(dòng)化決策權(quán)”究竟賦予了數(shù)據(jù)主體哪些請(qǐng)求數(shù)據(jù)控制者“為什么”與“不為什么”的權(quán)利?
長(zhǎng)期以來(lái),有關(guān)GDPR第22條所界定的權(quán)利性質(zhì)、正當(dāng)性與適用范圍的爭(zhēng)論從未停止,由此形成的學(xué)說(shuō)千姿百態(tài),其中存在兩種常見(jiàn)的誤解。一種誤解是將GDPR第22條視為算法可解釋性要求的圓心,與GDPR中“獲解釋權(quán)”的多個(gè)條款互為補(bǔ)強(qiáng);另一種誤解是將“脫離自動(dòng)化決策權(quán)”與“被遺忘權(quán)”混為一談,將數(shù)據(jù)主體脫離自動(dòng)化決策的嘗試等同于向數(shù)據(jù)控制者行使擦除個(gè)人數(shù)據(jù)的請(qǐng)求權(quán)。在應(yīng)用層面上,將“脫離自動(dòng)化決策權(quán)”視為數(shù)據(jù)主體請(qǐng)求“獲解釋”或者“被遺忘”的權(quán)利,具有一定的可操作性,實(shí)為將GDPR第22條作權(quán)利解的大前提下,權(quán)利思維向禁令思維有限度的靠攏的折衷之舉。這兩種不同的理解進(jìn)路,正是導(dǎo)致“脫離自動(dòng)化決策”被翻譯為“反對(duì)自動(dòng)化決策”或“不受自動(dòng)化處理的決定的限制”的根本原因,也同時(shí)反映出各版本譯者絕非生硬干澀地對(duì)原文進(jìn)行單純直譯,而是在極高的人工智能法學(xué)造詣之上融入了自身對(duì)GDPR各條款的深入理解,縝密的法律思維可以從別具匠心的意譯表達(dá)中窺見(jiàn)一斑。那么,“脫離自動(dòng)化決策權(quán)”同“獲解釋權(quán)”“被遺忘權(quán)”之間的區(qū)別是什么?各權(quán)利之間的區(qū)別是虛是實(shí)?從權(quán)利思維出發(fā),GDPR為即將到來(lái)的超級(jí)自動(dòng)化時(shí)代建立了怎樣的制度防火墻?“脫離自動(dòng)化決策權(quán)”在自動(dòng)化治理中的地位和功用是什么?
二
必也正名乎:三權(quán)并立的聯(lián)動(dòng)體系
本部分將從“脫離自動(dòng)化決策權(quán)”同“獲解釋權(quán)”“被遺忘權(quán)”的差異入手,一則反思“脫離自動(dòng)化決策權(quán)”的立法初衷;二則探討“脫離自動(dòng)化決策權(quán)”的實(shí)質(zhì)內(nèi)涵。
(一)“脫離自動(dòng)化決策權(quán)”非“獲解釋權(quán)”之補(bǔ)強(qiáng)
大數(shù)據(jù)、云計(jì)算和人工智能技術(shù)的突飛猛進(jìn),“革命性地改變了網(wǎng)絡(luò)空間內(nèi)主體的能力差異和關(guān)系結(jié)構(gòu)”,傳統(tǒng)的法律制度難以應(yīng)對(duì)技術(shù)黑箱掩映之下受眾操控、信息尋租和監(jiān)管套利的三重失控,對(duì)算法可解釋性的合規(guī)要求應(yīng)運(yùn)而生。雖有學(xué)者反復(fù)指出,旨在提升算法透明度的硬性規(guī)定“既不可行,也無(wú)必要”,但在漫長(zhǎng)的監(jiān)管實(shí)踐中,算法可解釋性的合規(guī)要求還是成為了世界各國(guó)人工智能法律法規(guī)的核心要旨,即便是那些高度依賴(lài)事后問(wèn)責(zé)機(jī)制的國(guó)家,也不否認(rèn)算法可解釋性實(shí)乃人工智能時(shí)代“對(duì)抗數(shù)據(jù)個(gè)體的主體性和自治性淪陷和喪失的內(nèi)在之善”,是明確自動(dòng)化決策主體性、因果性和相關(guān)性以確定和分配算法責(zé)任的重要前提。究其根源,在公眾問(wèn)責(zé)空前加強(qiáng)的年代,任何新技術(shù)的批量部署都必然被置于傳媒與社會(huì)持續(xù)性互動(dòng)的場(chǎng)域之中,以逐漸打消公眾質(zhì)疑、充分回應(yīng)社情民意以及成功取得多數(shù)人同意為其合法性基礎(chǔ)。
令人感到疑惑的是,在制定過(guò)程中反復(fù)強(qiáng)調(diào)算法可解釋性有多么重要的GDPR,只在條例第5條第1款籠統(tǒng)地要求對(duì)涉及數(shù)據(jù)主體的個(gè)人數(shù)據(jù),應(yīng)以合法、合理、透明的方式進(jìn)行處理。顯然,公開(kāi)透明的數(shù)據(jù)處理方式并不足以確保算法可解釋性,頂多被視為算法可解釋性眾多構(gòu)成要件中不可或缺的一環(huán)。實(shí)踐中,人們不得不結(jié)合GDPR的序言,為算法可解釋性要求尋找依據(jù)。GDPR序言第71條指出,接受算法自動(dòng)化決策的數(shù)據(jù)主體應(yīng)當(dāng)享有“適當(dāng)?shù)谋Wo(hù)”,因?yàn)闈撛诘臋C(jī)器錯(cuò)誤和數(shù)據(jù)歧視極有可能給整個(gè)社會(huì)帶來(lái)“偏見(jiàn)和不公”。第71條隨即將“適當(dāng)?shù)谋Wo(hù)”分為三類(lèi):一是獲得人類(lèi)干預(yù)的權(quán)利;二是表達(dá)異議和質(zhì)疑的權(quán)利;三是獲取相關(guān)決策解釋的權(quán)利。就此而論,GDPR是從數(shù)據(jù)主體“獲解釋權(quán)”的進(jìn)路出發(fā),來(lái)反向構(gòu)建算法可解釋性的合規(guī)要求。佐證這一現(xiàn)實(shí)的依據(jù)是,GDPR第13條、第14條、第15條分別規(guī)定了直接從數(shù)據(jù)主體獲得個(gè)人數(shù)據(jù)、間接從數(shù)據(jù)主體獲得個(gè)人數(shù)據(jù)以及因各類(lèi)原因訪問(wèn)個(gè)人數(shù)據(jù)的數(shù)據(jù)控制者向數(shù)據(jù)主體履行詳細(xì)信息披露義務(wù)以及就特定事項(xiàng)進(jìn)行進(jìn)一步解釋說(shuō)明的義務(wù),尤其是“決策過(guò)程所涉及的邏輯程序及其對(duì)數(shù)據(jù)主體的重要意義和可能影響”。
但是,從GDPR第13至15條引申出來(lái)的“獲解釋權(quán)”完全局限于數(shù)據(jù)的搜集和處理階段,如此“事前解釋”只能膚淺地讓數(shù)據(jù)主體得知自己個(gè)人數(shù)據(jù)的處理概況和潛在影響,并不能讓數(shù)據(jù)主體真正知曉最終形成的自動(dòng)化決策與其當(dāng)下際遇之間的因果關(guān)聯(lián)。很明顯,處于信息極度弱勢(shì)地位的數(shù)據(jù)主體,主動(dòng)行使“獲解釋權(quán)”的理想預(yù)期,是要獲得其在承受自動(dòng)化決策階段的事中和事后解釋?zhuān)鳪DPR對(duì)此語(yǔ)焉不詳。在此種背景下,部分學(xué)者將GDPR第22條視為同第13至15條的銜接,補(bǔ)足了事中和事后“獲解釋權(quán)”的法律真空。
誠(chéng)然,GDPR字面規(guī)定的“獲解釋權(quán)”確實(shí)存在事前、事中和事后脫節(jié),導(dǎo)致權(quán)利難以覆蓋自動(dòng)化決策全過(guò)程的問(wèn)題,但是,銜接斷裂的問(wèn)題完全可以通過(guò)直接補(bǔ)充規(guī)定的方式予以修復(fù),實(shí)在沒(méi)有必要在距離13至15條“至少7條開(kāi)外的”第22條中以如此晦澀、隱蔽的方式對(duì)事中和事后的“獲解釋權(quán)”進(jìn)行界定。歐盟立法者之所以不在GDPR中建立完整的“獲解釋權(quán)”鏈條,極有可能源于兩個(gè)層面的思考和顧慮。其一,批評(píng)者們看到的是一個(gè)設(shè)定一項(xiàng)“獲解釋權(quán)”就可以讓自動(dòng)化決策可解釋的世界,而這種理想愿景同當(dāng)今技術(shù)運(yùn)作的現(xiàn)實(shí)情況存在巨大鴻溝。尤其是在事中和事后階段,隨著機(jī)器學(xué)習(xí)模型的日益復(fù)雜、卷積神經(jīng)網(wǎng)絡(luò)的廣泛適用、數(shù)據(jù)搜集源頭的交匯重疊,要真正就自動(dòng)化決策的運(yùn)作原理與裁判機(jī)制作出詳細(xì)且外行人也能理解的解釋?zhuān)芍^難上加難。事前的各類(lèi)解釋或許有助于數(shù)據(jù)主體作出是否同意自動(dòng)化決策的判斷,但考慮到人工智能是以技術(shù)手段對(duì)自然人的深度仿生,以預(yù)期效果為導(dǎo)向的、事中和事后的因果關(guān)聯(lián)嘗試極易將物質(zhì)表象的經(jīng)驗(yàn)規(guī)律同內(nèi)在直覺(jué)的感性判斷混淆起來(lái),最終只能得到故弄玄虛、毫無(wú)根據(jù)的假設(shè)而非解釋。其二,算法可解釋性的合規(guī)要求,必然伴隨相當(dāng)可觀的合規(guī)成本。“獲解釋權(quán)”的規(guī)定越是完整無(wú)遺漏,身處信息弱勢(shì)地位的數(shù)據(jù)主體前期締約和談判的成本就越低,但因此增加的其他成本則完全由數(shù)據(jù)控制者或處理者概括承受。長(zhǎng)期以來(lái),對(duì)于此類(lèi)成本轉(zhuǎn)嫁是否合理的爭(zhēng)論從未平息。一方面,正如上文所指出的那樣,數(shù)據(jù)控制者針對(duì)自動(dòng)化決策進(jìn)行的事中和事后解釋極有可能屬于徒勞無(wú)功的解釋?zhuān)?jīng)常是“解釋了也是白解釋”;另一方面,完整意義上的“獲解釋權(quán)”至少在一定程度上有助于消弭算法歧視、降低數(shù)據(jù)控制者和數(shù)據(jù)主體之間的信息不對(duì)稱(chēng)。對(duì)于此類(lèi)“或有或無(wú)”的法律規(guī)則,現(xiàn)代法經(jīng)濟(jì)學(xué)給我們的教義是:應(yīng)當(dāng)衡量法律實(shí)施的成本與潛在社會(huì)收益之間孰輕孰重,即那些看似公平的原則是否同時(shí)也是那些符合效率的原則。在全球人工智能競(jìng)爭(zhēng)白熱化的階段,說(shuō)服各國(guó)政府和跨國(guó)大型公司建立事前、事中和事后的“獲解釋權(quán)”閉環(huán)實(shí)屬癡人說(shuō)夢(mèng)。
(二)“脫離自動(dòng)化決策權(quán)”不與“被遺忘權(quán)”混同
在“脫離自動(dòng)化決策權(quán)”難同“獲解釋權(quán)”等量齊觀的情況下,另有一些學(xué)者試圖將GDPR第22條視為“被遺忘權(quán)”相關(guān)條款的延伸乃至重復(fù)。因?yàn)樵跉v史上,“被遺忘權(quán)”的創(chuàng)設(shè)同“脫離自動(dòng)化決策權(quán)”的發(fā)展有著千絲萬(wàn)縷的聯(lián)系。
在2010年Google Spain v. Costeja Gonzalez案中(以下簡(jiǎn)稱(chēng)谷歌案),原告要求被告谷歌公司刪除12年前因?yàn)榉课菥W(wǎng)絡(luò)拍賣(mài)而在搜索引擎中陳列的、已經(jīng)過(guò)時(shí)的個(gè)人信息。歐盟法院在裁判時(shí),從DPID中推導(dǎo)出了數(shù)據(jù)主體應(yīng)當(dāng)享有的“被遺忘權(quán)”,依據(jù)是第6條“個(gè)人數(shù)據(jù)的處理應(yīng)當(dāng)適當(dāng)、相關(guān)、同被處理(以及進(jìn)一步處理)的目的吻合,在必要時(shí)進(jìn)行更新以保證準(zhǔn)確性”以及第12條允許數(shù)據(jù)主體“更正、擦除以及屏蔽不符合DPID所規(guī)定的處理的數(shù)據(jù)”。2013年歐盟《信息安全技術(shù)公共及商用服務(wù)信息系統(tǒng)個(gè)人信息保護(hù)指南》吸收了歐盟法院的判決和DPID的前述規(guī)定,直截了當(dāng)?shù)亟ㄗh:“當(dāng)數(shù)據(jù)主體有正當(dāng)理由要求刪除其個(gè)人數(shù)據(jù)時(shí),應(yīng)及時(shí)刪除個(gè)人數(shù)據(jù)。”GDPR第17條對(duì)“被遺忘權(quán)”進(jìn)行了直接規(guī)定:“數(shù)據(jù)主體有權(quán)要求數(shù)據(jù)控制者擦除關(guān)于其個(gè)人數(shù)據(jù)的權(quán)利。”
“被遺忘權(quán)”與“脫離自動(dòng)化決策權(quán)”的混同,源于谷歌案引發(fā)的有關(guān)搜索引擎性質(zhì)的爭(zhēng)議。一方認(rèn)為,搜索引擎只是數(shù)據(jù)的媒介,而非嚴(yán)格意義上的數(shù)據(jù)控制者或者處理者,一如谷歌的首席法律顧問(wèn)沃克在接受《紐約客》采訪時(shí)所言:“我們不創(chuàng)造信息,只是讓信息變得可訪問(wèn)。”另一方則針?shù)h相對(duì)地指出,搜索引擎在信息處理方面并非全然被動(dòng),結(jié)果的呈現(xiàn)方式與先后次序,即是搜索引擎處理數(shù)據(jù)后形成的自動(dòng)化決策。從搜索引擎公司“競(jìng)價(jià)排名”的常見(jiàn)盈利手段來(lái)看,顯然后者的觀點(diǎn)更有說(shuō)服力。將搜索引擎確認(rèn)為數(shù)據(jù)控制者,可以推導(dǎo)出一個(gè)能夠達(dá)成共識(shí)的認(rèn)知,即谷歌案中原告向谷歌公司行使“被遺忘權(quán)”,是希望谷歌公司能夠?qū)μ囟ㄋ阉鹘Y(jié)果進(jìn)行人工干預(yù),實(shí)現(xiàn)“脫離自動(dòng)化決策權(quán)”的行權(quán)效果。應(yīng)原告訴求進(jìn)行人工干預(yù)的結(jié)果并非真正讓原告在網(wǎng)絡(luò)世界中“被遺忘”,而是讓谷歌的搜索界面不再將原告已經(jīng)過(guò)時(shí)的信息納入排序算法。也即是說(shuō),作為數(shù)據(jù)主體的原告行使“被遺忘權(quán)”擬達(dá)到的效果實(shí)際上是脫離搜索引擎的自動(dòng)化決策。此種做法自欺欺人的地方體現(xiàn)在,搜索引擎沒(méi)有辦法、也沒(méi)有權(quán)力真正刪除所有包含數(shù)據(jù)主體希望被遺忘信息的頁(yè)面,而只能將這些頁(yè)面在搜索結(jié)果中隱去,如果在地址欄中輸入這些頁(yè)面的網(wǎng)址,仍將能夠打開(kāi)這些頁(yè)面。需要注意的是,有不少熱門(mén)網(wǎng)站專(zhuān)門(mén)記錄谷歌刪除或移除掉的鏈接,例如Hidden From Google、Wikimedia和Reddit等,使得希冀行使“被遺忘權(quán)”的數(shù)據(jù)主體常常陷入越描越黑的境地,即使脫離了搜索引擎的自動(dòng)化決策也脫離不了“好事者竟趨焉”的無(wú)事生非。在這個(gè)意義上,“脫離自動(dòng)化決策權(quán)”似乎是行使“被遺忘權(quán)”的主要手段,也是行使“被遺忘權(quán)”能夠?qū)崿F(xiàn)的最低目的,部分學(xué)者將GDPR第22條視為對(duì)第17條“有益而有必要的重申”就不足為奇了。
但是,“被遺忘權(quán)”并不能在所有情形中都等同于“脫離自動(dòng)化決策權(quán)”。只需在谷歌案的基礎(chǔ)上稍微做一點(diǎn)延伸,就能理解“被遺忘權(quán)”的獨(dú)特之處。原告向谷歌公司行使“被遺忘權(quán)”,最終只能達(dá)至“脫離自動(dòng)化決策權(quán)”的效果,這是由于搜索引擎的特殊性質(zhì)所決定的。如果希望達(dá)到被徹底遺忘的效果,原告應(yīng)該一一向刊登原告?zhèn)€人數(shù)據(jù)的頁(yè)面所有者行使“被遺忘權(quán)”。這些被搜索引擎直接抓取的頁(yè)面,是純粹的信息刊載或轉(zhuǎn)載方,幾乎不涉及自動(dòng)化決策,只需簡(jiǎn)單地從服務(wù)器中刪除頁(yè)面,即可履行數(shù)據(jù)主體的被遺忘請(qǐng)求。這個(gè)過(guò)程雖然也涉及人工干預(yù),但同行使“脫離自動(dòng)化決策權(quán)”有著天壤之別,是以刪除內(nèi)容、移除鏈接作為權(quán)利行使的主要法律后果。實(shí)際上,搜索引擎要想完全履行數(shù)據(jù)主體的被遺忘請(qǐng)求,除了以人工干預(yù)的方式將數(shù)據(jù)主體從自動(dòng)化決策中剔除出去之外,還需要在其服務(wù)器中一一手動(dòng)刪除相關(guān)頁(yè)面的快照,且刪除過(guò)程的工作量甚至不低于脫離過(guò)程的工作量。在上述認(rèn)知的基礎(chǔ)上,還要強(qiáng)行將“被遺忘權(quán)”與“脫離自動(dòng)化決策權(quán)”混同,就顯得不合時(shí)宜了。
(三)GDPR權(quán)利體系重構(gòu):回歸序言第71條
歸根結(jié)底,“獲解釋權(quán)”和“被遺忘權(quán)”各自具備深刻的內(nèi)涵和外延,是與“脫離自動(dòng)化決策權(quán)”截然不同的兩種權(quán)利。然而,行使這兩種權(quán)利確實(shí)在一定程度上也能讓數(shù)據(jù)主體“脫離自動(dòng)化決策”,由此引發(fā)的問(wèn)題是,“獲解釋權(quán)”和“被遺忘權(quán)”是否可以被反向視為“脫離自動(dòng)化決策權(quán)”的被動(dòng)權(quán)能和主動(dòng)權(quán)能?易言之,GDPR第13至15條以及第17條,是否是第22條的兩種不同行權(quán)方式?答案無(wú)疑是否定的。
1.“獲解釋權(quán)”的補(bǔ)強(qiáng)條款:GDPR第35條
首先來(lái)看為什么“獲解釋權(quán)”并非“脫離自動(dòng)化決策權(quán)”被動(dòng)權(quán)能。理論上,火力全開(kāi)的“獲解釋權(quán)”,確能為“脫離自動(dòng)化決策”結(jié)果的實(shí)現(xiàn),提供較強(qiáng)助力,因?yàn)橹灰獢?shù)據(jù)控制者或處理者不能向數(shù)據(jù)主體提供合乎情理的行為解釋?zhuān)敲磾?shù)據(jù)搜集和處理將失去正當(dāng)和合法性——作為程序運(yùn)行“燃料”的大數(shù)據(jù)一旦斷供,自動(dòng)化決策將不復(fù)存在,數(shù)據(jù)主體便自然實(shí)現(xiàn)“脫離”。但正如本文第一部分所指出的那樣,GDPR第13至15條只規(guī)定了數(shù)據(jù)主體的事前“獲解釋權(quán)”,數(shù)據(jù)主體在行使這種權(quán)利的時(shí)候自動(dòng)化決策尚未發(fā)生,自然也就沒(méi)有“脫離自動(dòng)化決策”可言。同時(shí),出于對(duì)效用的追求,歐盟立法者具有維持弱式“獲解釋權(quán)”的激勵(lì),不會(huì)貿(mào)然賦予數(shù)據(jù)主體全過(guò)程鏈的“獲解釋權(quán)”。
在第13至15條規(guī)則圓滿(mǎn)性難以為繼的情況下,毋寧以GDPR第35條數(shù)據(jù)控制者和處理者的“數(shù)據(jù)保護(hù)影響評(píng)估義務(wù)”作為其事中和事后補(bǔ)強(qiáng):當(dāng)用戶(hù)側(cè)寫(xiě)可能對(duì)數(shù)據(jù)主體的權(quán)利和自由帶來(lái)高風(fēng)險(xiǎn)時(shí),數(shù)據(jù)控制者或處理者必須在“充分考慮數(shù)據(jù)處理性質(zhì)、范圍、語(yǔ)境和目的的基礎(chǔ)上”,評(píng)估自動(dòng)化決策將對(duì)個(gè)人數(shù)據(jù)保護(hù)造成的影響。第35條對(duì)事中和事后算法可解釋性要求的補(bǔ)充體現(xiàn)在三個(gè)方面:其一,數(shù)據(jù)保護(hù)影響評(píng)估要求對(duì)數(shù)據(jù)處理的可能操作和計(jì)劃目的進(jìn)行系統(tǒng)性描述,形成文字的系統(tǒng)性描述以數(shù)據(jù)控制者所追求的正當(dāng)利益為主要內(nèi)容;其二,數(shù)據(jù)控制者必須對(duì)數(shù)據(jù)的搜集和處理的必要性與相稱(chēng)性進(jìn)行闡述,即用戶(hù)側(cè)寫(xiě)應(yīng)以數(shù)據(jù)控制者的正當(dāng)利益為限,未經(jīng)數(shù)據(jù)主體同意不得犧牲其權(quán)利;其三,當(dāng)數(shù)據(jù)主體的正當(dāng)權(quán)利和數(shù)據(jù)控制者的正當(dāng)利益存在此消彼長(zhǎng)的張力時(shí),數(shù)據(jù)控制者必須在數(shù)據(jù)保護(hù)影響評(píng)估中表明可以采取的應(yīng)急性風(fēng)險(xiǎn)應(yīng)對(duì)措施,包括但不限于GDPR已經(jīng)規(guī)定的法律保障、安全措施和激勵(lì)機(jī)制。從條文結(jié)合可以產(chǎn)生的效果來(lái)看,第13至15條主要是要求數(shù)據(jù)控制者和處理者就事前數(shù)據(jù)挖掘的信息來(lái)源、典型特征和分類(lèi)辦法以及算法程序的運(yùn)作機(jī)理、代碼邏輯和預(yù)期效果進(jìn)行事前解釋?zhuān)?5條則是要求其就事中的系統(tǒng)偏差、運(yùn)行故障和矯正機(jī)制予以說(shuō)明,這實(shí)際上只是在最低限度實(shí)現(xiàn)了算法可解釋性的顯化,并且由于事后解釋的要求仍然孱弱,數(shù)據(jù)主體行使“獲解釋權(quán)”最多只能得到一個(gè)看似將人工智能載體的硬件、軟件和數(shù)據(jù)處理之間的相互作用如何導(dǎo)致自動(dòng)化決策之間因果關(guān)系闡明的解釋。如果心懷善意,數(shù)據(jù)控制者或處理者給出的是“自以為正確的解釋”。如果別有用心,解釋和說(shuō)理的方式將完全取決于擬實(shí)現(xiàn)的經(jīng)濟(jì)或政治目標(biāo)。在這個(gè)意義上,GDPR第13至15條與35條的結(jié)合,勉強(qiáng)構(gòu)建了多重弱化但相對(duì)全面的“獲解釋權(quán)”。
2.“被遺忘權(quán)”的上位條款:GDPR第21條
上文指出,“脫離自動(dòng)化決策權(quán)”并非“被遺忘權(quán)”的行權(quán)方式,因?yàn)?ldquo;被遺忘權(quán)”在人工干預(yù)之外,還包含了數(shù)據(jù)控制者刪除原始頁(yè)面、擦除特定內(nèi)容以及移除相關(guān)鏈接的責(zé)任規(guī)定。更重要的是,“被遺忘權(quán)”的行使,不以自動(dòng)化決策存在為前提。但在自動(dòng)化決策已經(jīng)進(jìn)行的情況下,“被遺忘權(quán)”是否是“脫離自動(dòng)化決策權(quán)”的主動(dòng)權(quán)能呢?這一點(diǎn)將更難證否,因?yàn)閿?shù)據(jù)主體“脫離自動(dòng)化決策”意味著個(gè)人數(shù)據(jù)至少在處理的某個(gè)環(huán)節(jié)得以擦除。
要徹底回答上述問(wèn)題,我們必須換個(gè)角度進(jìn)行梳理。“被遺忘權(quán)”同“獲解釋權(quán)”一樣,是一種獨(dú)立的權(quán)利,兩者均在GDPR正文中進(jìn)行了專(zhuān)門(mén)規(guī)定。略顯突兀的是,為何“被遺忘權(quán)”沒(méi)能像“獲解釋權(quán)”一樣,位列序言第71條所規(guī)定的數(shù)據(jù)主體應(yīng)當(dāng)受到保障的三種基本權(quán)利——獲得人類(lèi)干預(yù)的權(quán)利、表達(dá)異議和質(zhì)疑的權(quán)利、獲取相關(guān)決策解釋的權(quán)利——之中呢?這也牽扯到另一個(gè)問(wèn)題,如果GDPR第17條不是第22條的行權(quán)方式,那么是否存在另一條款作為第17條的上位條款呢?“被遺忘權(quán)”是一種請(qǐng)求權(quán),既可作為單獨(dú)權(quán)利,也可作為實(shí)體權(quán)利的內(nèi)容,但不能脫離基礎(chǔ)權(quán)利而存在。在筆者看來(lái),“被遺忘權(quán)”的權(quán)利基礎(chǔ),是GDPR第21條所規(guī)定的“反對(duì)權(quán)”。從立法技術(shù)來(lái)看,如果第21條只是賦予數(shù)據(jù)主體反對(duì)數(shù)據(jù)處理或用戶(hù)側(cè)寫(xiě)的權(quán)利,而不輔之以必要的反對(duì)措施的話(huà),所謂的反對(duì)只能是紙上談兵。將第17條與第21條結(jié)合,不難看出,行使“被遺忘權(quán)”是數(shù)據(jù)主體反對(duì)數(shù)據(jù)處理或用戶(hù)側(cè)寫(xiě)的有力手段。質(zhì)言之,以“被遺忘權(quán)”作為手段和目的,“反對(duì)權(quán)”才有用武之地。如此,“被遺忘權(quán)”方能同GDPR序言第71條中規(guī)定的三種基本權(quán)利之一——表達(dá)異議和質(zhì)疑的權(quán)利相吻合。
GDPR第17條是第21條行權(quán)方式的最直接證明,莫過(guò)于兩個(gè)條款在文義和結(jié)構(gòu)上的重復(fù)。第17條第1款列舉了可以行使“被遺忘權(quán)”的6種情形:(1)個(gè)人數(shù)據(jù)對(duì)于實(shí)現(xiàn)其被收集或處理的相關(guān)目的不再必要;(2)數(shù)據(jù)主體撤回此前同意;(3)出于公共利益或基于官方權(quán)威進(jìn)行的數(shù)據(jù)搜集和處理的壓倒性原因不復(fù)存在;(4)存在非法處理個(gè)人數(shù)據(jù)的行為;(5)數(shù)據(jù)控制者需要履行特定法律責(zé)任;(6)搜集的社會(huì)服務(wù)相關(guān)信息中包含不滿(mǎn)16周歲未成年人的個(gè)人數(shù)據(jù)。與之相對(duì)應(yīng)的是,第21條的6個(gè)主要條款,幾乎完全是對(duì)第17條第1款中6種情形的機(jī)械重復(fù),即數(shù)據(jù)主體可以反對(duì)數(shù)據(jù)處理和用戶(hù)側(cè)寫(xiě)的6種情形。雖然,第21條還略微增加了用戶(hù)有權(quán)反對(duì)以營(yíng)銷(xiāo)為目的的用戶(hù)側(cè)寫(xiě),以及反對(duì)用于科學(xué)發(fā)明、歷史研究、統(tǒng)計(jì)回歸目的卻不必要于公共利益的數(shù)據(jù)處理,但這兩種情形又同第17條第3款所規(guī)定的情形競(jìng)合??傊珿DPR序言第71條中數(shù)據(jù)主體“表達(dá)異議和質(zhì)疑的權(quán)利”,對(duì)應(yīng)的是GDPR正文第21條所規(guī)定的“反對(duì)權(quán)”,而“反對(duì)權(quán)”則是經(jīng)由第17條所規(guī)定的“被遺忘權(quán)”予以實(shí)現(xiàn)。
3.從“不是”到“是”:揭開(kāi)“脫離自動(dòng)化決策權(quán)”面紗
至此,“獲解釋權(quán)”和“被遺忘權(quán)”已經(jīng)同GDPR序言第71條的兩種基本權(quán)利規(guī)整對(duì)應(yīng),序言第71條余下的“獲得人類(lèi)干預(yù)的權(quán)利”就成為了理解“脫離自動(dòng)化決策權(quán)”的關(guān)鍵所在。“獲解釋權(quán)”和“被遺忘權(quán)”都需要不同程度的“人工介入”,前者是人工對(duì)自動(dòng)化決策予以合理解釋、后者是人工對(duì)過(guò)時(shí)或錯(cuò)誤數(shù)據(jù)進(jìn)行清理,但“人工介入”與“人類(lèi)干預(yù)”在程度和性質(zhì)上都存在著諸多不同。結(jié)合三種權(quán)利之間的顯著差別,筆者認(rèn)為,“脫離自動(dòng)化決策權(quán)”是數(shù)據(jù)主體請(qǐng)求數(shù)據(jù)控制者對(duì)不公正的自動(dòng)化決策結(jié)果進(jìn)行人工干預(yù)的權(quán)利,人工干預(yù)的目的是讓數(shù)據(jù)主體脫離自動(dòng)化決策錯(cuò)上加錯(cuò)的惡性循環(huán)。
在上述定義的基礎(chǔ)上,還需從以下三個(gè)方面來(lái)精確界定“脫離自動(dòng)化決策權(quán)”。其一,“脫離自動(dòng)化決策權(quán)”要求比“獲解釋權(quán)”和“被遺忘權(quán)”更高的人工介入程度,以干預(yù)不公正的自動(dòng)化決策為根本目的。從指向性來(lái)看,“獲解釋權(quán)”和“被遺忘權(quán)”面向過(guò)程,而“脫離自動(dòng)化決策權(quán)”面向結(jié)果,這也從側(cè)面證明了為何針對(duì)算法透明度的“事后解釋”在GDPR中幾乎暫付闕如。其二,“獲解釋權(quán)”“被遺忘權(quán)”和“脫離自動(dòng)化決策權(quán)”共同構(gòu)成了數(shù)據(jù)主體在自動(dòng)化決策的各個(gè)環(huán)節(jié)尋求保護(hù)的手段,三者之間存在層層遞進(jìn)的行權(quán)訴求:當(dāng)數(shù)據(jù)主體對(duì)自動(dòng)化決策存有疑義時(shí)(一般是在事前),可以行使“獲解釋權(quán)”要求合理解釋。在自動(dòng)化決策過(guò)程中(事中),數(shù)據(jù)主體可以行使“被遺忘權(quán)”,請(qǐng)求刪除不準(zhǔn)確的個(gè)人數(shù)據(jù)。當(dāng)不公正的決策結(jié)果產(chǎn)生外部性時(shí)(事后),數(shù)據(jù)主體方才行使“脫離自動(dòng)化決策權(quán)”,消弭自動(dòng)化決策的負(fù)面影響。其三,GDPR第25條規(guī)定了數(shù)據(jù)作業(yè)的基本原則——影響最小化原則和目的適當(dāng)性原則,要求個(gè)人數(shù)據(jù)始終保持“精簡(jiǎn)和鎖定”的被動(dòng)狀態(tài)。在這兩個(gè)原則的約束下,GDPR第22條應(yīng)結(jié)合第25條要求數(shù)據(jù)控制者在數(shù)據(jù)處理過(guò)程中“整合必要的保障措施,以符合GDPR要求保護(hù)數(shù)據(jù)主體的權(quán)利”的規(guī)定進(jìn)行理解,即保障數(shù)據(jù)主體能夠行使“脫離自動(dòng)化決策權(quán)”是自動(dòng)化決策程序設(shè)計(jì)之初,數(shù)據(jù)控制者必須充分考慮并預(yù)留相應(yīng)安排的基礎(chǔ)工作。
綜上所述,以序言第71條為核心展開(kāi),GDPR并非以單一、個(gè)別權(quán)利為依托,而是齊頭并進(jìn)構(gòu)建了充分保障數(shù)據(jù)主體利益的三權(quán)并立的聯(lián)動(dòng)體系,貫穿自動(dòng)化決策的事前、事中和事后全流程,實(shí)現(xiàn)了數(shù)據(jù)把控和程序治理的系統(tǒng)聯(lián)結(jié)。以筆者思路重新解讀GDPR,得到的權(quán)利體系與條文組合機(jī)理如下圖所示。
圖二 GDPR三權(quán)聯(lián)動(dòng)體系組合機(jī)理
三
破除權(quán)利虛幻承諾:去場(chǎng)景化適用與法益衡量
數(shù)據(jù)主體主動(dòng)置身事外的權(quán)利設(shè)計(jì)并不意味著對(duì)自動(dòng)化決策的立場(chǎng)中立,恰是在技術(shù)發(fā)展勢(shì)不可擋的滾滾洪流中以退為進(jìn)、以靜制動(dòng)的高階智慧。到目前為止,我們只是將“脫離自動(dòng)化決策權(quán)”作為一種應(yīng)然權(quán)利進(jìn)行探討,明確其內(nèi)涵并沒(méi)有能夠解決“脫離自動(dòng)化決策權(quán)”長(zhǎng)期難以實(shí)施的窘境。本文第一部分指出,造成“脫離自動(dòng)化決策權(quán)”長(zhǎng)期塵封擱置的狀況,主要源于相關(guān)法條的適用門(mén)檻過(guò)高而豁免門(mén)檻過(guò)低。解決的方案是從權(quán)利的行使要件入手,反其道而行之,向上回溯不同的應(yīng)用場(chǎng)景探討“脫離自動(dòng)化決策權(quán)”的內(nèi)涵和外延,向下檢視切實(shí)可行的制度框架和行權(quán)途徑,為“脫離自動(dòng)化決策權(quán)”的適用奠定良好的制度基礎(chǔ)。
(一)去場(chǎng)景化適用:破除傳統(tǒng)人工智能二分法
一直以來(lái),人工智能系統(tǒng)被人為劃分為“智能系統(tǒng)”(Automatic System,狹義的人工智能)和“輔助系統(tǒng)”(Augmentation System,廣義的人工智能),兩者的差別在于關(guān)涉數(shù)據(jù)主體切身利益的決策,是完全由自動(dòng)化處理作出,還是由自然人在自動(dòng)化系統(tǒng)的輔助下作出。DPID第15條與GDPR第22條顯然認(rèn)可了上述二分法,不僅不對(duì)“輔助系統(tǒng)”生成的自動(dòng)化決策予以限制,還一度將任何程度的人工介入都視為決策非純粹自動(dòng)化處理的證據(jù),使得基于數(shù)據(jù)庫(kù)編碼的計(jì)算機(jī)自動(dòng)化和基于機(jī)器學(xué)習(xí)的算法自動(dòng)化被一攬子歸于“輔助系統(tǒng)”的范疇,而必然屬于“智能系統(tǒng)”的基于神經(jīng)網(wǎng)絡(luò)的超級(jí)自動(dòng)化在短期內(nèi)尚難以普及,“脫離自動(dòng)化決策權(quán)”便淪為了一項(xiàng)“只有在未來(lái)可以行使的權(quán)利”。
對(duì)“輔助系統(tǒng)”的自動(dòng)化決策網(wǎng)開(kāi)一面,并非歐盟專(zhuān)有。2016年,美國(guó)威斯康辛州最高法院在State v. Loomis案中認(rèn)可了法官借助輔助系統(tǒng)進(jìn)行量刑裁判的合理性與正當(dāng)性,長(zhǎng)期引領(lǐng)工會(huì)斗爭(zhēng)之風(fēng)的威斯康辛州的這一舉動(dòng),旋即激發(fā)了學(xué)界對(duì)公共治理領(lǐng)域自動(dòng)化決策濫用的擔(dān)憂(yōu)。連法官司法量刑裁判都可以借用輔助系統(tǒng)完成,人工智能技術(shù)的應(yīng)用是否還存在邊界?大量的研究表明,自然人極易對(duì)機(jī)器產(chǎn)生過(guò)度依賴(lài),并沉醉其中。輔助系統(tǒng)會(huì)降低自然人的職業(yè)警惕,直至其徹底喪失批判性分析的能力。更極端的情況是,為了減少自身的思考與付出,自然人決策會(huì)自然而然地傾向于同自動(dòng)化決策保持一致,原本正確的判斷最終被計(jì)算機(jī)扭轉(zhuǎn),導(dǎo)致失誤疊加的“自反性悖論”。例如,算法工具根據(jù)人群聚集密度和高危人員流動(dòng)軌跡推算出某一區(qū)域可能存在大量的新冠病毒無(wú)癥狀感染者,從而提醒自然人監(jiān)管者對(duì)該區(qū)域進(jìn)行更高頻次的核酸檢測(cè)。高頻次的主動(dòng)檢測(cè)必然會(huì)查出更多的感染者,又將反向刺激公共衛(wèi)生部門(mén)對(duì)該區(qū)域施行更高強(qiáng)度的算法監(jiān)管。在這個(gè)過(guò)程中,輔助系統(tǒng)可能存在的判斷謬誤給自然人監(jiān)管者帶上了有色眼鏡,裹挾其對(duì)特定區(qū)域進(jìn)行“有罪推定式調(diào)查”。
為輔助系統(tǒng)開(kāi)脫的學(xué)者指出,自動(dòng)化系統(tǒng)雖遠(yuǎn)非盡善盡美,但在多數(shù)領(lǐng)域的出錯(cuò)概率遠(yuǎn)低于自然人。即便該觀點(diǎn)得到了實(shí)證研究的支持,萬(wàn)無(wú)一失的自動(dòng)化系統(tǒng)受制于自然人稟賦的情況在現(xiàn)實(shí)中屢見(jiàn)不鮮。以當(dāng)下基于機(jī)器學(xué)習(xí)的算法自動(dòng)化為例,機(jī)器學(xué)習(xí)模型定然具有指數(shù)級(jí)優(yōu)于自然人的算力,但由于大數(shù)據(jù)的結(jié)構(gòu)化處理難以自動(dòng)完成,數(shù)據(jù)處理環(huán)節(jié)的人力資源上限就成為了阻礙機(jī)器學(xué)習(xí)模型發(fā)揮實(shí)力的瓶頸。在自動(dòng)化決策環(huán)節(jié),自然人與生俱來(lái)的情感偏見(jiàn)和價(jià)值負(fù)載,經(jīng)常成為機(jī)器決策的拖累,這點(diǎn)在業(yè)務(wù)審計(jì)、欺詐防范、暴力沖突避免等輔助系統(tǒng)的應(yīng)用場(chǎng)景中已經(jīng)得到反復(fù)證實(shí)。由此可見(jiàn),恰是由于自然人介入,才使得部分原本可能滴水不漏的自動(dòng)化系統(tǒng)紕漏頻出,就此而論,“脫離自動(dòng)化決策權(quán)”的無(wú)差別適用只會(huì)更有必要,而不是相反。
在廣泛的質(zhì)疑聲中,歐盟數(shù)據(jù)保護(hù)部門(mén)發(fā)布了《為實(shí)現(xiàn)監(jiān)管目的的個(gè)人自動(dòng)化決策指南》,要求利用輔助系統(tǒng)的自然人必須“有權(quán)力和有能力質(zhì)疑自動(dòng)化決策且經(jīng)常表達(dá)對(duì)自動(dòng)化決策的異議”。在筆者看來(lái),強(qiáng)行提升自然人參與度的漏洞填補(bǔ)方式過(guò)于理想化,不具備操作性。一方面,鑒于自然人所固有的“工具控”本性,自動(dòng)化決策過(guò)程中的自然人介入,哪怕是充分、飽和式介入,也難以真正對(duì)自動(dòng)化決策形成有效鉗制;另一方面,自動(dòng)化決策失靈的后果固然聳人聽(tīng)聞,但部分失誤恰是由于自然人的不當(dāng)介入產(chǎn)生,所謂的“經(jīng)常表達(dá)異議”要么在日復(fù)一日的重復(fù)決策場(chǎng)中流于形式,要么將進(jìn)一步擾亂自動(dòng)化決策的應(yīng)用規(guī)劃,造成適得其反的效果??紤]到披著輔助系統(tǒng)外衣的自動(dòng)化決策應(yīng)用已經(jīng)結(jié)構(gòu)性嵌入社會(huì)運(yùn)營(yíng)的各個(gè)方面,數(shù)據(jù)主體“脫離自動(dòng)化決策權(quán)”不應(yīng)再以自動(dòng)化決策完全由機(jī)器做出為行權(quán)前提。亦即是說(shuō),沒(méi)有必要再對(duì)“脫離自動(dòng)化決策權(quán)”進(jìn)行基于數(shù)據(jù)庫(kù)編碼的計(jì)算機(jī)自動(dòng)化、基于機(jī)器學(xué)習(xí)的算法自動(dòng)化和基于神經(jīng)網(wǎng)絡(luò)的超級(jí)自動(dòng)化的場(chǎng)景劃分。不過(guò),權(quán)利的實(shí)際意涵還是應(yīng)當(dāng)根據(jù)行權(quán)效果進(jìn)行區(qū)辨:數(shù)據(jù)主體行使“脫離自動(dòng)化決策權(quán)”,在計(jì)算機(jī)自動(dòng)化場(chǎng)景為脫離數(shù)據(jù)采集,在算法自動(dòng)化場(chǎng)景為脫離用戶(hù)側(cè)寫(xiě),在超級(jí)自動(dòng)化場(chǎng)景為脫離平臺(tái)交互。三種場(chǎng)景的共同點(diǎn)是,一旦進(jìn)入“脫離自動(dòng)化決策”的過(guò)程,較高程度的人類(lèi)干預(yù)將覆蓋或者附議已經(jīng)作出的自動(dòng)化決策。
(二)有限豁免:自甘風(fēng)險(xiǎn)讓位于社會(huì)責(zé)任
審視“脫離自動(dòng)化決策權(quán)”的豁免條件設(shè)計(jì),無(wú)論是DPID第15條,還是GDPR第22條,均采用了類(lèi)似早期美國(guó)產(chǎn)品責(zé)任領(lǐng)域“明示的自甘風(fēng)險(xiǎn)”的免責(zé)進(jìn)路,以合同約定、當(dāng)事人同意和特定法定事由作為受侵害方的行權(quán)阻卻事由,其理論依據(jù)是法經(jīng)濟(jì)學(xué)家科斯在《社會(huì)成本問(wèn)題》一文中有關(guān)權(quán)利的安排和界定必然影響經(jīng)濟(jì)資源配置的論述??扑怪赋觯?jīng)濟(jì)的外部性或不效率可以通過(guò)當(dāng)事人的談判得以糾正,從而實(shí)現(xiàn)社會(huì)效用的最大化。本來(lái),美國(guó)的產(chǎn)品生產(chǎn)者受制于1916年聯(lián)邦法院以長(zhǎng)臂規(guī)則取代當(dāng)事人原則判例的束縛,不僅要對(duì)與之具有直接合同關(guān)系的經(jīng)銷(xiāo)商負(fù)責(zé),還要對(duì)任何因其產(chǎn)品缺陷受到傷害的消費(fèi)者(及其家庭成員)和旁觀者負(fù)責(zé)。為了規(guī)避責(zé)任,生產(chǎn)者刻意將自己列為產(chǎn)品銷(xiāo)售合同或用戶(hù)協(xié)議的相對(duì)方,并就特定產(chǎn)品瑕疵和潛在風(fēng)險(xiǎn)以條款約定的方式免除自身責(zé)任。一旦消費(fèi)者因產(chǎn)品瑕疵受到損害將生產(chǎn)者告上法庭,生產(chǎn)者可以立即以消費(fèi)者知情同意或合同約定主張消費(fèi)者自甘風(fēng)險(xiǎn)。在近代法經(jīng)濟(jì)學(xué)理論的影響下,美國(guó)法院一開(kāi)始近乎盲目地認(rèn)可了當(dāng)事人之間“明示自甘風(fēng)險(xiǎn)”約定的效力,甚至不在意當(dāng)事人的約定是否違背了強(qiáng)行法的規(guī)定。
“明示的自甘風(fēng)險(xiǎn)”以受益方對(duì)虧損方的合理補(bǔ)償作為優(yōu)于最大多數(shù)人的最大幸福的法益,在特定的歷史時(shí)期具有合理性。但在人工智能時(shí)代,這種抑“帕累托最優(yōu)”、揚(yáng)“卡爾多—希克斯效率”的做法是十分危險(xiǎn)的。因?yàn)闅v史經(jīng)驗(yàn)表明,技術(shù)進(jìn)步從未促進(jìn)社會(huì)福利的雨露均沾,而是屢屢架空權(quán)力專(zhuān)屬原則和正當(dāng)程序原則,輪番算計(jì)普羅大眾以最大限度實(shí)現(xiàn)監(jiān)管套利。技術(shù)黑箱配合用戶(hù)知情同意,為數(shù)據(jù)控制者為所欲為大開(kāi)方便之門(mén),因特定理由搜集的多渠道信息極有可能被別出心裁地用于不可告人的目的。技術(shù)成為了少數(shù)人牟取暴利的工具,而多數(shù)人無(wú)力反抗。一言以蔽之,“知情同意原則與人們的風(fēng)險(xiǎn)認(rèn)知和數(shù)據(jù)利用的客觀規(guī)律存在矛盾與沖突。”更何況,“獲解釋權(quán)”“被遺忘權(quán)”“脫離自動(dòng)化決策權(quán)”之間本存在“層層遞進(jìn)的行權(quán)訴求”,以合同約定和當(dāng)事人同意作為“脫離自動(dòng)化決策權(quán)”的豁免事由,無(wú)異于直接剝奪了本就身處信息弱勢(shì)地位的數(shù)據(jù)主體最有力的救濟(jì)手段,徹底讓數(shù)據(jù)主體與自動(dòng)化世界的每一次聯(lián)結(jié)都變?yōu)樽愿曙L(fēng)險(xiǎn)。數(shù)據(jù)主體對(duì)合同和協(xié)議的不感冒早已成為業(yè)內(nèi)心照不宣的秘密——關(guān)涉自身重大利益的條款,數(shù)據(jù)主體未必看、看了未必懂、懂了也未必有能力進(jìn)行反駁,部分自動(dòng)化決策服務(wù)動(dòng)輒對(duì)應(yīng)著成百上千頁(yè)的《用戶(hù)須知》,某些銀行的人工智能投資顧問(wèn)服務(wù)甚至要求客戶(hù)對(duì)著屏幕朗讀經(jīng)過(guò)巧妙包裝的特定免責(zé)條款并對(duì)客戶(hù)進(jìn)行錄像。
實(shí)際上,從20世紀(jì)60年代開(kāi)始,美國(guó)法院就已經(jīng)開(kāi)始對(duì)產(chǎn)品責(zé)任領(lǐng)域明示的自甘風(fēng)險(xiǎn)實(shí)踐進(jìn)行糾偏。伴隨著風(fēng)起云涌的民權(quán)運(yùn)動(dòng),美國(guó)產(chǎn)品責(zé)任法從疏忽責(zé)任和擔(dān)保責(zé)任逐漸轉(zhuǎn)變?yōu)閲?yán)格責(zé)任,以無(wú)過(guò)錯(cuò)責(zé)任的追責(zé)框架將產(chǎn)品產(chǎn)銷(xiāo)各個(gè)環(huán)節(jié)的相關(guān)人員都納入其中,自甘風(fēng)險(xiǎn)規(guī)則只在破除產(chǎn)品嚴(yán)格責(zé)任的極少例外情形中得以適用。本質(zhì)上,自動(dòng)化決策可以被看作是數(shù)據(jù)控制者向數(shù)據(jù)主體提供的一種服務(wù),是聚合數(shù)據(jù)的一方通過(guò)人力、物力、資源和環(huán)境所組成的結(jié)構(gòu)系統(tǒng)來(lái)銷(xiāo)售和實(shí)際生產(chǎn)及交付的、能被提供數(shù)據(jù)的另一方購(gòu)買(mǎi)和實(shí)際接收或消費(fèi)的產(chǎn)品,是以非實(shí)物形式存在的勞動(dòng)成果。問(wèn)題是,若不加區(qū)辨地對(duì)此類(lèi)特殊產(chǎn)品或服務(wù)的生產(chǎn)者,即數(shù)據(jù)控制者或處理者,套上嚴(yán)格責(zé)任的枷鎖,將必然阻礙科技創(chuàng)新的步伐。數(shù)據(jù)是現(xiàn)今最重要的生產(chǎn)要素已經(jīng)成為世界共識(shí),各國(guó)為爭(zhēng)奪人工智能技術(shù)制高點(diǎn)可謂不遺余力,不宜將過(guò)高的履責(zé)成本強(qiáng)加于肩負(fù)更高使命的科技類(lèi)企業(yè)。相比起成本過(guò)高的嚴(yán)格責(zé)任,過(guò)錯(cuò)責(zé)任能夠更好地平衡個(gè)體保護(hù)和科技創(chuàng)新的利益沖突——在避免責(zé)任缺位的同時(shí)鼓勵(lì)技術(shù)發(fā)展。筆者認(rèn)為,衡量數(shù)據(jù)控制者有無(wú)過(guò)錯(cuò)的審查標(biāo)準(zhǔn)有二。其一,數(shù)據(jù)控制者是否通過(guò)持續(xù)的信息披露反復(fù)對(duì)數(shù)據(jù)主體作出真實(shí)、準(zhǔn)確、完整的“風(fēng)險(xiǎn)提示”。數(shù)據(jù)控制者在信息披露中應(yīng)對(duì)自動(dòng)化決策可能對(duì)數(shù)據(jù)主體造成的潛在傷害列出清單,對(duì)于清單之外的妨害行為不得以自甘風(fēng)險(xiǎn)為由阻卻數(shù)據(jù)主體行使“脫離自動(dòng)化決策權(quán)”。其二,數(shù)據(jù)的采集和處理是否被用于經(jīng)過(guò)數(shù)據(jù)主體同意的正當(dāng)、唯一目的。為使判定標(biāo)準(zhǔn)進(jìn)一步明晰,還應(yīng)當(dāng)通過(guò)專(zhuān)門(mén)立法的方式,構(gòu)建企業(yè)數(shù)據(jù)利用與分享準(zhǔn)則,對(duì)相對(duì)敏感的隱私信息采取加密儲(chǔ)存、吞吐限制、訪問(wèn)分級(jí)等安全措施。違背相關(guān)規(guī)定的數(shù)據(jù)使用行為,將不得享有“脫離自動(dòng)化決策權(quán)”的豁免。
同樣有必要關(guān)注的是,近年來(lái),公共衛(wèi)生突發(fā)事件頻發(fā),以行政手段促進(jìn)社會(huì)共律對(duì)社會(huì)個(gè)體普遍自律不足的必要補(bǔ)充無(wú)可厚非,但要時(shí)刻警惕由此可能對(duì)用戶(hù)隱私和個(gè)人生活帶來(lái)的變本加厲的騷擾。據(jù)報(bào)道,杭州擬推出“漸變色”健康碼,通過(guò)整合電子病歷、體檢信息甚至生活習(xí)慣等個(gè)人數(shù)據(jù),建立個(gè)人健康指標(biāo)評(píng)價(jià)體系。不僅如此,杭州健康碼應(yīng)用還打算將樓道、社區(qū)和企業(yè)的群體評(píng)價(jià)體系納入自動(dòng)化決策范圍,打造全知全悉的健康生態(tài)服務(wù)圈。從健康碼向“萬(wàn)能碼”之拔擢,仁者見(jiàn)仁、智者見(jiàn)智。單就數(shù)據(jù)主體在此類(lèi)場(chǎng)景中是否享有“脫離自動(dòng)化決策權(quán)”,筆者認(rèn)為,這將取決于以提升公共治理為目的的自動(dòng)化決策,是否同時(shí)為實(shí)現(xiàn)公共利益所必須。一般來(lái)說(shuō),個(gè)人數(shù)據(jù)經(jīng)過(guò)結(jié)構(gòu)化改造后在社會(huì)運(yùn)營(yíng)網(wǎng)絡(luò)中流通,便擺脫個(gè)人掌控范圍成為公共數(shù)據(jù)庫(kù)的有機(jī)組成部分,對(duì)任何自動(dòng)化決策的脫離都將“牽一發(fā)而動(dòng)全身”。從信息的流動(dòng)角度來(lái)看,如果毫無(wú)保留地允許數(shù)據(jù)主體享有對(duì)其數(shù)據(jù)的絕對(duì)權(quán)利,無(wú)疑將侵蝕公共治理領(lǐng)域自動(dòng)化決策的全面性和公正性,破壞國(guó)家治理體系現(xiàn)代化的完整生態(tài)。因此,在涉及公共利益的自動(dòng)化決策場(chǎng)景中,“脫離自動(dòng)化決策權(quán)”的適用只能是例外而非一般原則。此種認(rèn)知同GDPR第23條所囊括的限制情形相符:“出于國(guó)家安全、國(guó)防、公共安全和公共利益等考量,歐盟各成員國(guó)可以通過(guò)立法手段限制第12至22條、34條以及第5條所規(guī)定的責(zé)任與權(quán)利范圍。”GDPR第89條也對(duì)此作出了相應(yīng)規(guī)定:“因?yàn)楣怖妗⒖茖W(xué)或歷史研究或統(tǒng)計(jì)目的而進(jìn)一步處理數(shù)據(jù)…可以對(duì)數(shù)據(jù)主體的防護(hù)措施和權(quán)利進(jìn)行克減。”總之,公共利益與個(gè)人利益總是存在此消彼長(zhǎng)的張力,這是立法者長(zhǎng)期努力調(diào)和卻難以平息的固有矛盾,公共衛(wèi)生領(lǐng)域尤其如此。但倘若能在變動(dòng)不居的法益環(huán)境中,因時(shí)制宜做出彰顯社會(huì)整體價(jià)值的倫理判斷,那便是以看得見(jiàn)的方式實(shí)現(xiàn)了以個(gè)人健康促進(jìn)社會(huì)健康的最大正義。
(三)超越GDPR:保護(hù)人類(lèi)自主性的額外可能
在“獲解釋權(quán)”和“被遺忘權(quán)”的基礎(chǔ)上層層遞進(jìn),以更高程度的人類(lèi)干預(yù)取代較低程度的人工介入,GDPR界定了數(shù)據(jù)主體在請(qǐng)求獲得解釋、表達(dá)異議和反對(duì)之外可以暫時(shí)請(qǐng)求脫離自動(dòng)化決策的權(quán)利,并與其他兩種基本權(quán)利一道構(gòu)成了保護(hù)數(shù)據(jù)主體權(quán)益的、三權(quán)并立的聯(lián)動(dòng)體系。上述探討,一直未跳出DPID與GDPR為“脫離自動(dòng)化決策權(quán)”框定的籬藩,此等認(rèn)知限制勢(shì)必帶來(lái)法律移植方面的困難,因?yàn)楠?dú)立于原框架的“脫離自動(dòng)化決策權(quán)”將再次面臨內(nèi)涵的不穩(wěn)定性和外延的模糊性。
阿芬那留斯指出,人們慣于在經(jīng)驗(yàn)中“攝取”思想、感情和意志,導(dǎo)致經(jīng)驗(yàn)分裂為外在和內(nèi)在,并被迫對(duì)其作主體和客體的劃分,造成的結(jié)果是“‘實(shí)在’被顛倒黑白。”以消除“攝取”為要領(lǐng),公共治理領(lǐng)域的學(xué)者們?cè)噲D尋求應(yīng)對(duì)自動(dòng)化決策的“純粹經(jīng)驗(yàn)”,由此生發(fā)出數(shù)據(jù)主體所應(yīng)當(dāng)具有的“實(shí)在權(quán)利”。這些“實(shí)在權(quán)利”有著顯著詹姆斯“實(shí)用主義”的特征,剔除一切被概念思維加工的權(quán)利屬性,把邏輯的一致性和證實(shí)包括在實(shí)際的功利觀念之中,或多或少還原了“脫離自動(dòng)化決策權(quán)”的“清凈”和“原初”狀態(tài)。
回歸行政法的“自然正義觀”,英國(guó)學(xué)者提出了“陳情權(quán)”的概念,主張保障因某項(xiàng)決策致使自身權(quán)益受損的個(gè)體享有獲得公平聆訊以及請(qǐng)求行政復(fù)議的權(quán)利。盡管人工智能模擬人類(lèi)情感的能力與日俱增,但短期內(nèi)仍然無(wú)法像自然人一樣表達(dá)出有溫度的憐憫、同情和關(guān)愛(ài)。行使陳情權(quán)的目的,是迫使政策制定者以“同為自然人”的立場(chǎng)對(duì)被決策者的實(shí)際遭遇感同身受,憑借其制定出更人性化的政策和法律。在自動(dòng)化決策領(lǐng)域,美國(guó)一直是陳情權(quán)的踐行者,經(jīng)常通過(guò)聽(tīng)證會(huì)的方式對(duì)自動(dòng)化決策失靈予以糾正,讓受害者徹底“脫離自動(dòng)化決策”。例如,2018年1月,在缺乏科學(xué)論證的基礎(chǔ)上,美國(guó)紐約州率先利用預(yù)警保護(hù)系統(tǒng)來(lái)鑒別具有嚴(yán)重家暴傾向的父母,并對(duì)高危兒童進(jìn)行隔離保護(hù)。該系統(tǒng)不僅沒(méi)有大幅降低虐童事件的發(fā)生概率,還造成了上萬(wàn)正常父母同其子女的被迫分離,上線(xiàn)不到半年就引發(fā)眾怒。在數(shù)次聽(tīng)證會(huì)后,當(dāng)局撤銷(xiāo)了此前的自動(dòng)化決策,并放棄了預(yù)警保護(hù)系統(tǒng)的使用。2019年4月,一場(chǎng)針對(duì)密歇根州政府利用人工智能技術(shù)審查社會(huì)救濟(jì)申請(qǐng)的聽(tīng)證會(huì),引發(fā)了逾四萬(wàn)居民對(duì)州政府的集體訴訟。據(jù)悉,用于反欺詐的米達(dá)斯系統(tǒng)出錯(cuò)率高達(dá)93%,致使數(shù)萬(wàn)低保申請(qǐng)者被無(wú)端懲戒。集體訴訟一旦獲勝,全體密歇根居民將徹底脫離米達(dá)斯系統(tǒng)的自動(dòng)化決策,而密歇根州政府將陷入“破產(chǎn)”的境地。
因此,陳情權(quán)雖然能夠取得較好的“脫離自動(dòng)化決策”的效果,但行使該權(quán)利必然伴隨極高的法律成本,且需以成熟的集體訴訟等制度作為配套,有為求正義矯枉過(guò)正之嫌。波斯納指出:“法律并沒(méi)有試圖在最高程度上實(shí)施任何道德準(zhǔn)則……全部承諾的法律實(shí)施成本會(huì)超過(guò)其收益。”可以想象,一旦陳情權(quán)的實(shí)施成本超過(guò)社會(huì)所能承受的臨界值,行使該權(quán)利將失去原本的正當(dāng)性,因?yàn)榫S護(hù)一種正義不應(yīng)以犧牲另一種正義作為代價(jià)。更有可能的情況是,在實(shí)施成本逼近臨界值之前,陳情權(quán)的行使就已經(jīng)自然出現(xiàn)了傳播邊際效用急速遞減的情況。我們身處一個(gè)信息爆炸的時(shí)代,信息增量無(wú)限而注意力極為有限,人們經(jīng)常出現(xiàn)上一分鐘還在為某個(gè)新聞義憤填膺、這一分鐘就已經(jīng)為某條信息拍手叫好、下一分鐘再因某篇軟文淚流滿(mǎn)面的渙散狀態(tài)。面對(duì)人工智能迅猛發(fā)展,人們的心理狀態(tài)也必然會(huì)在“日居月諸,胡迭而微”中從一開(kāi)始的毛骨悚然逐漸過(guò)渡至視若無(wú)睹乃至最終安之若素。信息傳播的規(guī)律表明,只有第一個(gè)、第二個(gè)受害者的陳情能夠引發(fā)較大的公眾關(guān)注,此后相同受害者的再次陳情非但效果將指數(shù)級(jí)遞減,甚至還會(huì)因?yàn)榉磸?fù)陳情引發(fā)受眾內(nèi)心嫌惡的負(fù)面效果,就像一句流行歌詞中所表達(dá)的那樣:“誰(shuí)會(huì)不厭其煩地安慰那無(wú)知的少年?”
公共治理領(lǐng)域的學(xué)者還指出,資訊類(lèi)的自動(dòng)化決策進(jìn)一步將人們本來(lái)就已相當(dāng)渙散的注意力徹底碎片化,預(yù)測(cè)算法和偏好算法更是以“個(gè)性化定制”之名試圖操縱人們的注意力。弗瑞施曼和塞林格在《重塑人性》一書(shū)中指出,如果人類(lèi)想要在21世紀(jì)繼續(xù)保持代理權(quán)和自主意識(shí),就需要在法律層面承認(rèn)“離線(xiàn)權(quán)(the right to be off)”。所謂“離線(xiàn)權(quán)”,顧名思義,即脫離強(qiáng)加于自身的自動(dòng)化決策正常生活的權(quán)利,和“脫離自動(dòng)化決策權(quán)”有異曲同工之妙。弗瑞施曼和塞林格并沒(méi)有為離線(xiàn)權(quán)指明清晰的行權(quán)路徑,離線(xiàn)權(quán)因此被部分學(xué)者從實(shí)操層面解讀為“注意力保護(hù)權(quán)”,即脫離自動(dòng)化內(nèi)容推送和營(yíng)銷(xiāo)類(lèi)用戶(hù)側(cè)寫(xiě)的權(quán)利。范圍限縮的解讀方式雖然極大地束縛了離線(xiàn)權(quán)本來(lái)的綜合意涵,但就其為普羅大眾所灌輸?shù)木芙^被輕易掠奪數(shù)據(jù)紅利的法治觀念和自我保護(hù)意識(shí)而言,意義不可小覷。
自動(dòng)化決策裹挾著人們自然而然地接受構(gòu)建于一個(gè)個(gè)信息繭房之上的“后自主社會(huì)”,并以半將就、半威脅的方式推動(dòng)人們步入“后真相時(shí)代”,亞馬遜公司前首席科學(xué)家維真德在《數(shù)據(jù)為民》一書(shū)的開(kāi)頭給出了一個(gè)重要的前提認(rèn)知:“時(shí)間已經(jīng)認(rèn)識(shí)到,隱私和自主不過(guò)是一種錯(cuò)覺(jué)。”有鑒于此,陳情權(quán)也好、離線(xiàn)權(quán)也罷,任何一種進(jìn)路只要能夠?qū)崿F(xiàn)“脫離自動(dòng)化決策”的效果——哪怕是片刻脫離、部分脫離——也能讓面對(duì)自動(dòng)化決策霸凌早已退無(wú)可退的人類(lèi)有固可守,有險(xiǎn)可依。從這一點(diǎn)來(lái)看,未來(lái)數(shù)據(jù)控制者所需要履行的,恐怕不是一星半點(diǎn)的社會(huì)責(zé)任那么簡(jiǎn)單。
結(jié) 語(yǔ)
“人生而自由,卻無(wú)往不在枷鎖之中”。針對(duì)自動(dòng)化決策的法律應(yīng)對(duì)重點(diǎn)在于,警惕打著促進(jìn)自由幌子的技術(shù)工具,被用來(lái)生成更多難以?huà)昝摰募湘i。馬克思指出,法律乃強(qiáng)權(quán)意志的實(shí)證主義法學(xué)認(rèn)知僅道出了部分真相,法律既是人類(lèi)理性所理解的道德準(zhǔn)則的表達(dá),也是根植于社會(huì)共同體的歷史價(jià)值和規(guī)范的習(xí)慣的派生物。歐盟立法的經(jīng)驗(yàn)和教訓(xùn)表明,多權(quán)并立的聯(lián)動(dòng)體系不一定能夠確保個(gè)人意志可以獨(dú)立、自主地依據(jù)普遍承認(rèn)的法則和習(xí)慣同他人的意志相協(xié)調(diào),反而可能會(huì)因?yàn)椴糠植荒敲粗匾臋?quán)利對(duì)另一些真正重要的權(quán)利的遮蔽和掣肘,阻礙實(shí)質(zhì)公正與有效救濟(jì)的兌現(xiàn)。在人工智能領(lǐng)域,各國(guó)立法者創(chuàng)造出了過(guò)多的于事無(wú)補(bǔ)的完型與范式,來(lái)與廣為人知的毫無(wú)意義的知情同意這一比喻相配。技術(shù)膨脹出的權(quán)力越是絕對(duì),人類(lèi)的尊嚴(yán)就越受到威脅。“獲解釋權(quán)”和“被遺忘權(quán)”至多只能爭(zhēng)取到局促的看似自主和有限自由,而只有在決定自身利益的關(guān)鍵事務(wù)上享有積極參與的權(quán)利,人類(lèi)才有可能維持和延續(xù)在知識(shí)、經(jīng)驗(yàn)和道德上的卓越。在這個(gè)意義上,“脫離自動(dòng)化決策權(quán)”實(shí)乃關(guān)系人類(lèi)共同命運(yùn)的最后一道屏障。
“法者,治之端也”?;氐介_(kāi)頭的例子,如果健康碼對(duì)個(gè)人的風(fēng)險(xiǎn)等級(jí)判定有誤,致使持碼人通行受阻,持碼人撥打12345發(fā)起糾錯(cuò)申請(qǐng),即可視為“脫離自動(dòng)化決策權(quán)”。此時(shí),縣級(jí)防控指揮部既非簡(jiǎn)單地對(duì)持碼人進(jìn)行解釋或心理疏導(dǎo)(讓其接受錯(cuò)誤的結(jié)果)、也非直接擦除或更正個(gè)人數(shù)據(jù)(對(duì)決策結(jié)果在所不問(wèn)),而是通過(guò)自動(dòng)化決策求得的結(jié)果進(jìn)行反向檢視,找到出現(xiàn)差錯(cuò)的環(huán)節(jié),并對(duì)錯(cuò)誤結(jié)果進(jìn)行系列糾偏。如果沒(méi)有環(huán)節(jié)出現(xiàn)差錯(cuò),縣級(jí)防控指揮部也應(yīng)對(duì)判定結(jié)果進(jìn)行自然人審查,并重新形成判定結(jié)果。當(dāng)然,這是高度理想化的情況,但也反映出在自動(dòng)化決策逐步成為國(guó)家治理體系和治理能力現(xiàn)代化重要組成部分的必然趨勢(shì)下,我國(guó)未來(lái)《個(gè)人信息保護(hù)法》中引入“脫離自動(dòng)化決策權(quán)”的必要性。民法典人格權(quán)編對(duì)個(gè)人信息處理確立了合法、正當(dāng)、必要和不過(guò)度的原則,對(duì)信息處理者采取技術(shù)措施和其他必要措施保障信息主體權(quán)益的各項(xiàng)要求和規(guī)定,為“脫離自動(dòng)化決策權(quán)”不再只是一種虛幻承諾預(yù)留了空間。下一步工作是透過(guò)解釋或針對(duì)典型性事件的具體化,將既存規(guī)則和立法顧慮之間的可能沖突加以澄清,發(fā)展出切實(shí)可行、同時(shí)又具備彈性的行權(quán)路徑,讓“脫離自動(dòng)化決策權(quán)”成為我國(guó)人工智能領(lǐng)域良法推進(jìn)善治、將制度優(yōu)勢(shì)轉(zhuǎn)化為國(guó)家治理效能的人權(quán)保障。
微博抽獎(jiǎng)
接下來(lái)我們將送出中國(guó)知網(wǎng)數(shù)據(jù)查詢(xún)卡6份(面值200元/份),快來(lái)試試手氣吧。
可使用范圍涵蓋國(guó)際會(huì)議全文數(shù)據(jù)庫(kù)(IPCD)、中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù)(CPCD)、中國(guó)學(xué)術(shù)期刊網(wǎng)絡(luò)出版總庫(kù)(CAJD)、中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù)(CDFD)等。
獲獎(jiǎng)的讀者朋友,我們將通過(guò)上海市法學(xué)會(huì)官方微博告知卡號(hào)、密碼,在中國(guó)知網(wǎng)首頁(yè)完成賬號(hào)注冊(cè),輸入卡號(hào)、密碼及網(wǎng)頁(yè)驗(yàn)證碼,即可將對(duì)應(yīng)卡面值充入該賬號(hào)。
請(qǐng)各位讀者朋友關(guān)注上海市法學(xué)會(huì)官方微博,參與本次微博抽獎(jiǎng)贈(zèng)卡活動(dòng),#微博學(xué)法律#,#分享有好運(yùn)#!
評(píng)論排行