原創(chuàng) 唐林垚 上海市法學會 收錄于話題#法學47#核心期刊47#原創(chuàng)首發(fā)47#東方法學5

唐林垚 中國社會科學院法學研究所助理研究員，法學博士、博士后。

內(nèi)容摘要

歐盟《通用數(shù)據(jù)保護條例》(GDPR)第22條應作權利而非禁令解，由此產(chǎn)生的“脫離自動化決策權”存在與“更正權”競合之表象、與“獲解釋權”補強之曲解以及與“被遺忘權”混同之誤判。界定該權利應把握兩條主線：(1)GDPR序言第71條賦予數(shù)據(jù)主體的三種基本權利乃相互并列而非互為因果;(2)權利內(nèi)涵隨技術發(fā)展嬗變，在基于數(shù)據(jù)庫編碼的計算機自動化場景為脫離數(shù)據(jù)采集，在基于機器學習的算法自動化場景為脫離用戶側寫，在基于神經(jīng)網(wǎng)絡的超級自動化場景為脫離平臺交互。破除權利失語的關鍵在于適用條件去場景化以及自甘風險式的豁免進路讓位于實現(xiàn)公共利益所必須的法定許可。若不囿于既定框架，陳情權和離線權的重構思路各有合理之處，但應防范可能產(chǎn)生過高的社會成本。

關鍵詞：脫離自動化決策權 更正權 獲解釋權 被遺忘權 豁免規(guī)則 自甘風險

自動化決策是與自然人決策相對立的概念，意指利用計算機技術(1980-2000)、算法程序(2000-2020)、深度學習或神經(jīng)網(wǎng)絡(2020+)替代自然人處理關鍵數(shù)據(jù)，憑借其自動生成對數(shù)據(jù)主體具有法律效果的決策的行為。歐盟《通用數(shù)據(jù)保護條例》(下簡稱GDPR)第22條第1款允許數(shù)據(jù)主體“脫離自動化決策”，國內(nèi)主流學者將其翻譯為“反對自動化決策”或“不受自動化處理的決定的限制”，但依照原文“有權不成為自動化決策支配對象(not to be subject to a decision d solely on automated processing)”之表述，將其譯為“脫離自動化決策”更為妥當。第22條第1款雖然在文義上賦予了數(shù)據(jù)主體脫離完全依靠自動化處理對其做出的具有法律后果決策的權利，可是具體該如何脫離、能夠脫離到何種程度，僅憑第22條無從知曉。

我國雖未進行相關法律移植，但在實踐中以行勝于言的方式，一定程度上實現(xiàn)了上述“脫離自動化決策權”的精神內(nèi)涵。一個貼切的例子是：政府部門允許個人在健康碼的結果同實際情況不符時，撥打12345熱線發(fā)起糾錯申請，經(jīng)縣級防控指揮部核實確認后，即可修改風險判定結果。該實例向我們充分展示了三個深刻的現(xiàn)實：其一，在疫情防控常態(tài)化的背景之下，數(shù)據(jù)主體與自動化決策“脫鉤”將寸步難行，即便行使了“脫離自動化決策權”，也不過是對不公正結果的暫時糾偏，不能、也不可能完全脫離自動化決策;其二，即便效果有限，“脫離自動化決策權”也是一種值得保護的法律權利，因為無論自動化技術有多么先進，出錯在所難免，此時，適當?shù)娜斯そ槿肽藬?shù)據(jù)主體脫離自動化決策失誤的補救之道;其三，“脫離自動化決策權”是一種頗為特殊的權利，有著不同于一般請求權的行使要件和適用場景。例如，GDPR第16條規(guī)定了數(shù)據(jù)主體的“更正權”，允許數(shù)據(jù)主體在不違反處理目的的前提下，完善或更正不充分的個人數(shù)據(jù)。我國網(wǎng)絡安全法也有類似的規(guī)定，且被最新頒布的民法典所吸納，成為人格權編中的重要條款。似乎，撥打12345發(fā)起健康碼糾錯申請，是當事人在行使法定的更正權。對此，需要厘清的是，無論是歐盟還是我國，數(shù)據(jù)主體行使更正權可以更正的對象，只能是個人數(shù)據(jù)而非數(shù)據(jù)經(jīng)自動化處理后產(chǎn)生的決策結果，兩者有著指向性的區(qū)別。就行權擬取得的法律效果而言，“更正權”甚至算不上最低程度的“脫離自動化決策權”。

在自動化應用結構性嵌入社會運營的大趨勢下，“脫離自動化決策權”絕非請求人工介入、修改決策結果這么簡單，否則GDPR第22條大費周章、甚至有些迂回曲折的立法嘗試將毫無必要。“脫離自動化決策權”的內(nèi)涵和外延究竟是什么?與GDPR保障數(shù)據(jù)主體的其他權利有何關聯(lián)和區(qū)別?正確理解“脫離自動化決策權”背后的核心價值與理論基礎，將對我國未來人工智能立法帶來重要啟示。

一

從DPID到GDPR：歷史沿革與理論爭議

“脫離自動化決策權”并非GDPR首創(chuàng)，始見于1995年歐盟《個人數(shù)據(jù)保護指令》(下簡稱DPID)第15條第1款：“數(shù)據(jù)主體享有免受基于用戶側寫的完全自動化決策的權利”。該權利的行使以兩個必要條件為前提：(1)自動化決策必須對數(shù)據(jù)主體造成具有法律后果的重大影響;(2)用戶側寫完全由自動化處理實現(xiàn)。

(一)DPID第15條的歷史遺留問題

DPID是GDPR的前身，兩者前后間隔23年，在此期間，有兩個事實需要注意。其一，自動化決策實現(xiàn)了技術層面的飛躍，逐步改變了探討“脫離自動化決策權”的語境。在制定DPID并推行的20世紀90年代，自動化決策主要指基于數(shù)據(jù)庫編碼的計算機自動化，即利用計算機替代自然人實現(xiàn)唯手熟爾的重復性基礎工作和流程性工作。2000年之后，基于數(shù)據(jù)庫編碼的計算機自動化逐漸讓位于基于機器學習的算法自動化，其實質(zhì)是作為編程理論典范的透過規(guī)則本原尋求邏輯。大數(shù)據(jù)加持機器學習模型，在范圍不確定的環(huán)境中進行規(guī)律挖掘或模式識別，替代自然人實現(xiàn)溫故而知新的基礎性預測工作與規(guī)范性鑒別工作。GDPR自2018年5月開始生效，基于機器學習的算法自動化正逐步向基于神經(jīng)網(wǎng)絡的超級自動化邁進。隨著數(shù)據(jù)平臺的開源共享以及機器學習模型的重疊交互，今天的自動化決策已經(jīng)漸次突破立普斯基所稱“自然人可以、機器人不行”的推理和演繹的智能上限，其獲得識辨特定時期的法律和社會運行宏觀規(guī)律、以超乎常人的洞察力來提供制度解決方案或進行價值判斷的奇點臨近。在這個階段，自動化決策將是“以任何信息技術設備為載體、以持續(xù)控制形式干預和引導日常社會互動的高度自主的精細化治理秩序”。括而言之，雖然用語均是“自動化決策”，但DPID的自動化決策概念僅僅涵蓋了基于數(shù)據(jù)庫編碼的計算機自動化和基于機器學習的算法自動化，而GDPR的自動化決策概念囊括了迄今為止所有的自動化類型。這是筆者研究“脫離自動化決策權”需要顧及的權利適用范圍變化。DPID和GDPR“脫離自動化決策權”的微妙差異如圖一所示。

圖一DPID和GDPR“脫離自動化決策權”之差異

其二，在DPID的整個生命周期內(nèi)，第15條幾乎完全處于休眠狀態(tài)，但GDPR第22條依舊毅然決然地承襲了DPID第15條的規(guī)定，歐盟部長委員會于2018年通過的《關于個人數(shù)據(jù)處理的現(xiàn)代化保護公約》第9條也吸收了DPID第15條的相關規(guī)定。這或許意味著，在基于機器學習的算法自動化和基于神經(jīng)網(wǎng)絡的超級自動化大行其道的場景中，“脫離自動化決策權”更有適用和推廣的必要。此前，“脫離自動化決策權”一直被戲稱為DPID中的“二等權利”，因為在歐盟法院和各成員國法院的審判實踐中，對抗雙方從未就該權利的行使方式和法律效果展開有實質(zhì)意義的辯論：“脫離自動化決策之訴”客觀存在，但是雙方總是聚焦于有爭議的決策是否完全由自動化處理作出。例如，德國聯(lián)邦法院在SCHUFA案中裁定，資信考察系統(tǒng)輸出的信用評價不屬于DPID第15條所界定的完全無人工介入的自動化決策范疇，因為銀行對其客戶的信用評價實由自然人在自動化決策的“輔助”下完成;法國最高法院認為，執(zhí)法者采取算法自動化系統(tǒng)進行裁決輔助，也不受DPID第15條的約束。前歐盟個體保障局在工作報告中指出，DPID第15條不是針對數(shù)據(jù)保護可以推而廣之的一般性原則，而是針對特定自動化用戶側寫的例外原則。伴隨早期立法嘗試鎩羽而歸的新問題是，GDPR第22條相對于DPID第15條的修改，能否讓“脫離自動化決策權”煥發(fā)新的活力呢?

(二)規(guī)則演進與責任豁免

相較于DPID第15條，GDPR第22條的進步主要體現(xiàn)在以下三個方面：

其一，GDPR第22條對于特別敏感的個人數(shù)據(jù)給予了更多關注。第22條第4款規(guī)定，數(shù)據(jù)主體有權脫離依據(jù)涉及種族、民族歷史、政治觀念、工會、基因、自然人健康和性生活取向等數(shù)據(jù)形成的自動化決策。當且僅當數(shù)據(jù)控制者取得數(shù)據(jù)主體的明確同意或為實現(xiàn)公共利益所必須的法定許可時，才能不受干擾地處理此類敏感信息。由此可見，GDPR在個人數(shù)據(jù)類型化處理方面，具有比DPID更高的“顆粒度”。

其二，GDPR第22條拓展了“脫離自動化決策權”的行權范圍，將未成年人的個人數(shù)據(jù)納入特別保護對象。GDPR序言第38條指出，對未成年人個人數(shù)據(jù)的具體保護“尤其應適用于可能供機器學習模型生成用戶側寫的數(shù)據(jù)”。序言第71條規(guī)定，基于用戶側寫的自動化決策不作用于未成年人。相較之下，DPID并未就未成年人數(shù)據(jù)保護作出相關規(guī)定，也難從相關條款中推定未成年人是否應當享有“脫離自動化決策權”。對未成年人個人數(shù)據(jù)予以特殊保護，彰顯出法律順應市場需求與時俱進：隨著互聯(lián)網(wǎng)低齡時代的到來，九零后逐漸成為被輿論拋棄的“后浪”，零零后甚至一零后接過泛娛樂時代的大旗稱雄網(wǎng)絡。研究報告表明，零零后在餐飲、顏值經(jīng)濟等領域已經(jīng)成為消費主力。數(shù)據(jù)控制者深諳“得零零后者得天下”“營銷要從娃娃抓起”“先入為主培養(yǎng)消費習慣”的道理，在巨大商業(yè)利益的誘惑下，社交媒體、電商平臺、視頻網(wǎng)站對未成年數(shù)據(jù)趨之若鶩，競相獲取新生代個體的瀏覽歷史、個人軌跡、消費記錄、點贊和收藏列表等——精準針對未成年人的內(nèi)容推送和價值觀引導接踵而至，個中風險不言而喻。

其三，GDPR第22條拓展了“脫離自動化決策權”的適用范圍，不再局限于DPID第15條“用戶側寫完全由自動化處理實現(xiàn)”的行權限制。依照GDPR第22條“有權不成為自動化決策支配對象，包括用戶側寫”的表述，似乎“自動化決策和用戶側寫”共同構成了“脫離自動化決策權”的適用場景。也即是說，自動化決策無論是否以用戶側寫實現(xiàn)，均可以引發(fā)數(shù)據(jù)主體行使“脫離自動化決策權”。反過來，用戶側寫無論最終是否形成自動化決策，也終將受到GDPR第22條的約束。多名學者對此表達了異議，例如，門德薩和拜格雷夫認為，上述理解方式“違背了第22條的基本原理和立法背景，原文中的‘包括(including)’應當被解釋為‘涉及(involving)’”。布爾坎認為，現(xiàn)今自動化決策必然涉及用戶側寫，因此圍繞第22條的爭議可謂毫無必要。在筆者看來，反對派觀點的學者至少犯了兩個方面的錯誤：(1)未能深入考察自動化決策從最初基于數(shù)據(jù)庫編碼的計算機自動化，到近來基于機器學習的算法自動化，再到未來基于神經(jīng)網(wǎng)絡的超級自動化的躍遷過程，理所當然地認為自動化決策就是機器學習模型依照特定算法進行用戶側寫形成的決策。實際上，自動化決策若由計算機檢索數(shù)據(jù)庫編碼作出，就根本不涉及用戶側寫的過程;若由神經(jīng)網(wǎng)絡的實現(xiàn)，用戶側寫只是超級自動化決策的一個環(huán)節(jié)。(2)將GDPR第22條視為DPID第15條的單純延續(xù)，未能深究措辭變化背后可能蘊藏的政策轉向。概括適用到局部適用的條件變化，使得本來共同構成DPID第15條必要條件的自動化決策和用戶側寫，在GDPR第22條中轉變?yōu)槌浞謼l件。這也從正面證實了，DPID第15條僅允許數(shù)據(jù)主體在基于機器學習模型的算法自動化情形中行使“脫離自動化決策權”，而GDPR第22條可以同時適用于基于數(shù)據(jù)庫編碼的計算機自動化、基于機器學習的算法自動化乃至基于神經(jīng)網(wǎng)絡的超級自動化的所有情形，權利的適用范圍被大大拓寬。

遺憾的是，雖有上述大刀闊斧的修改，自GDPR生效至今，絲毫未見“脫離自動化決策權”的復蘇跡象。作為一項值得被保護的法律權利，為何“脫離自動化決策權”經(jīng)常被遺忘、極少被行使、幾乎與現(xiàn)實相“脫離”?這個問題的答案首先在于GDPR第22條相對于DPID第15條并未發(fā)生實質(zhì)性修改的“適用條件”——數(shù)據(jù)主體有權請求脫離的，必須是“完全依靠自動化處理”產(chǎn)生的決策，這無疑極大地提高了“脫離自動化決策權”的適用門檻。無論是基于數(shù)據(jù)庫編碼的計算機自動化、還是基于機器學習的算法自動化，最低限度的人工介入實為不可避免，無論是出于維護機器運轉之必須、還是確保數(shù)據(jù)結構化處理的一致性、亦或是確認機器學習模型未脫離“算法代碼的韁繩”。針對適用門檻的權威解釋長期缺位，進一步加劇了法條本身的模糊性，使得各參與方只能完全依照字面理解來調(diào)整自身的行為——既然一丁點自然人參與的“蛛絲馬跡”便能推翻數(shù)據(jù)主體對GDPR第22條的信賴利益，“脫離自動化決策權”被完全架空的結果并不出人意料。

“脫離自動化決策權”的式微，還源于過于寬松的豁免條件。DPID第15條規(guī)定，數(shù)據(jù)主體主動要求并同意接受自動化決策服務時，將受到類似“禁止反言原則”的約束;在簽訂合同時，只要數(shù)據(jù)控制者或處理者采取了合適的措施來維護數(shù)據(jù)主體的合法權益，那么純粹自動化決策的效力將不受挑戰(zhàn)。GDPR實際上擴大了DPID的豁免范圍，在第22條第2款中明確規(guī)定了“脫離自動化決策權”不適用的三種情形——當事人同意、法律授權以及合同約定。在上述三種豁免情形之外，GDPR第4款額外增加了需要和其他法條相互參照的行權限制條件。第22條第3款雖然對豁免條件進行了適當限縮，要求“數(shù)據(jù)控制者應當采取充分措施保障數(shù)據(jù)主體的權利、自由和正當利益，允許數(shù)據(jù)主體對數(shù)據(jù)控制者進行人工干涉，以便表達其觀點和對決策表達異議的基本權利”。但是深究該款措辭不難看出，在豁免情形中，數(shù)據(jù)控制者依法應當保障數(shù)據(jù)主體的，只是“數(shù)據(jù)主體進行人工干涉”而非“數(shù)據(jù)主體請求數(shù)據(jù)控制者進行人工干涉”的權利，并且，數(shù)據(jù)主體進行人工干涉是為了表達其觀點和對決策表達異議，具有“反對權”而非“脫離自動化決策權”的外觀。易言之，“脫離自動化決策權”豁免條件生效，只需以對反對權的保障作為前提，而反對權已在GDPR第21條中得以單獨規(guī)定：“出于公共利益、官方權威、控制者或第三方追求正當利益所進行的數(shù)據(jù)處理，包括根據(jù)相關規(guī)定進行的用戶側寫，數(shù)據(jù)主體有權隨時反對。”第22條第3款對第21條的簡單重復并未實質(zhì)性提高數(shù)據(jù)控制者的豁免門檻。

(三)“權利”與“禁令”的實質(zhì)之爭

在適用條件苛刻、豁免門檻過低的雙重制約下，“脫離自動化決策權”賦予數(shù)據(jù)主體的權利在法律上并非以“可執(zhí)行的狀態(tài)”存在，數(shù)據(jù)執(zhí)法機關在實踐中也很難將第22條作為切實可行的執(zhí)法依據(jù)。實踐中，對GDPR第22條的內(nèi)在屬性的認識割裂，在立法者和執(zhí)法者之間漸次成型：立法者認為自己為數(shù)據(jù)主體創(chuàng)設了一種在特定情形中可以行使的權利，但執(zhí)法者只將其視為針對特定類型自動化決策的禁令。與GDPR相對應的《歐盟執(zhí)法指令》(下簡稱LED)第11條針對特殊類型的自動化決策連續(xù)使用了三個“禁止”，顯然是將GDPR第22條視為一條禁令，招來了多數(shù)成員國的質(zhì)疑。從執(zhí)法者的角度來看，禁令思維確實更易于執(zhí)法活動的開展，也在表面上維護了GDPR與LED的和諧統(tǒng)一。但此種“為了執(zhí)行而執(zhí)行”的粗淺認識罔顧了歐盟立法者在個人數(shù)據(jù)保護方面的大局觀，強行以LED第11條的規(guī)定去統(tǒng)合GDPR第22條的實現(xiàn)方式反倒會破壞歐盟整體數(shù)據(jù)保護框架的一致性。

在筆者看來，以權利思維而非禁令思維理解GDPR第22條，至少有三點好處：其一，承認GDPR第22條為數(shù)據(jù)主體可以行使的“脫離自動化決策權”，同第22條的字面表述相吻合，同時也符合立法者以法律規(guī)則“鉗制”自動化決策過程的主觀想象;其二，權利思維契合當下自動化決策被廣泛應用于私營和公共部門的現(xiàn)實，對特定類型的自動化決策不宜一概禁止而應當考察其應用場景;其三，權利思維更符合辯證法所崇尚的自然科學觀，即自動化決策完全可以給社會整體帶來可觀的利益，而非總是因外部性擴散催生社會成本?？偠灾?，以禁令思維理解GDPR第22條的做法過于簡單，這其實是LED其他條款也或多或少存在的共性問題，反映出人工智能領域立法者與執(zhí)法者難以消磨的思維偏差以及由此產(chǎn)生的釋法斷層——可解釋的法律不可執(zhí)行、可執(zhí)行的法律不合解釋;如何盡可能縮小兩者之間的差距，是在規(guī)則的應然和實然爭辯之外，值得學術界和實務界上下求索的基礎問題。

作為一項披著禁令外衣的權利，“脫離自動化決策權”本質(zhì)上是一項請求權，是自動化決策關系中數(shù)據(jù)主體請求數(shù)據(jù)控制者“為或不為一定行為的權利”，數(shù)據(jù)主體不能對自動化決策的權利標的進行直接支配，而只能請求數(shù)據(jù)主體予以配合。由此引出了本文的關鍵問題，“脫離自動化決策權”究竟賦予了數(shù)據(jù)主體哪些請求數(shù)據(jù)控制者“為什么”與“不為什么”的權利?

長期以來，有關GDPR第22條所界定的權利性質(zhì)、正當性與適用范圍的爭論從未停止，由此形成的學說千姿百態(tài)，其中存在兩種常見的誤解。一種誤解是將GDPR第22條視為算法可解釋性要求的圓心，與GDPR中“獲解釋權”的多個條款互為補強;另一種誤解是將“脫離自動化決策權”與“被遺忘權”混為一談，將數(shù)據(jù)主體脫離自動化決策的嘗試等同于向數(shù)據(jù)控制者行使擦除個人數(shù)據(jù)的請求權。在應用層面上，將“脫離自動化決策權”視為數(shù)據(jù)主體請求“獲解釋”或者“被遺忘”的權利，具有一定的可操作性，實為將GDPR第22條作權利解的大前提下，權利思維向禁令思維有限度的靠攏的折衷之舉。這兩種不同的理解進路，正是導致“脫離自動化決策”被翻譯為“反對自動化決策”或“不受自動化處理的決定的限制”的根本原因，也同時反映出各版本譯者絕非生硬干澀地對原文進行單純直譯，而是在極高的人工智能法學造詣之上融入了自身對GDPR各條款的深入理解，縝密的法律思維可以從別具匠心的意譯表達中窺見一斑。那么，“脫離自動化決策權”同“獲解釋權”“被遺忘權”之間的區(qū)別是什么?各權利之間的區(qū)別是虛是實?從權利思維出發(fā)，GDPR為即將到來的超級自動化時代建立了怎樣的制度防火墻?“脫離自動化決策權”在自動化治理中的地位和功用是什么?

二

必也正名乎：三權并立的聯(lián)動體系

本部分將從“脫離自動化決策權”同“獲解釋權”“被遺忘權”的差異入手，一則反思“脫離自動化決策權”的立法初衷;二則探討“脫離自動化決策權”的實質(zhì)內(nèi)涵。

(一)“脫離自動化決策權”非“獲解釋權”之補強

大數(shù)據(jù)、云計算和人工智能技術的突飛猛進，“革命性地改變了網(wǎng)絡空間內(nèi)主體的能力差異和關系結構”，傳統(tǒng)的法律制度難以應對技術黑箱掩映之下受眾操控、信息尋租和監(jiān)管套利的三重失控，對算法可解釋性的合規(guī)要求應運而生。雖有學者反復指出，旨在提升算法透明度的硬性規(guī)定“既不可行，也無必要”，但在漫長的監(jiān)管實踐中，算法可解釋性的合規(guī)要求還是成為了世界各國人工智能法律法規(guī)的核心要旨，即便是那些高度依賴事后問責機制的國家，也不否認算法可解釋性實乃人工智能時代“對抗數(shù)據(jù)個體的主體性和自治性淪陷和喪失的內(nèi)在之善”，是明確自動化決策主體性、因果性和相關性以確定和分配算法責任的重要前提。究其根源，在公眾問責空前加強的年代，任何新技術的批量部署都必然被置于傳媒與社會持續(xù)性互動的場域之中，以逐漸打消公眾質(zhì)疑、充分回應社情民意以及成功取得多數(shù)人同意為其合法性基礎。

令人感到疑惑的是，在制定過程中反復強調(diào)算法可解釋性有多么重要的GDPR，只在條例第5條第1款籠統(tǒng)地要求對涉及數(shù)據(jù)主體的個人數(shù)據(jù)，應以合法、合理、透明的方式進行處理。顯然，公開透明的數(shù)據(jù)處理方式并不足以確保算法可解釋性，頂多被視為算法可解釋性眾多構成要件中不可或缺的一環(huán)。實踐中，人們不得不結合GDPR的序言，為算法可解釋性要求尋找依據(jù)。GDPR序言第71條指出，接受算法自動化決策的數(shù)據(jù)主體應當享有“適當?shù)谋Ｗo”，因為潛在的機器錯誤和數(shù)據(jù)歧視極有可能給整個社會帶來“偏見和不公”。第71條隨即將“適當?shù)谋Ｗo”分為三類：一是獲得人類干預的權利;二是表達異議和質(zhì)疑的權利;三是獲取相關決策解釋的權利。就此而論，GDPR是從數(shù)據(jù)主體“獲解釋權”的進路出發(fā)，來反向構建算法可解釋性的合規(guī)要求。佐證這一現(xiàn)實的依據(jù)是，GDPR第13條、第14條、第15條分別規(guī)定了直接從數(shù)據(jù)主體獲得個人數(shù)據(jù)、間接從數(shù)據(jù)主體獲得個人數(shù)據(jù)以及因各類原因訪問個人數(shù)據(jù)的數(shù)據(jù)控制者向數(shù)據(jù)主體履行詳細信息披露義務以及就特定事項進行進一步解釋說明的義務，尤其是“決策過程所涉及的邏輯程序及其對數(shù)據(jù)主體的重要意義和可能影響”。

但是，從GDPR第13至15條引申出來的“獲解釋權”完全局限于數(shù)據(jù)的搜集和處理階段，如此“事前解釋”只能膚淺地讓數(shù)據(jù)主體得知自己個人數(shù)據(jù)的處理概況和潛在影響，并不能讓數(shù)據(jù)主體真正知曉最終形成的自動化決策與其當下際遇之間的因果關聯(lián)。很明顯，處于信息極度弱勢地位的數(shù)據(jù)主體，主動行使“獲解釋權”的理想預期，是要獲得其在承受自動化決策階段的事中和事后解釋，而GDPR對此語焉不詳。在此種背景下，部分學者將GDPR第22條視為同第13至15條的銜接，補足了事中和事后“獲解釋權”的法律真空。

誠然，GDPR字面規(guī)定的“獲解釋權”確實存在事前、事中和事后脫節(jié)，導致權利難以覆蓋自動化決策全過程的問題，但是，銜接斷裂的問題完全可以通過直接補充規(guī)定的方式予以修復，實在沒有必要在距離13至15條“至少7條開外的”第22條中以如此晦澀、隱蔽的方式對事中和事后的“獲解釋權”進行界定。歐盟立法者之所以不在GDPR中建立完整的“獲解釋權”鏈條，極有可能源于兩個層面的思考和顧慮。其一，批評者們看到的是一個設定一項“獲解釋權”就可以讓自動化決策可解釋的世界，而這種理想愿景同當今技術運作的現(xiàn)實情況存在巨大鴻溝。尤其是在事中和事后階段，隨著機器學習模型的日益復雜、卷積神經(jīng)網(wǎng)絡的廣泛適用、數(shù)據(jù)搜集源頭的交匯重疊，要真正就自動化決策的運作原理與裁判機制作出詳細且外行人也能理解的解釋，可謂難上加難。事前的各類解釋或許有助于數(shù)據(jù)主體作出是否同意自動化決策的判斷，但考慮到人工智能是以技術手段對自然人的深度仿生，以預期效果為導向的、事中和事后的因果關聯(lián)嘗試極易將物質(zhì)表象的經(jīng)驗規(guī)律同內(nèi)在直覺的感性判斷混淆起來，最終只能得到故弄玄虛、毫無根據(jù)的假設而非解釋。其二，算法可解釋性的合規(guī)要求，必然伴隨相當可觀的合規(guī)成本。“獲解釋權”的規(guī)定越是完整無遺漏，身處信息弱勢地位的數(shù)據(jù)主體前期締約和談判的成本就越低，但因此增加的其他成本則完全由數(shù)據(jù)控制者或處理者概括承受。長期以來，對于此類成本轉嫁是否合理的爭論從未平息。一方面，正如上文所指出的那樣，數(shù)據(jù)控制者針對自動化決策進行的事中和事后解釋極有可能屬于徒勞無功的解釋，經(jīng)常是“解釋了也是白解釋”;另一方面，完整意義上的“獲解釋權”至少在一定程度上有助于消弭算法歧視、降低數(shù)據(jù)控制者和數(shù)據(jù)主體之間的信息不對稱。對于此類“或有或無”的法律規(guī)則，現(xiàn)代法經(jīng)濟學給我們的教義是：應當衡量法律實施的成本與潛在社會收益之間孰輕孰重，即那些看似公平的原則是否同時也是那些符合效率的原則。在全球人工智能競爭白熱化的階段，說服各國政府和跨國大型公司建立事前、事中和事后的“獲解釋權”閉環(huán)實屬癡人說夢。

(二)“脫離自動化決策權”不與“被遺忘權”混同

在“脫離自動化決策權”難同“獲解釋權”等量齊觀的情況下，另有一些學者試圖將GDPR第22條視為“被遺忘權”相關條款的延伸乃至重復。因為在歷史上，“被遺忘權”的創(chuàng)設同“脫離自動化決策權”的發(fā)展有著千絲萬縷的聯(lián)系。

在2010年Google Spain v. Costeja Gonzalez案中(以下簡稱谷歌案)，原告要求被告谷歌公司刪除12年前因為房屋網(wǎng)絡拍賣而在搜索引擎中陳列的、已經(jīng)過時的個人信息。歐盟法院在裁判時，從DPID中推導出了數(shù)據(jù)主體應當享有的“被遺忘權”，依據(jù)是第6條“個人數(shù)據(jù)的處理應當適當、相關、同被處理(以及進一步處理)的目的吻合，在必要時進行更新以保證準確性”以及第12條允許數(shù)據(jù)主體“更正、擦除以及屏蔽不符合DPID所規(guī)定的處理的數(shù)據(jù)”。2013年歐盟《信息安全技術公共及商用服務信息系統(tǒng)個人信息保護指南》吸收了歐盟法院的判決和DPID的前述規(guī)定，直截了當?shù)亟ㄗh：“當數(shù)據(jù)主體有正當理由要求刪除其個人數(shù)據(jù)時，應及時刪除個人數(shù)據(jù)。”GDPR第17條對“被遺忘權”進行了直接規(guī)定：“數(shù)據(jù)主體有權要求數(shù)據(jù)控制者擦除關于其個人數(shù)據(jù)的權利。”

“被遺忘權”與“脫離自動化決策權”的混同，源于谷歌案引發(fā)的有關搜索引擎性質(zhì)的爭議。一方認為，搜索引擎只是數(shù)據(jù)的媒介，而非嚴格意義上的數(shù)據(jù)控制者或者處理者，一如谷歌的首席法律顧問沃克在接受《紐約客》采訪時所言：“我們不創(chuàng)造信息，只是讓信息變得可訪問。”另一方則針鋒相對地指出，搜索引擎在信息處理方面并非全然被動，結果的呈現(xiàn)方式與先后次序，即是搜索引擎處理數(shù)據(jù)后形成的自動化決策。從搜索引擎公司“競價排名”的常見盈利手段來看，顯然后者的觀點更有說服力。將搜索引擎確認為數(shù)據(jù)控制者，可以推導出一個能夠達成共識的認知，即谷歌案中原告向谷歌公司行使“被遺忘權”，是希望谷歌公司能夠對特定搜索結果進行人工干預，實現(xiàn)“脫離自動化決策權”的行權效果。應原告訴求進行人工干預的結果并非真正讓原告在網(wǎng)絡世界中“被遺忘”，而是讓谷歌的搜索界面不再將原告已經(jīng)過時的信息納入排序算法。也即是說，作為數(shù)據(jù)主體的原告行使“被遺忘權”擬達到的效果實際上是脫離搜索引擎的自動化決策。此種做法自欺欺人的地方體現(xiàn)在，搜索引擎沒有辦法、也沒有權力真正刪除所有包含數(shù)據(jù)主體希望被遺忘信息的頁面，而只能將這些頁面在搜索結果中隱去，如果在地址欄中輸入這些頁面的網(wǎng)址，仍將能夠打開這些頁面。需要注意的是，有不少熱門網(wǎng)站專門記錄谷歌刪除或移除掉的鏈接，例如Hidden From Google、Wikimedia和Reddit等，使得希冀行使“被遺忘權”的數(shù)據(jù)主體常常陷入越描越黑的境地，即使脫離了搜索引擎的自動化決策也脫離不了“好事者竟趨焉”的無事生非。在這個意義上，“脫離自動化決策權”似乎是行使“被遺忘權”的主要手段，也是行使“被遺忘權”能夠實現(xiàn)的最低目的，部分學者將GDPR第22條視為對第17條“有益而有必要的重申”就不足為奇了。

但是，“被遺忘權”并不能在所有情形中都等同于“脫離自動化決策權”。只需在谷歌案的基礎上稍微做一點延伸，就能理解“被遺忘權”的獨特之處。原告向谷歌公司行使“被遺忘權”，最終只能達至“脫離自動化決策權”的效果，這是由于搜索引擎的特殊性質(zhì)所決定的。如果希望達到被徹底遺忘的效果，原告應該一一向刊登原告?zhèn)€人數(shù)據(jù)的頁面所有者行使“被遺忘權”。這些被搜索引擎直接抓取的頁面，是純粹的信息刊載或轉載方，幾乎不涉及自動化決策，只需簡單地從服務器中刪除頁面，即可履行數(shù)據(jù)主體的被遺忘請求。這個過程雖然也涉及人工干預，但同行使“脫離自動化決策權”有著天壤之別，是以刪除內(nèi)容、移除鏈接作為權利行使的主要法律后果。實際上，搜索引擎要想完全履行數(shù)據(jù)主體的被遺忘請求，除了以人工干預的方式將數(shù)據(jù)主體從自動化決策中剔除出去之外，還需要在其服務器中一一手動刪除相關頁面的快照，且刪除過程的工作量甚至不低于脫離過程的工作量。在上述認知的基礎上，還要強行將“被遺忘權”與“脫離自動化決策權”混同，就顯得不合時宜了。

(三)GDPR權利體系重構：回歸序言第71條

歸根結底，“獲解釋權”和“被遺忘權”各自具備深刻的內(nèi)涵和外延，是與“脫離自動化決策權”截然不同的兩種權利。然而，行使這兩種權利確實在一定程度上也能讓數(shù)據(jù)主體“脫離自動化決策”，由此引發(fā)的問題是，“獲解釋權”和“被遺忘權”是否可以被反向視為“脫離自動化決策權”的被動權能和主動權能?易言之，GDPR第13至15條以及第17條，是否是第22條的兩種不同行權方式?答案無疑是否定的。

1.“獲解釋權”的補強條款：GDPR第35條

首先來看為什么“獲解釋權”并非“脫離自動化決策權”被動權能。理論上，火力全開的“獲解釋權”，確能為“脫離自動化決策”結果的實現(xiàn)，提供較強助力，因為只要數(shù)據(jù)控制者或處理者不能向數(shù)據(jù)主體提供合乎情理的行為解釋，那么數(shù)據(jù)搜集和處理將失去正當和合法性——作為程序運行“燃料”的大數(shù)據(jù)一旦斷供，自動化決策將不復存在，數(shù)據(jù)主體便自然實現(xiàn)“脫離”。但正如本文第一部分所指出的那樣，GDPR第13至15條只規(guī)定了數(shù)據(jù)主體的事前“獲解釋權”，數(shù)據(jù)主體在行使這種權利的時候自動化決策尚未發(fā)生，自然也就沒有“脫離自動化決策”可言。同時，出于對效用的追求，歐盟立法者具有維持弱式“獲解釋權”的激勵，不會貿(mào)然賦予數(shù)據(jù)主體全過程鏈的“獲解釋權”。

在第13至15條規(guī)則圓滿性難以為繼的情況下，毋寧以GDPR第35條數(shù)據(jù)控制者和處理者的“數(shù)據(jù)保護影響評估義務”作為其事中和事后補強：當用戶側寫可能對數(shù)據(jù)主體的權利和自由帶來高風險時，數(shù)據(jù)控制者或處理者必須在“充分考慮數(shù)據(jù)處理性質(zhì)、范圍、語境和目的的基礎上”，評估自動化決策將對個人數(shù)據(jù)保護造成的影響。第35條對事中和事后算法可解釋性要求的補充體現(xiàn)在三個方面：其一，數(shù)據(jù)保護影響評估要求對數(shù)據(jù)處理的可能操作和計劃目的進行系統(tǒng)性描述，形成文字的系統(tǒng)性描述以數(shù)據(jù)控制者所追求的正當利益為主要內(nèi)容;其二，數(shù)據(jù)控制者必須對數(shù)據(jù)的搜集和處理的必要性與相稱性進行闡述，即用戶側寫應以數(shù)據(jù)控制者的正當利益為限，未經(jīng)數(shù)據(jù)主體同意不得犧牲其權利;其三，當數(shù)據(jù)主體的正當權利和數(shù)據(jù)控制者的正當利益存在此消彼長的張力時，數(shù)據(jù)控制者必須在數(shù)據(jù)保護影響評估中表明可以采取的應急性風險應對措施，包括但不限于GDPR已經(jīng)規(guī)定的法律保障、安全措施和激勵機制。從條文結合可以產(chǎn)生的效果來看，第13至15條主要是要求數(shù)據(jù)控制者和處理者就事前數(shù)據(jù)挖掘的信息來源、典型特征和分類辦法以及算法程序的運作機理、代碼邏輯和預期效果進行事前解釋，第35條則是要求其就事中的系統(tǒng)偏差、運行故障和矯正機制予以說明，這實際上只是在最低限度實現(xiàn)了算法可解釋性的顯化，并且由于事后解釋的要求仍然孱弱，數(shù)據(jù)主體行使“獲解釋權”最多只能得到一個看似將人工智能載體的硬件、軟件和數(shù)據(jù)處理之間的相互作用如何導致自動化決策之間因果關系闡明的解釋。如果心懷善意，數(shù)據(jù)控制者或處理者給出的是“自以為正確的解釋”。如果別有用心，解釋和說理的方式將完全取決于擬實現(xiàn)的經(jīng)濟或政治目標。在這個意義上，GDPR第13至15條與35條的結合，勉強構建了多重弱化但相對全面的“獲解釋權”。

2.“被遺忘權”的上位條款：GDPR第21條

上文指出，“脫離自動化決策權”并非“被遺忘權”的行權方式，因為“被遺忘權”在人工干預之外，還包含了數(shù)據(jù)控制者刪除原始頁面、擦除特定內(nèi)容以及移除相關鏈接的責任規(guī)定。更重要的是，“被遺忘權”的行使，不以自動化決策存在為前提。但在自動化決策已經(jīng)進行的情況下，“被遺忘權”是否是“脫離自動化決策權”的主動權能呢?這一點將更難證否，因為數(shù)據(jù)主體“脫離自動化決策”意味著個人數(shù)據(jù)至少在處理的某個環(huán)節(jié)得以擦除。

要徹底回答上述問題，我們必須換個角度進行梳理。“被遺忘權”同“獲解釋權”一樣，是一種獨立的權利，兩者均在GDPR正文中進行了專門規(guī)定。略顯突兀的是，為何“被遺忘權”沒能像“獲解釋權”一樣，位列序言第71條所規(guī)定的數(shù)據(jù)主體應當受到保障的三種基本權利——獲得人類干預的權利、表達異議和質(zhì)疑的權利、獲取相關決策解釋的權利——之中呢?這也牽扯到另一個問題，如果GDPR第17條不是第22條的行權方式，那么是否存在另一條款作為第17條的上位條款呢?“被遺忘權”是一種請求權，既可作為單獨權利，也可作為實體權利的內(nèi)容，但不能脫離基礎權利而存在。在筆者看來，“被遺忘權”的權利基礎，是GDPR第21條所規(guī)定的“反對權”。從立法技術來看，如果第21條只是賦予數(shù)據(jù)主體反對數(shù)據(jù)處理或用戶側寫的權利，而不輔之以必要的反對措施的話，所謂的反對只能是紙上談兵。將第17條與第21條結合，不難看出，行使“被遺忘權”是數(shù)據(jù)主體反對數(shù)據(jù)處理或用戶側寫的有力手段。質(zhì)言之，以“被遺忘權”作為手段和目的，“反對權”才有用武之地。如此，“被遺忘權”方能同GDPR序言第71條中規(guī)定的三種基本權利之一——表達異議和質(zhì)疑的權利相吻合。

GDPR第17條是第21條行權方式的最直接證明，莫過于兩個條款在文義和結構上的重復。第17條第1款列舉了可以行使“被遺忘權”的6種情形：(1)個人數(shù)據(jù)對于實現(xiàn)其被收集或處理的相關目的不再必要;(2)數(shù)據(jù)主體撤回此前同意;(3)出于公共利益或基于官方權威進行的數(shù)據(jù)搜集和處理的壓倒性原因不復存在;(4)存在非法處理個人數(shù)據(jù)的行為;(5)數(shù)據(jù)控制者需要履行特定法律責任;(6)搜集的社會服務相關信息中包含不滿16周歲未成年人的個人數(shù)據(jù)。與之相對應的是，第21條的6個主要條款，幾乎完全是對第17條第1款中6種情形的機械重復，即數(shù)據(jù)主體可以反對數(shù)據(jù)處理和用戶側寫的6種情形。雖然，第21條還略微增加了用戶有權反對以營銷為目的的用戶側寫，以及反對用于科學發(fā)明、歷史研究、統(tǒng)計回歸目的卻不必要于公共利益的數(shù)據(jù)處理，但這兩種情形又同第17條第3款所規(guī)定的情形競合?？傊?，GDPR序言第71條中數(shù)據(jù)主體“表達異議和質(zhì)疑的權利”，對應的是GDPR正文第21條所規(guī)定的“反對權”，而“反對權”則是經(jīng)由第17條所規(guī)定的“被遺忘權”予以實現(xiàn)。

3.從“不是”到“是”：揭開“脫離自動化決策權”面紗

至此，“獲解釋權”和“被遺忘權”已經(jīng)同GDPR序言第71條的兩種基本權利規(guī)整對應，序言第71條余下的“獲得人類干預的權利”就成為了理解“脫離自動化決策權”的關鍵所在。“獲解釋權”和“被遺忘權”都需要不同程度的“人工介入”，前者是人工對自動化決策予以合理解釋、后者是人工對過時或錯誤數(shù)據(jù)進行清理，但“人工介入”與“人類干預”在程度和性質(zhì)上都存在著諸多不同。結合三種權利之間的顯著差別，筆者認為，“脫離自動化決策權”是數(shù)據(jù)主體請求數(shù)據(jù)控制者對不公正的自動化決策結果進行人工干預的權利，人工干預的目的是讓數(shù)據(jù)主體脫離自動化決策錯上加錯的惡性循環(huán)。

在上述定義的基礎上，還需從以下三個方面來精確界定“脫離自動化決策權”。其一，“脫離自動化決策權”要求比“獲解釋權”和“被遺忘權”更高的人工介入程度，以干預不公正的自動化決策為根本目的。從指向性來看，“獲解釋權”和“被遺忘權”面向過程，而“脫離自動化決策權”面向結果，這也從側面證明了為何針對算法透明度的“事后解釋”在GDPR中幾乎暫付闕如。其二，“獲解釋權”“被遺忘權”和“脫離自動化決策權”共同構成了數(shù)據(jù)主體在自動化決策的各個環(huán)節(jié)尋求保護的手段，三者之間存在層層遞進的行權訴求：當數(shù)據(jù)主體對自動化決策存有疑義時(一般是在事前)，可以行使“獲解釋權”要求合理解釋。在自動化決策過程中(事中)，數(shù)據(jù)主體可以行使“被遺忘權”，請求刪除不準確的個人數(shù)據(jù)。當不公正的決策結果產(chǎn)生外部性時(事后)，數(shù)據(jù)主體方才行使“脫離自動化決策權”，消弭自動化決策的負面影響。其三，GDPR第25條規(guī)定了數(shù)據(jù)作業(yè)的基本原則——影響最小化原則和目的適當性原則，要求個人數(shù)據(jù)始終保持“精簡和鎖定”的被動狀態(tài)。在這兩個原則的約束下，GDPR第22條應結合第25條要求數(shù)據(jù)控制者在數(shù)據(jù)處理過程中“整合必要的保障措施，以符合GDPR要求保護數(shù)據(jù)主體的權利”的規(guī)定進行理解，即保障數(shù)據(jù)主體能夠行使“脫離自動化決策權”是自動化決策程序設計之初，數(shù)據(jù)控制者必須充分考慮并預留相應安排的基礎工作。

綜上所述，以序言第71條為核心展開，GDPR并非以單一、個別權利為依托，而是齊頭并進構建了充分保障數(shù)據(jù)主體利益的三權并立的聯(lián)動體系，貫穿自動化決策的事前、事中和事后全流程，實現(xiàn)了數(shù)據(jù)把控和程序治理的系統(tǒng)聯(lián)結。以筆者思路重新解讀GDPR，得到的權利體系與條文組合機理如下圖所示。

圖二 GDPR三權聯(lián)動體系組合機理

三

破除權利虛幻承諾：去場景化適用與法益衡量

數(shù)據(jù)主體主動置身事外的權利設計并不意味著對自動化決策的立場中立，恰是在技術發(fā)展勢不可擋的滾滾洪流中以退為進、以靜制動的高階智慧。到目前為止，我們只是將“脫離自動化決策權”作為一種應然權利進行探討，明確其內(nèi)涵并沒有能夠解決“脫離自動化決策權”長期難以實施的窘境。本文第一部分指出，造成“脫離自動化決策權”長期塵封擱置的狀況，主要源于相關法條的適用門檻過高而豁免門檻過低。解決的方案是從權利的行使要件入手，反其道而行之，向上回溯不同的應用場景探討“脫離自動化決策權”的內(nèi)涵和外延，向下檢視切實可行的制度框架和行權途徑，為“脫離自動化決策權”的適用奠定良好的制度基礎。

(一)去場景化適用：破除傳統(tǒng)人工智能二分法

一直以來，人工智能系統(tǒng)被人為劃分為“智能系統(tǒng)”(Automatic System，狹義的人工智能)和“輔助系統(tǒng)”(Augmentation System，廣義的人工智能)，兩者的差別在于關涉數(shù)據(jù)主體切身利益的決策，是完全由自動化處理作出，還是由自然人在自動化系統(tǒng)的輔助下作出。DPID第15條與GDPR第22條顯然認可了上述二分法，不僅不對“輔助系統(tǒng)”生成的自動化決策予以限制，還一度將任何程度的人工介入都視為決策非純粹自動化處理的證據(jù)，使得基于數(shù)據(jù)庫編碼的計算機自動化和基于機器學習的算法自動化被一攬子歸于“輔助系統(tǒng)”的范疇，而必然屬于“智能系統(tǒng)”的基于神經(jīng)網(wǎng)絡的超級自動化在短期內(nèi)尚難以普及，“脫離自動化決策權”便淪為了一項“只有在未來可以行使的權利”。

對“輔助系統(tǒng)”的自動化決策網(wǎng)開一面，并非歐盟專有。2016年，美國威斯康辛州最高法院在State v. Loomis案中認可了法官借助輔助系統(tǒng)進行量刑裁判的合理性與正當性，長期引領工會斗爭之風的威斯康辛州的這一舉動，旋即激發(fā)了學界對公共治理領域自動化決策濫用的擔憂。連法官司法量刑裁判都可以借用輔助系統(tǒng)完成，人工智能技術的應用是否還存在邊界?大量的研究表明，自然人極易對機器產(chǎn)生過度依賴，并沉醉其中。輔助系統(tǒng)會降低自然人的職業(yè)警惕，直至其徹底喪失批判性分析的能力。更極端的情況是，為了減少自身的思考與付出，自然人決策會自然而然地傾向于同自動化決策保持一致，原本正確的判斷最終被計算機扭轉，導致失誤疊加的“自反性悖論”。例如，算法工具根據(jù)人群聚集密度和高危人員流動軌跡推算出某一區(qū)域可能存在大量的新冠病毒無癥狀感染者，從而提醒自然人監(jiān)管者對該區(qū)域進行更高頻次的核酸檢測。高頻次的主動檢測必然會查出更多的感染者，又將反向刺激公共衛(wèi)生部門對該區(qū)域施行更高強度的算法監(jiān)管。在這個過程中，輔助系統(tǒng)可能存在的判斷謬誤給自然人監(jiān)管者帶上了有色眼鏡，裹挾其對特定區(qū)域進行“有罪推定式調(diào)查”。

為輔助系統(tǒng)開脫的學者指出，自動化系統(tǒng)雖遠非盡善盡美，但在多數(shù)領域的出錯概率遠低于自然人。即便該觀點得到了實證研究的支持，萬無一失的自動化系統(tǒng)受制于自然人稟賦的情況在現(xiàn)實中屢見不鮮。以當下基于機器學習的算法自動化為例，機器學習模型定然具有指數(shù)級優(yōu)于自然人的算力，但由于大數(shù)據(jù)的結構化處理難以自動完成，數(shù)據(jù)處理環(huán)節(jié)的人力資源上限就成為了阻礙機器學習模型發(fā)揮實力的瓶頸。在自動化決策環(huán)節(jié)，自然人與生俱來的情感偏見和價值負載，經(jīng)常成為機器決策的拖累，這點在業(yè)務審計、欺詐防范、暴力沖突避免等輔助系統(tǒng)的應用場景中已經(jīng)得到反復證實。由此可見，恰是由于自然人介入，才使得部分原本可能滴水不漏的自動化系統(tǒng)紕漏頻出，就此而論，“脫離自動化決策權”的無差別適用只會更有必要，而不是相反。

在廣泛的質(zhì)疑聲中，歐盟數(shù)據(jù)保護部門發(fā)布了《為實現(xiàn)監(jiān)管目的的個人自動化決策指南》，要求利用輔助系統(tǒng)的自然人必須“有權力和有能力質(zhì)疑自動化決策且經(jīng)常表達對自動化決策的異議”。在筆者看來，強行提升自然人參與度的漏洞填補方式過于理想化，不具備操作性。一方面，鑒于自然人所固有的“工具控”本性，自動化決策過程中的自然人介入，哪怕是充分、飽和式介入，也難以真正對自動化決策形成有效鉗制;另一方面，自動化決策失靈的后果固然聳人聽聞，但部分失誤恰是由于自然人的不當介入產(chǎn)生，所謂的“經(jīng)常表達異議”要么在日復一日的重復決策場中流于形式，要么將進一步擾亂自動化決策的應用規(guī)劃，造成適得其反的效果?？紤]到披著輔助系統(tǒng)外衣的自動化決策應用已經(jīng)結構性嵌入社會運營的各個方面，數(shù)據(jù)主體“脫離自動化決策權”不應再以自動化決策完全由機器做出為行權前提。亦即是說，沒有必要再對“脫離自動化決策權”進行基于數(shù)據(jù)庫編碼的計算機自動化、基于機器學習的算法自動化和基于神經(jīng)網(wǎng)絡的超級自動化的場景劃分。不過，權利的實際意涵還是應當根據(jù)行權效果進行區(qū)辨：數(shù)據(jù)主體行使“脫離自動化決策權”，在計算機自動化場景為脫離數(shù)據(jù)采集，在算法自動化場景為脫離用戶側寫，在超級自動化場景為脫離平臺交互。三種場景的共同點是，一旦進入“脫離自動化決策”的過程，較高程度的人類干預將覆蓋或者附議已經(jīng)作出的自動化決策。

(二)有限豁免：自甘風險讓位于社會責任

審視“脫離自動化決策權”的豁免條件設計，無論是DPID第15條，還是GDPR第22條，均采用了類似早期美國產(chǎn)品責任領域“明示的自甘風險”的免責進路，以合同約定、當事人同意和特定法定事由作為受侵害方的行權阻卻事由，其理論依據(jù)是法經(jīng)濟學家科斯在《社會成本問題》一文中有關權利的安排和界定必然影響經(jīng)濟資源配置的論述?？扑怪赋?，經(jīng)濟的外部性或不效率可以通過當事人的談判得以糾正，從而實現(xiàn)社會效用的最大化。本來，美國的產(chǎn)品生產(chǎn)者受制于1916年聯(lián)邦法院以長臂規(guī)則取代當事人原則判例的束縛，不僅要對與之具有直接合同關系的經(jīng)銷商負責，還要對任何因其產(chǎn)品缺陷受到傷害的消費者(及其家庭成員)和旁觀者負責。為了規(guī)避責任，生產(chǎn)者刻意將自己列為產(chǎn)品銷售合同或用戶協(xié)議的相對方，并就特定產(chǎn)品瑕疵和潛在風險以條款約定的方式免除自身責任。一旦消費者因產(chǎn)品瑕疵受到損害將生產(chǎn)者告上法庭，生產(chǎn)者可以立即以消費者知情同意或合同約定主張消費者自甘風險。在近代法經(jīng)濟學理論的影響下，美國法院一開始近乎盲目地認可了當事人之間“明示自甘風險”約定的效力，甚至不在意當事人的約定是否違背了強行法的規(guī)定。

“明示的自甘風險”以受益方對虧損方的合理補償作為優(yōu)于最大多數(shù)人的最大幸福的法益，在特定的歷史時期具有合理性。但在人工智能時代，這種抑“帕累托最優(yōu)”、揚“卡爾多—?？怂剐?rdquo;的做法是十分危險的。因為歷史經(jīng)驗表明，技術進步從未促進社會福利的雨露均沾，而是屢屢架空權力專屬原則和正當程序原則，輪番算計普羅大眾以最大限度實現(xiàn)監(jiān)管套利。技術黑箱配合用戶知情同意，為數(shù)據(jù)控制者為所欲為大開方便之門，因特定理由搜集的多渠道信息極有可能被別出心裁地用于不可告人的目的。技術成為了少數(shù)人牟取暴利的工具，而多數(shù)人無力反抗。一言以蔽之，“知情同意原則與人們的風險認知和數(shù)據(jù)利用的客觀規(guī)律存在矛盾與沖突。”更何況，“獲解釋權”“被遺忘權”“脫離自動化決策權”之間本存在“層層遞進的行權訴求”，以合同約定和當事人同意作為“脫離自動化決策權”的豁免事由，無異于直接剝奪了本就身處信息弱勢地位的數(shù)據(jù)主體最有力的救濟手段，徹底讓數(shù)據(jù)主體與自動化世界的每一次聯(lián)結都變?yōu)樽愿曙L險。數(shù)據(jù)主體對合同和協(xié)議的不感冒早已成為業(yè)內(nèi)心照不宣的秘密——關涉自身重大利益的條款，數(shù)據(jù)主體未必看、看了未必懂、懂了也未必有能力進行反駁，部分自動化決策服務動輒對應著成百上千頁的《用戶須知》，某些銀行的人工智能投資顧問服務甚至要求客戶對著屏幕朗讀經(jīng)過巧妙包裝的特定免責條款并對客戶進行錄像。

實際上，從20世紀60年代開始，美國法院就已經(jīng)開始對產(chǎn)品責任領域明示的自甘風險實踐進行糾偏。伴隨著風起云涌的民權運動，美國產(chǎn)品責任法從疏忽責任和擔保責任逐漸轉變?yōu)閲栏褙熑危詿o過錯責任的追責框架將產(chǎn)品產(chǎn)銷各個環(huán)節(jié)的相關人員都納入其中，自甘風險規(guī)則只在破除產(chǎn)品嚴格責任的極少例外情形中得以適用。本質(zhì)上，自動化決策可以被看作是數(shù)據(jù)控制者向數(shù)據(jù)主體提供的一種服務，是聚合數(shù)據(jù)的一方通過人力、物力、資源和環(huán)境所組成的結構系統(tǒng)來銷售和實際生產(chǎn)及交付的、能被提供數(shù)據(jù)的另一方購買和實際接收或消費的產(chǎn)品，是以非實物形式存在的勞動成果。問題是，若不加區(qū)辨地對此類特殊產(chǎn)品或服務的生產(chǎn)者，即數(shù)據(jù)控制者或處理者，套上嚴格責任的枷鎖，將必然阻礙科技創(chuàng)新的步伐。數(shù)據(jù)是現(xiàn)今最重要的生產(chǎn)要素已經(jīng)成為世界共識，各國為爭奪人工智能技術制高點可謂不遺余力，不宜將過高的履責成本強加于肩負更高使命的科技類企業(yè)。相比起成本過高的嚴格責任，過錯責任能夠更好地平衡個體保護和科技創(chuàng)新的利益沖突——在避免責任缺位的同時鼓勵技術發(fā)展。筆者認為，衡量數(shù)據(jù)控制者有無過錯的審查標準有二。其一，數(shù)據(jù)控制者是否通過持續(xù)的信息披露反復對數(shù)據(jù)主體作出真實、準確、完整的“風險提示”。數(shù)據(jù)控制者在信息披露中應對自動化決策可能對數(shù)據(jù)主體造成的潛在傷害列出清單，對于清單之外的妨害行為不得以自甘風險為由阻卻數(shù)據(jù)主體行使“脫離自動化決策權”。其二，數(shù)據(jù)的采集和處理是否被用于經(jīng)過數(shù)據(jù)主體同意的正當、唯一目的。為使判定標準進一步明晰，還應當通過專門立法的方式，構建企業(yè)數(shù)據(jù)利用與分享準則，對相對敏感的隱私信息采取加密儲存、吞吐限制、訪問分級等安全措施。違背相關規(guī)定的數(shù)據(jù)使用行為，將不得享有“脫離自動化決策權”的豁免。

同樣有必要關注的是，近年來，公共衛(wèi)生突發(fā)事件頻發(fā)，以行政手段促進社會共律對社會個體普遍自律不足的必要補充無可厚非，但要時刻警惕由此可能對用戶隱私和個人生活帶來的變本加厲的騷擾。據(jù)報道，杭州擬推出“漸變色”健康碼，通過整合電子病歷、體檢信息甚至生活習慣等個人數(shù)據(jù)，建立個人健康指標評價體系。不僅如此，杭州健康碼應用還打算將樓道、社區(qū)和企業(yè)的群體評價體系納入自動化決策范圍，打造全知全悉的健康生態(tài)服務圈。從健康碼向“萬能碼”之拔擢，仁者見仁、智者見智。單就數(shù)據(jù)主體在此類場景中是否享有“脫離自動化決策權”，筆者認為，這將取決于以提升公共治理為目的的自動化決策，是否同時為實現(xiàn)公共利益所必須。一般來說，個人數(shù)據(jù)經(jīng)過結構化改造后在社會運營網(wǎng)絡中流通，便擺脫個人掌控范圍成為公共數(shù)據(jù)庫的有機組成部分，對任何自動化決策的脫離都將“牽一發(fā)而動全身”。從信息的流動角度來看，如果毫無保留地允許數(shù)據(jù)主體享有對其數(shù)據(jù)的絕對權利，無疑將侵蝕公共治理領域自動化決策的全面性和公正性，破壞國家治理體系現(xiàn)代化的完整生態(tài)。因此，在涉及公共利益的自動化決策場景中，“脫離自動化決策權”的適用只能是例外而非一般原則。此種認知同GDPR第23條所囊括的限制情形相符：“出于國家安全、國防、公共安全和公共利益等考量，歐盟各成員國可以通過立法手段限制第12至22條、34條以及第5條所規(guī)定的責任與權利范圍。”GDPR第89條也對此作出了相應規(guī)定：“因為公共利益、科學或歷史研究或統(tǒng)計目的而進一步處理數(shù)據(jù)…可以對數(shù)據(jù)主體的防護措施和權利進行克減。”總之，公共利益與個人利益總是存在此消彼長的張力，這是立法者長期努力調(diào)和卻難以平息的固有矛盾，公共衛(wèi)生領域尤其如此。但倘若能在變動不居的法益環(huán)境中，因時制宜做出彰顯社會整體價值的倫理判斷，那便是以看得見的方式實現(xiàn)了以個人健康促進社會健康的最大正義。

(三)超越GDPR：保護人類自主性的額外可能

在“獲解釋權”和“被遺忘權”的基礎上層層遞進，以更高程度的人類干預取代較低程度的人工介入，GDPR界定了數(shù)據(jù)主體在請求獲得解釋、表達異議和反對之外可以暫時請求脫離自動化決策的權利，并與其他兩種基本權利一道構成了保護數(shù)據(jù)主體權益的、三權并立的聯(lián)動體系。上述探討，一直未跳出DPID與GDPR為“脫離自動化決策權”框定的籬藩，此等認知限制勢必帶來法律移植方面的困難，因為獨立于原框架的“脫離自動化決策權”將再次面臨內(nèi)涵的不穩(wěn)定性和外延的模糊性。

阿芬那留斯指出，人們慣于在經(jīng)驗中“攝取”思想、感情和意志，導致經(jīng)驗分裂為外在和內(nèi)在，并被迫對其作主體和客體的劃分，造成的結果是“‘實在’被顛倒黑白。”以消除“攝取”為要領，公共治理領域的學者們試圖尋求應對自動化決策的“純粹經(jīng)驗”，由此生發(fā)出數(shù)據(jù)主體所應當具有的“實在權利”。這些“實在權利”有著顯著詹姆斯“實用主義”的特征，剔除一切被概念思維加工的權利屬性，把邏輯的一致性和證實包括在實際的功利觀念之中，或多或少還原了“脫離自動化決策權”的“清凈”和“原初”狀態(tài)。

回歸行政法的“自然正義觀”，英國學者提出了“陳情權”的概念，主張保障因某項決策致使自身權益受損的個體享有獲得公平聆訊以及請求行政復議的權利。盡管人工智能模擬人類情感的能力與日俱增，但短期內(nèi)仍然無法像自然人一樣表達出有溫度的憐憫、同情和關愛。行使陳情權的目的，是迫使政策制定者以“同為自然人”的立場對被決策者的實際遭遇感同身受，憑借其制定出更人性化的政策和法律。在自動化決策領域，美國一直是陳情權的踐行者，經(jīng)常通過聽證會的方式對自動化決策失靈予以糾正，讓受害者徹底“脫離自動化決策”。例如，2018年1月，在缺乏科學論證的基礎上，美國紐約州率先利用預警保護系統(tǒng)來鑒別具有嚴重家暴傾向的父母，并對高危兒童進行隔離保護。該系統(tǒng)不僅沒有大幅降低虐童事件的發(fā)生概率，還造成了上萬正常父母同其子女的被迫分離，上線不到半年就引發(fā)眾怒。在數(shù)次聽證會后，當局撤銷了此前的自動化決策，并放棄了預警保護系統(tǒng)的使用。2019年4月，一場針對密歇根州政府利用人工智能技術審查社會救濟申請的聽證會，引發(fā)了逾四萬居民對州政府的集體訴訟。據(jù)悉，用于反欺詐的米達斯系統(tǒng)出錯率高達93%，致使數(shù)萬低保申請者被無端懲戒。集體訴訟一旦獲勝，全體密歇根居民將徹底脫離米達斯系統(tǒng)的自動化決策，而密歇根州政府將陷入“破產(chǎn)”的境地。

因此，陳情權雖然能夠取得較好的“脫離自動化決策”的效果，但行使該權利必然伴隨極高的法律成本，且需以成熟的集體訴訟等制度作為配套，有為求正義矯枉過正之嫌。波斯納指出：“法律并沒有試圖在最高程度上實施任何道德準則……全部承諾的法律實施成本會超過其收益。”可以想象，一旦陳情權的實施成本超過社會所能承受的臨界值，行使該權利將失去原本的正當性，因為維護一種正義不應以犧牲另一種正義作為代價。更有可能的情況是，在實施成本逼近臨界值之前，陳情權的行使就已經(jīng)自然出現(xiàn)了傳播邊際效用急速遞減的情況。我們身處一個信息爆炸的時代，信息增量無限而注意力極為有限，人們經(jīng)常出現(xiàn)上一分鐘還在為某個新聞義憤填膺、這一分鐘就已經(jīng)為某條信息拍手叫好、下一分鐘再因某篇軟文淚流滿面的渙散狀態(tài)。面對人工智能迅猛發(fā)展，人們的心理狀態(tài)也必然會在“日居月諸，胡迭而微”中從一開始的毛骨悚然逐漸過渡至視若無睹乃至最終安之若素。信息傳播的規(guī)律表明，只有第一個、第二個受害者的陳情能夠引發(fā)較大的公眾關注，此后相同受害者的再次陳情非但效果將指數(shù)級遞減，甚至還會因為反復陳情引發(fā)受眾內(nèi)心嫌惡的負面效果，就像一句流行歌詞中所表達的那樣：“誰會不厭其煩地安慰那無知的少年?”

公共治理領域的學者還指出，資訊類的自動化決策進一步將人們本來就已相當渙散的注意力徹底碎片化，預測算法和偏好算法更是以“個性化定制”之名試圖操縱人們的注意力。弗瑞施曼和塞林格在《重塑人性》一書中指出，如果人類想要在21世紀繼續(xù)保持代理權和自主意識，就需要在法律層面承認“離線權(the right to be off)”。所謂“離線權”，顧名思義，即脫離強加于自身的自動化決策正常生活的權利，和“脫離自動化決策權”有異曲同工之妙。弗瑞施曼和塞林格并沒有為離線權指明清晰的行權路徑，離線權因此被部分學者從實操層面解讀為“注意力保護權”，即脫離自動化內(nèi)容推送和營銷類用戶側寫的權利。范圍限縮的解讀方式雖然極大地束縛了離線權本來的綜合意涵，但就其為普羅大眾所灌輸?shù)木芙^被輕易掠奪數(shù)據(jù)紅利的法治觀念和自我保護意識而言，意義不可小覷。

自動化決策裹挾著人們自然而然地接受構建于一個個信息繭房之上的“后自主社會”，并以半將就、半威脅的方式推動人們步入“后真相時代”，亞馬遜公司前首席科學家維真德在《數(shù)據(jù)為民》一書的開頭給出了一個重要的前提認知：“時間已經(jīng)認識到，隱私和自主不過是一種錯覺。”有鑒于此，陳情權也好、離線權也罷，任何一種進路只要能夠實現(xiàn)“脫離自動化決策”的效果——哪怕是片刻脫離、部分脫離——也能讓面對自動化決策霸凌早已退無可退的人類有固可守，有險可依。從這一點來看，未來數(shù)據(jù)控制者所需要履行的，恐怕不是一星半點的社會責任那么簡單。

結 語

“人生而自由，卻無往不在枷鎖之中”。針對自動化決策的法律應對重點在于，警惕打著促進自由幌子的技術工具，被用來生成更多難以掙脫的枷鎖。馬克思指出，法律乃強權意志的實證主義法學認知僅道出了部分真相，法律既是人類理性所理解的道德準則的表達，也是根植于社會共同體的歷史價值和規(guī)范的習慣的派生物。歐盟立法的經(jīng)驗和教訓表明，多權并立的聯(lián)動體系不一定能夠確保個人意志可以獨立、自主地依據(jù)普遍承認的法則和習慣同他人的意志相協(xié)調(diào)，反而可能會因為部分不那么重要的權利對另一些真正重要的權利的遮蔽和掣肘，阻礙實質(zhì)公正與有效救濟的兌現(xiàn)。在人工智能領域，各國立法者創(chuàng)造出了過多的于事無補的完型與范式，來與廣為人知的毫無意義的知情同意這一比喻相配。技術膨脹出的權力越是絕對，人類的尊嚴就越受到威脅。“獲解釋權”和“被遺忘權”至多只能爭取到局促的看似自主和有限自由，而只有在決定自身利益的關鍵事務上享有積極參與的權利，人類才有可能維持和延續(xù)在知識、經(jīng)驗和道德上的卓越。在這個意義上，“脫離自動化決策權”實乃關系人類共同命運的最后一道屏障。

“法者，治之端也”。回到開頭的例子，如果健康碼對個人的風險等級判定有誤，致使持碼人通行受阻，持碼人撥打12345發(fā)起糾錯申請，即可視為“脫離自動化決策權”。此時，縣級防控指揮部既非簡單地對持碼人進行解釋或心理疏導(讓其接受錯誤的結果)、也非直接擦除或更正個人數(shù)據(jù)(對決策結果在所不問)，而是通過自動化決策求得的結果進行反向檢視，找到出現(xiàn)差錯的環(huán)節(jié)，并對錯誤結果進行系列糾偏。如果沒有環(huán)節(jié)出現(xiàn)差錯，縣級防控指揮部也應對判定結果進行自然人審查，并重新形成判定結果。當然，這是高度理想化的情況，但也反映出在自動化決策逐步成為國家治理體系和治理能力現(xiàn)代化重要組成部分的必然趨勢下，我國未來《個人信息保護法》中引入“脫離自動化決策權”的必要性。民法典人格權編對個人信息處理確立了合法、正當、必要和不過度的原則，對信息處理者采取技術措施和其他必要措施保障信息主體權益的各項要求和規(guī)定，為“脫離自動化決策權”不再只是一種虛幻承諾預留了空間。下一步工作是透過解釋或針對典型性事件的具體化，將既存規(guī)則和立法顧慮之間的可能沖突加以澄清，發(fā)展出切實可行、同時又具備彈性的行權路徑，讓“脫離自動化決策權”成為我國人工智能領域良法推進善治、將制度優(yōu)勢轉化為國家治理效能的人權保障。

微博抽獎

接下來我們將送出中國知網(wǎng)數(shù)據(jù)查詢卡6份(面值200元/份)，快來試試手氣吧。

可使用范圍涵蓋國際會議全文數(shù)據(jù)庫(IPCD)、中國重要會議論文全文數(shù)據(jù)庫(CPCD)、中國學術期刊網(wǎng)絡出版總庫(CAJD)、中國博士學位論文全文數(shù)據(jù)庫(CDFD)等。

獲獎的讀者朋友，我們將通過上海市法學會官方微博告知卡號、密碼，在中國知網(wǎng)首頁完成賬號注冊，輸入卡號、密碼及網(wǎng)頁驗證碼，即可將對應卡面值充入該賬號。

請各位讀者朋友關注上海市法學會官方微博，參與本次微博抽獎贈卡活動，#微博學法律#，#分享有好運#!