【ZiDongHua 之人文化天下收錄關鍵詞：丁曉東 自動化決策 算法 法與自動化   人工智能】

丁曉東：基于信任的自動化決策：算法解釋權(quán)的原理反思與制度重構(gòu)

丁曉東

(中國人民大學法學院、未來法治研究院副教授，法學博士)

一、引言

大數(shù)據(jù)與人工智能時代，基于個人信息的算法自動化決策越來越普遍。如，在網(wǎng)約車的場景下，算法可以為乘客派送不同的司機，設置不同的線路;在資訊分發(fā)的場景下，算法可以為不同用戶推薦不同的視頻、新聞與廣告;在搜索場景下，算法可以為每個用戶呈現(xiàn)不同的搜索結(jié)果;在電商場景下，算法可以結(jié)合用戶的搜索、瀏覽、購買等記錄，為用戶推薦符合其偏好的商品。算法自動化決策在給個人帶來便捷服務的同時，其黑箱屬性和可解釋性也引起了社會的普遍關注。當乘客利用網(wǎng)約車打車時，乘客可能希望知曉，算法為何給其派送了較遠的車輛，而給其他乘客派送了較近的車輛。當外賣騎手被困算法系統(tǒng)，不斷被壓縮送餐時間的外賣騎手可能希望了解，算法如何對其進行考核。當貨車司機因為防止疲勞駕駛的自動記錄儀掉線而被罰款，貨車司機可能希望了解，此類自動化決策儀器的算法如何設置。當特斯拉等自動駕駛車輛遭遇剎車失靈，此時車主可能希望了解，車輛所遭遇的問題是車輛的問題還是自身的問題。

為了應對與個人信息相關的算法黑箱問題，各國都在個人信息或個人數(shù)據(jù)保護法中規(guī)定了相關的算法解釋權(quán)條款。如，我國《個人信息保護法》在第24條等條款對拒絕自動化決策的權(quán)利與解釋說明的權(quán)利進行了規(guī)定，國家互聯(lián)網(wǎng)信息辦公室制定的《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定(征求意見稿)》第12條規(guī)定，算法推薦服務提供者應保證和優(yōu)化算法決策規(guī)則的透明度和可解釋性;歐盟《一般數(shù)據(jù)保護條例》也在若干條款中對算法解釋權(quán)進行了規(guī)定。

但是，有關算法解釋權(quán)的內(nèi)容、程度、時間、方式等制度問題仍然存在很大爭議。就內(nèi)容而言，算法解釋權(quán)應視為一般性的算法解釋主張，還是應視為拒絕自動化決策等限定權(quán)利主張?就程度而言，個體可否要求自動化決策者對算法進行系統(tǒng)性解釋，還是可以要求更為具體的個案解釋?就時間而言，個體是否可以要求自動化決策者在算法決策前進行算法解釋，還是只能要求算法決策的事后解釋?就方式而言，當個人提起算法解釋，自動化決策者是否必須對個體提供人工解釋，還是也可以提供機器解釋?

目前，學術(shù)界已經(jīng)對部分上述問題進行了研究。有的研究探討《個人信息保護法》是否引入了一般性的算法解釋權(quán)，有的研究分析歐盟《一般數(shù)據(jù)保護條例》中算法解釋權(quán)的性質(zhì)， 有的研究從算法治理的角度進行了分析，還有的研究特定行業(yè)的算法解釋權(quán) 等。這些研究指出，算法解釋權(quán)面臨爭議和挑戰(zhàn)，并且從不同角度提出了解釋方法與應用對策。本文試圖對算法解釋權(quán)的解釋爭議與應用困境作更系統(tǒng)性闡述，在原理層面借鑒信任與溝通機制理論對算法解釋權(quán)進行新的反思，并在此基礎上進行制度重構(gòu)。

具體而言，本文認為算法解釋權(quán)不應建立在算法個體控制的基礎之上。因為算法的復雜性、不確定性以及場景多元性，強化個體算法控制面臨種種挑戰(zhàn)。作為替代，應以信任機制重構(gòu)自動化決策中的算法解釋權(quán)，將算法解釋權(quán)視為一種信任溝通機制。當相關算法解釋權(quán)主張有利于促進二者之間的信任關系時，此時應支持算法解釋權(quán)的主張;相反，當算法解釋權(quán)無助于二者信任關系建構(gòu)時，或者當算法解釋權(quán)主張?zhí)魮芏哧P系，則應審慎對待算法解釋權(quán)的主張。從信任溝通機制出發(fā)，算法解釋權(quán)的性質(zhì)應被視為一種相對性與程序性權(quán)利，而非絕對性和實體性權(quán)利。在制度層面，可以根據(jù)算法自動化決策所位于的行業(yè)領域、市場化程度、個案影響、企業(yè)能力而對算法解釋權(quán)的內(nèi)容、程度、時間和方式作不同要求。

三、算法解釋權(quán)的適用困境

算法解釋權(quán)的困境不僅存在于法律解釋層面，也存在于法律適用與效果層面。無論將算法解釋權(quán)界定為一般性權(quán)利主張還是限定性權(quán)利主張、系統(tǒng)性解釋還是個案性解釋、事前解釋還是事后解釋、人工解釋還是機器解釋，都存在法律適用的有效性難題。一旦對算法解釋權(quán)的內(nèi)容要求、程度要求、時間要求、方式要求作剛性的規(guī)則要求，就會帶來各類問題。

(一)算法解釋權(quán)的權(quán)利內(nèi)容

就權(quán)利內(nèi)容而言，將算法解釋權(quán)界定為一般性權(quán)利主張，首先可能面臨知情同意原則帶來的問題。以“知情—同意”模式保護個人信息相關權(quán)益，本身就面臨著很多困境，可能同時引發(fā)個人信息權(quán)益保護不足或者保護過度的問題。目前，已有不少文獻對此進行了論述。如，有學者指出，對于信息處理者的告知，個人一般沒有興趣、時間、專業(yè)能力進行閱讀。即使個體了解相關告知，也往往因為認知偏差而過高估計有的風險，過低判斷有的風險。還有學者指出，在個人信息收集與處理中，個人信息往往涉及多個不同主體，其風險往往具有累積性效應(aggregating effect)。因此，個人未必能通過“知情—同意”的方式來維護自身權(quán)益，個人既可能很容易就同意信息的收集與處理，從而不能有效保護自身權(quán)益，也可能高估或者誤判某些信息收集與處理行為，拒絕本來可能為個人提供更好服務或利益的相關活動。

在涉及算法的自動化決策中，上述問題更為明顯。相比個人信息的收集與非自動化決策的信息處理，涉及算法的規(guī)則往往更為復雜。算法往往由很多程序員共同完成，每個程序員可能僅僅負責其中一部分，很少有人能夠完整地解釋算法的所有細節(jié)。尤其是在涉及大數(shù)據(jù)的算法中，由于基于大數(shù)據(jù)的算法奠基于相關關系，而非因果關系之上，對算法的解釋往往難以滿足人類因果關系思維的解釋。在機器學習的年代，算法又增加了不確定性的特征。機器學習的特征是，運用海量數(shù)據(jù)對機器學習算法進行訓練，讓機器學習算法進行自我調(diào)整，以獲得更好的性能。機器學習算法可以隨時間的推移而改變處理數(shù)據(jù)的方式，就像人類可以通過學習改變處理數(shù)據(jù)的方式一樣。因此，如果將絕對透明視為算法解釋權(quán)的要求，未必現(xiàn)實。就效果而言，也未必能很好地維護個人的相關性權(quán)益，促使企業(yè)為個人提供更優(yōu)服務。

此外，將算法解釋權(quán)視為一種限定性權(quán)利的主張，以拒絕算法自動化處理權(quán)作為核心，也面臨不少困境與挑戰(zhàn)。首先，在有的場景下，個人反對權(quán)的行使并不合理。如，在自動駕駛的場景下，行人主張脫離算法自動化處理，要求自動駕駛汽車避免使用算法，就不現(xiàn)實。因為自動駕駛在遇到行人時，必然需要即時性的算法處理。其次，在原理層面，將反對或脫離算法決策上升為一種權(quán)利也需要進一步論證。很多人可能更愿意采用自動化決策算法，而非人工算法。他們可能更加擔心人工審核會帶來歧視、腐敗與效率低下，或者出于認知上的惰性，更愿意選擇基于算法的自動化決策，而非人類決策。如果拒絕自動化決策可以作為一種權(quán)利，那么反對人類決策和采取自動化決策權(quán)是否也應該成為一種權(quán)利?

(二)算法解釋權(quán)的解釋程度

就算法解釋權(quán)的解釋程度而言，算法的系統(tǒng)性解釋除了上文提到的算法復雜性之外，還存在如下幾方面的難題。

首先，算法的系統(tǒng)性解釋面臨時時更新的難題。以機器學習為代表的人工智能算法可以從數(shù)據(jù)中學習，并隨著時間的推移而提高其準確性。因此，在機器學習算法中，算法隨著時間的演進而變化，而非一成不變。要對這樣的算法進行系統(tǒng)性解釋，就意味著必須對算法進行實時跟蹤，不斷進行解釋。

其次，算法的系統(tǒng)性解釋常常難以引起個人注意，為個人提供有效信息。在自動化決策者進行自動化決策之前對個人的告知中，個人對算法自動化決策系統(tǒng)的邏輯、意義、預期后果和一般功能往往就沒有多大興趣，更不用說去了解和閱讀相關告知。而在個人遭遇自動化決策，對算法產(chǎn)生相應疑慮之后，關于算法的一般系統(tǒng)解釋也未必能打消個人疑慮。特別是當系統(tǒng)解釋與個人的算法決策結(jié)果相關性不高時，系統(tǒng)解釋對于個人就沒有太多意義。

最后，算法的系統(tǒng)性解釋還面臨知識產(chǎn)權(quán)與“算計”算法的難題。算法的系統(tǒng)性解釋，往往意味著算法決策機制一定程度的公開，會對企業(yè)的知識產(chǎn)權(quán)保護帶來一定的挑戰(zhàn)。而算法如果向包括社會公眾在內(nèi)的人員完全公開，則可能導致社會主體鉆算法的空子，采取各種方式來“算計”算法的問題。如，Google最初采取一種叫做PageRank的算法，用于在搜索引擎結(jié)果中對網(wǎng)頁進行排名。Google公司曾經(jīng)向社會公開這種算法，但結(jié)果是有的網(wǎng)站利用這一算法而將自己的網(wǎng)站排在Google搜索結(jié)果前列。為了應對這一問題，Google只能采取其他算法與PageRank算法混合，不再唯一使用某種算法。

相比算法的系統(tǒng)性解釋，算法的個案性解釋需要解釋某個具體算法決策的邏輯，因而更貼近個人訴求。但個案性解釋首先面臨系統(tǒng)性解釋同樣的問題，因為個案性解釋以系統(tǒng)性解釋為前提，其需要首先解釋算法決策系統(tǒng)的一般規(guī)則。其次，個案性解釋的解釋難度更大、成本更高。因為個案性解釋除了要掌握算法的系統(tǒng)性運作，還需要掌握針對某個個體決策的具體情況。最后，算法的個案性解釋需要多具體?從邏輯上說，個案性解釋可以無限具體，個人可以無限追問。以個性化推薦算法為例，個人可能希望知道，為何自己收到植發(fā)廣告?企業(yè)可能告訴某個個人，企業(yè)并沒有設置“掉發(fā)”“禿頭”之類的標簽，植發(fā)廣告是算法的自動化分發(fā)。但個人可能會進一步追問，企業(yè)是否設置了“頭發(fā)”“中年”等標簽，或者要求企業(yè)解釋，為何其電腦上收到了植發(fā)廣告，而手機上沒有收到?為何對他推送了植發(fā)廣告，而沒有對其他人推送?如果個案解釋以個人的徹底滿意為標準，個案解釋可能會無窮無盡。

(三)算法解釋權(quán)的時間要求

就算法解釋的時間要求而言，事前解釋的意義有限。事前解釋只能是一般解釋。個體往往對于告知不太在意或難以理解，而機器學習等算法又可能時時發(fā)生變化，在這樣的背景下，對算法進行事前解釋，無助于個體理解算法和作出理性決策。對于個體而言，事前解釋最多等同于告知個體“存在自動化算法決策”。這種解釋既無法向個體告知演進后的算法規(guī)則，也無法針對具體個體的情況，向個體解釋針對其個人的具體算法決策如何作出。

同時，事后解釋也面臨難題。一方面，事后解釋是在算法決策已經(jīng)作出之后進行。自動化決策者無需提前告知個體其運行機制，那么個人對自動化決策與個人信息處理的選擇權(quán)將形同虛設。缺乏知情與了解，個人的選擇權(quán)與決定權(quán)可能成為一種任意行使的情緒性主張，缺乏理性基礎。此外，在一些具有風險性的算法決策中，事后解釋可能面臨更大的問題。因為此類算法決策可能給個體帶來重大風險，需要個體采取措施進行積極預防，事后解釋顯然無法幫助個體理解和防范此類風險。

另一方面，事后解釋應當以體系性解釋作為要求，還是應當以個案性解釋作為要求，也是一個兩難問題。在機器學習等算法中，算法可能在經(jīng)過大數(shù)據(jù)訓練后發(fā)生變化，因此，算法的事后解釋既可以要求自動化決策者對算法進行一般解釋，也可以針對決策時的算法系統(tǒng)進行個案解釋。如果將事后解釋的要求界定為體系性解釋，那么企業(yè)等算法主體需要對算法的演化進行追蹤了解，將決策時的算法告知用戶即可。其好處是企業(yè)等算法主體的負擔相對合理，但問題在于，個體對算法決策的困惑可能很難消除。而如果將事后解釋的要求界定為個案解釋，則企業(yè)不但需要追蹤算法的演化，還需要針對成千上萬用戶進行個性化的解釋。此類解釋雖然有利于用戶消除疑慮，但也會給企業(yè)等算法主體施加不現(xiàn)實的負擔。

(四)算法解釋權(quán)的方式要求

在解釋方式要求上，機器解釋與人工解釋也難以作統(tǒng)一要求。如果將人工解釋作為強制性與統(tǒng)一性要求，并不現(xiàn)實。這意味著在個人信息的收集、處理、申訴等各個階段，使用算法的企業(yè)都需要單獨通知個人，并在個人行使訪問權(quán)、更正權(quán)、刪除權(quán)、拒絕自動化決策權(quán)等權(quán)利時都設置人工服務。在用戶量有限的醫(yī)療算法、信貸算法等場景下，醫(yī)院或大型銀行或許可以滿足這一要求，因為此類場景更類似于一對一或一對多服務。但在其他場景下，人工解釋會給某些算法主體帶來難以承擔的壓力。有的互聯(lián)網(wǎng)與科技企業(yè)的用戶超過數(shù)億，每天存在無數(shù)的自動化處理。如果人工解釋或服務是強制性要求，那么只要有千分之一的用戶提起算法解釋請求，企業(yè)就將不堪重負。

事實上，即使對算法解釋權(quán)最為推崇的歐盟，也將很多自動化決策視為符合法定要求的個人信息處理，毋需人工介入或人工解釋。如，歐盟第29條數(shù)據(jù)保護工作組發(fā)布的《個人自動化決策和用戶畫像指南》認為，如果企業(yè)海量的自動化處理是企業(yè)所必須，那么此類處理可以被視為《一般數(shù)據(jù)保護條例》第6(1) (b)所規(guī)定的“為履行合同而必需”這一處理的合法性基礎。對于《一般數(shù)據(jù)保護條例》規(guī)定的知情權(quán)、訪問權(quán)、更正權(quán)以及拒絕自動化決策權(quán)，此類處理將不再適用。歐盟第29條數(shù)據(jù)保護工作組以招聘中的自動化算法為例，指出如果某企業(yè)工作很受歡迎，收到了數(shù)以萬計的申請，那么企業(yè)可以合法使用純粹的自動化決策篩除不相關的申請，以確定合適的候選人。

但是如果完全不作要求，允許企業(yè)以純機器解釋的方法來進行算法解釋，那么算法解釋制度設計的初衷就可能大打折扣。在一定程度上，算法解釋制度就是為了引入人類的解釋說明機制，消除個人對算法的疑慮。如果允許以機器解釋機器決策，則算法解釋機制毋寧說是另一種自動化決策，未必能夠消除個人疑慮。特別是當算法對個人的“權(quán)益造成重大影響”，而個人又對機器的算法解釋感到困惑與質(zhì)疑，希望有人工解釋介入時，此時企業(yè)如果仍然未能提供人工解釋的選項，則所謂的算法解釋制度將形同虛設。

五、算法解釋權(quán)的制度重構(gòu)

從算法解釋權(quán)的原理出發(fā)，可以重新建構(gòu)算法解釋權(quán)制度。算法解釋權(quán)可以根據(jù)其權(quán)利內(nèi)容、解釋程度、解釋時間、解釋方式不同而分為一般性主張與限定性主張、系統(tǒng)性解釋與個案性解釋、事前解釋與事后解釋、機器解釋與人工解釋，而且每種分類均存在法律解釋層面與法律有效性層面的難題。要回應這些難題，可以結(jié)合算法解釋權(quán)的溝通信任原則與程序性性質(zhì)，對算法解釋權(quán)的內(nèi)容、程度、時間與方式作不同類別的要求。

首先，就權(quán)利內(nèi)容而言，算法解釋權(quán)不應被視為一種內(nèi)容邊界完全清晰的權(quán)利。無論是一般性主張還是限定性主張，其權(quán)利主張都是程序性的，其實體性邊界應該根據(jù)具體場景下個人與算法決策者之間的溝通信任關系而確定?？傮w而言，當算法決策所處的場景具有嚴重的信任危機，且難以通過市場競爭改善算法時，應當賦予個體一般性的算法解釋權(quán)主張，而不僅僅是拒絕算法自動化決策的權(quán)利。同時，個體主張算法說明解釋的權(quán)利也不應設置前提。例如，當人們對外賣算法系統(tǒng)存在普遍不信任時，或者對網(wǎng)約車的算法派單感到困惑時，應賦予個體以算法解釋權(quán)，這類一般性主張將有利于督促自動化決策者對算法進行改善，重新贏取社會與用戶的信任。相反，當算法決策所處的場景本身具有相對較高的信任度，或者該行業(yè)具有良性互動的競爭機制，則此時應將算法解釋權(quán)限定為某些特定的權(quán)利主張。一部分群體可能對自動化決策本身存在懷疑，當自動化決策對他們產(chǎn)生重大影響，賦予他們以拒絕自動化處理的權(quán)利或算法說明解釋權(quán)，有利于進一步促進二者之間的信任。

其次，就解釋程度而言，一方面應要求企業(yè)充分了解和掌握算法的系統(tǒng)性解釋?，F(xiàn)代互聯(lián)網(wǎng)企業(yè)和銀行的算法往往“由眾多工程師設計組成的復雜公式?jīng)Q定”，企業(yè)或規(guī)制機構(gòu)掌握其算法的整體運行機制，這是算法解釋權(quán)有效實施的前提。為了實現(xiàn)這一目標，企業(yè)或運用算法決策的規(guī)制機構(gòu)就應打通其內(nèi)部壁壘，在企業(yè)內(nèi)部樹立算法倫理與合規(guī)實踐，真正將企業(yè)向消費者告知的隱私政策和對用戶的回應落實到企業(yè)的每一個環(huán)節(jié)。換句話說，企業(yè)需要不斷進行內(nèi)部的自我監(jiān)管，既需要在事前解釋環(huán)節(jié)就對算法設計進行內(nèi)部溝通，也需要在事后解釋中倒查企業(yè)內(nèi)部的算法運作機制，保持對算法的內(nèi)部動態(tài)監(jiān)管。另一方面，可以根據(jù)算法所處的領域特征、影響性不同而要求不同程度和類別的算法個案解釋。對于那些用戶具有較多選擇權(quán)、個案影響一般的算法決策，應允許自動化決策者自身設定個案解釋的規(guī)則。對于企業(yè)應用算法進行不涉及意識形態(tài)與公共倫理的娛樂資訊的分發(fā)，應允許企業(yè)在個案解釋中進行自我規(guī)制，避免國家過多的強制性監(jiān)管。但對于具有公共性影響的算法以及對個體造成重大影響特別是實際傷害的算法決策，國家則應強制自動化決策者進行個案解釋，以保護公共利益與個人的核心權(quán)益。如，在醫(yī)療場景下利用機器人進行手術(shù)，此時應當充分保障患者對于算法的個案知情權(quán)，患者不僅有權(quán)知曉手術(shù)機器人算法決策的一般規(guī)則，而且應當有權(quán)了解該機器人對其個人進行手術(shù)的決策機制、過程與效果。又如，在涉及外賣騎手人身安全、卡車司機罰款或者自動駕駛汽車安全的算法決策中，個人應當有權(quán)在這些情形中提出算法解釋的請求。

再次，就解釋時間要求而言，在告知環(huán)節(jié)可以要求或倡導企業(yè)在事前進行模糊性解釋。由于算法的自我演化與不確定性，算法向公眾的告知可以描述算法的整體運行，讓用戶或消費者感知算法的具體運行情況，幫助個體作出更佳決策，而非對算法的所有參數(shù)和所有細節(jié)進行描述。例如，網(wǎng)約車的算法可以向用戶告知，其算法是否會將性別、收入、年齡、高峰期的車輛運行等情況納入算法規(guī)則的解釋說明中，但沒有必要對某一個參數(shù)如何影響算法進行具體告知。此類描述不僅可以在一定程度上克服算法的不確定性問題，而且有利于克服系統(tǒng)性解釋的針對性不強、侵犯商業(yè)秘密、被人利用等難題。因為此類解釋可以在一定程度上消除用戶較為普遍的疑慮，同時，由于此類描述較為原則，此類解釋也不會對企業(yè)的商業(yè)秘密造成嚴重侵害，一些鉆空子的個人與企業(yè)也無法“算計”算法。

最后，就解釋方式而言，自動化決策者可以根據(jù)自身能力、行業(yè)特征、用戶數(shù)量與算法影響程度而選擇人工解釋或機器解釋。在理念層面，人工解釋具有一定的優(yōu)先性，專業(yè)高效的人工解釋更有利于信任的建立。同時，對于一些對個人或社會造成重大影響的算法，人工解釋應成為兜底性要求，以便消費者或監(jiān)管機構(gòu)對企業(yè)或算法運用的主體進行算法監(jiān)督。但對于其他并未產(chǎn)生重大影響、用戶數(shù)量龐大的算法，要求企業(yè)或算法主體對所有個體都采取人工解釋，并不現(xiàn)實。如果強行施加此類要求，其結(jié)果可能反而是企業(yè)關閉所有的解釋與溝通渠道。因此，應當允許企業(yè)在一般情況下運用機器解釋或自動化客服。機器解釋如果運用得當，例如在事先充分設想場景，為用戶提供各類“反事實解釋”或針對性解釋，則機器解釋也能有效起到提供“有效性信息”、溝通解惑的功能。此外，還可以鼓勵企業(yè)或算法主體建立機器與人工的混合解釋機制。機器解釋與人工解釋的混合使用，將有助于減小自動化決策者的現(xiàn)實壓力，更有效推動算法解釋權(quán)的落地。

文章來源：《中國法學》

2022年第1期