《被操弄的真實》
從搜尋引擎到社群媒體，演算法篩選成千上萬的資訊，形成了偏見，卻也造就了同溫層。
誰賦予了演算法權力，決定我們看到的一切？工程師、社群平台、意見領袖、普羅大眾？
唯有看透背後的政治運作，才能揭露網路世界的真實！
Facebook、YouTube、Amazon等數位平台已經融入我們的日常，他們使用演算法強大的功能，挑選合宜的資訊，促進便利的生活。但是，也出現質疑的聲浪，認為經過演算法的過濾，反而蒙蔽大眾的視野、造成社會分化、助長不當消息的散播。究竟誰該負起造成這些現象的責任？因此，本書作者泰娜．布策認為演算法不只是一門計算科學，更是涉及人文社會的跨領域研究。她跳脫程式語言的框架，從臉書動態消息到假新聞的實際案例，探索演算法的具體運用，以及造就的文化形式，透過政治與權力的角度，開創理解演算法的全新視野。
【各界推薦】
「要真正理解演算法的含義，只知道什麼是演算法，或如何使用演算法是不夠的。你需要有深入的邏輯計算能力，對於社會權力有著靈活的哲學思考，以及充足的生活歷練感受。本書作者泰娜‧布策擁有上述所有條件。在本書中，她對演算法給出了清晰且令人大開眼界的解釋，關於演算法系統（好比臉書）如何為社交生活帶來一種全新的技術。」
──塔爾頓．葛拉斯彼（Tarleton Gillespie），微軟新英格蘭研究院首席研究員
「如果這本書證明了友誼是可以計算的，那麼它也證明了學識是不可估量的。看到一名年輕學者真正了解演算法文化對日常生活的衝擊，是多麼讓人喜悅。」
──荷雪．范迪克（Jose van Dijck），荷蘭烏特勒支大學（Utrecht University）人文學院教授
「這本精彩絕倫的好書幫助我們理解，演算法如何推波助瀾，形塑我們在這個世界的際遇與定向。從臉書動態消息到假新聞，作者泰娜‧布策釐清了最重要的問題，並非『什麼是演算法』，而是演算法『在什麼時候、用什麼發法發揮影響力』。」
──全喜卿（Wendy Hui Kyong Chun），加拿大西門菲沙大學（Simon Fraser University）傳播學院教授
________________________________
《數位時代的人權思辨》
企業販賣大數據，網路演算法歧視，國家機關掌控原始碼
在數位科技主導一切的時代，我們還有自由嗎？
害怕隱私外洩的你，被網路制約的你，關心人權公義的你，
在淪為無良政府及資訊大亨的數據包之前，
唯有回到歷史找答案，才能脫離宰制，爭取更平等的數位未來！
各界推薦
洪士灝 臺灣大學資訊工程學系教授
洪朝貴 「資訊人權貴」、朝陽科技大學資訊管理系副教授
莊庭瑞 中央研究院資訊科學研究所副研究員
唐 鳳 RadicalxChange理事
張鐵志 VERSE社長兼總編輯
傅大為 陽明大學科技與社會研究所榮譽教授
「對於想深入探討數位人權議題的讀者，本書嘗試貫通連結歷史人文、政治經濟與科技文明各個觀點所提出的綜觀全局及論述思辨方法，頗值得參考借鏡。」
──洪士灝，臺灣大學資訊工程學系教授
「認為『沒做壞事，何必擔心被監控』的人們，曾自省『我在做正確的事嗎？』的程式設計師，以及關心資訊科技的社會學者，都應該讀本書。」
──洪朝貴，「資訊人權貴」、朝陽科技大學資訊管理系副教授
「作者莉姿．歐榭以人權律師的全面視野，對數位時代的關鍵議題及資訊社會未必樂觀的將來，提出了敏銳的觀察與批評。在思索人類可能的數位未來之際，本書是很好的指引。」
──莊庭瑞，中央研究院資訊科學研究所副研究員
________________________________
「在這場危機中，數位科技扮演、且會繼續扮演它的角色，我們有必要謹慎思考是誰在做這些決策，以及為什麼做這些決策。是以，我想拋棄以下這個觀念：為了公眾的健康與安全，我們得承擔社會責任，必須容忍隱私與其它人權遭受侵犯。」──莉姿．歐榭
特別收錄中文版作者序──反思全球肺炎大流行下的政府監控作為
________________________________
＊ Facebook在印度推行網路吃到飽服務為何踢到鐵板？是印度人不識好歹，還是免錢的網路最貴？
＊ 70年代比爾蓋茲曾說過：「誰會願意花三年時間設計程式，抓錯誤，然後免費分享？」但為何偏偏就是有一群這樣的傻子？
＊ 只不過點了網友減重文，Youtube就推薦沉重人生影片給我？反殖民大師法農將如何看待充滿偏見的演算法網路世界？
＊ 18世紀倫敦的碼頭監控管理，為當前各國警察執法過當及中國社會信用評分系統提供怎樣的啟示？
________________________________
當我們談到數位科技，總說要看向明天、放眼未來，然而，這只是讓人更搞不清楚到底該如何前往未來。本書作者莉姿．歐榭認為，我們該做的不是憑空想像，而是回頭看──看向歷史。
在這本引人入勝的書中，她用駭客的好奇心、史家的論述力，以及律師的精準度，回顧一些充滿革命性、對我們設想未來具關鍵價值的歷史事件及理論，引導讀者自由思考、對應當代或之後可能面對的問題。她以絕妙文筆展現了，當我們陷入科技資本主義掛帥的思維時，向過去學習，反而能看出許多為人權、平等及社會公義去爭取奮鬥的可能性，進而解放不同的數位未來發展選擇。這也是莉姿書中一再強調的：歷史是可用的，歷史是為未來而存在。
本書為身處新世界的每一個人所寫。不論你是創業者、程式設計師、激進駭客、Facebook使用者，或是對科技沒有好感而拒絕使用新科技的人，都可以從中獲得深刻啟發。
廣泛好評
「深思縝密、平易近人、調查詳盡，蒐羅了眾多概念去說明數位科技不是純利潤導向，而是能為人民服務的。要是你受夠了那些矽谷式宣傳，這本書絕對值得一讀。」
──美國最大讀者書評網Goodreads
「以發人深省的文字和見識廣博的觀點，去探究數位科技的主題。」
──《工程科技雜誌》（Engineering and Technology Magazine）
「莉姿帶著駭客的好奇心、史家的論述力、律師的精準度，來探討吾人受數位所浸淫的今天；她提出令人信服的論點：有一個更好的世界正等著我們追求。」
──史考特．盧德蘭（Scott Ludlam），澳洲綠黨
「本書舉出很多歷史，但其中蘊含的觀點都一樣，激進且兼容並蓄：一點點社會主義、一點點無政府主義、對數位偏差行為的嚴格指責，以及貫穿全書的良性呼籲──運用科技力量實踐人類潛能。」
──《選擇》雜誌（Choice）
「有力、適時、堅定地徹底提醒並告知我們，歷史具有的創意潛能。所有打算倖存於（甚至補救）灰暗科技時代的人，都應該閱讀莉姿的作品！」
──克蕾兒．伊凡斯（Claire L. Evans），《寬頻：創造網路的女性》（Broad Band: The Untold Story of the Women Who Made the Internet）作者
「在我們淪為祖克柏、貝佐斯手下利用的數據包之前，數位革命之未來看似是個民主的烏托邦、數位的公有空間，並非由新自由主義規範所統管。我們是否可以了解革命的夢想，並停止渴望自我受到宰制呢？莉姿令人不可置信地──同時又令人興奮且相信地──申論道，若我們能動員歷史來幫助自我而非削弱自我，上述問題的答案是：YES！」
──史都華．傑佛瑞斯（Stuart Jeffries），《深淵大飯店：法蘭克福學派的始末》（Grand Hotel Abyss: The Lives of the Frankfurt School）作者
《被操弄的真實》
洪士灝 國立臺灣大學資訊工程學系教授兼系主任
劉慧雯 國立政治大學新聞學系教授兼系主任
王國禎 國立交通大學資訊工程學系教授
黃哲斌 新聞工作者
《數位時代的人權思辨》
各界推薦
洪士灝 臺灣大學資訊工程學系教授
洪朝貴 朝陽科技大學資訊管理系副教授
莊庭瑞 中央研究院資訊科學研究所副研究員
唐 鳳 RadicalxChange理事
張鐵志 VERSE社長兼總編輯
傅大為 陽明大學科技與社會研究所榮譽教授
廣泛好評
「對於想深入探討數位人權議題的讀者，本書嘗試貫通連結歷史人文、政治經濟與科技文明各個觀點所提出的綜觀全局及論述思辨方法，頗值得參考借鏡。」
──洪士灝，臺灣大學資訊工程學系教授
「認為『沒做壞事，何必擔心被監控』的人們，曾自省『我在做正確的事嗎？』的程式設計師，以及關心資訊科技的社會學者，都應該讀本書。」
──洪朝貴，「資訊人權貴」、朝陽科技大學資訊管理系副教授
「深思縝密、平易近人、調查詳盡，蒐羅了眾多概念去說明數位科技不是純利潤導向，而是能為人民服務的。要是你受夠了那些矽谷式宣傳，這本書絕對值得一讀。」
──美國最大讀者書評網Goodreads
「以發人深省的文字和見識廣博的觀點，去探究數位科技的主題。」
──《工程科技雜誌》（Engineering and Technology Magazine）
「莉姿帶著駭客的好奇心、史家的論述力、律師的精準度，來探討吾人受數位所浸淫的今天；她提出令人信服的論點：有一個更好的世界正等著我們追求。」
──史考特．盧德蘭（Scott Ludlam），澳洲綠黨
「本書舉出很多歷史，但其中蘊含的觀點都一樣，激進且兼容並蓄：一點點社會主義、一點點無政府主義、對數位偏差行為的嚴格指責，以及貫穿全書的良性呼籲──運用科技力量實踐人類潛能。」
──《選擇》雜誌（Choice）
「有力、適時、堅定地徹底提醒並告知我們，歷史具有的創意潛能。所有打算倖存於（甚至補救）灰暗科技時代的人，都應該閱讀莉姿的作品！」
──克蕾兒．伊凡斯（Claire L. Evans），《寬頻：創造網路的女性》（Broad Band: The Untold Story of the Women Who Made the Internet）作者
「在我們淪為祖克柏、貝佐斯手下利用的數據包之前，數位革命之未來看似是個民主的烏托邦、數位的公有空間，並非由新自由主義規範所統管。我們是否可以了解革命的夢想，並停止渴望自我受到宰制呢？莉姿令人不可置信地──同時又令人興奮且相信地──申論道，若我們能動員歷史來幫助自我而非削弱自我，上述問題的答案是：YES！」
──史都華．傑佛瑞斯（Stuart Jeffries），《深淵大飯店：法蘭克福學派的始末》（Grand Hotel Abyss: The Lives of the Frankfurt School）作者
《被操弄的真實》
罪惡關聯
「朋友」在社會學裡指自願形成的關係，可以提供各種情緒與社交功能，但「朋友」在平台的觀點裡是價值寶貴的數據載具，可以廣泛運用。網路媒體的一項核心原則就是點（用戶、企業、目標）能夠衍生多少資訊，邊（連結）就可以衍生出多少資訊。這表示用戶不只在填寫個人資料、按讚、留言的時候，提供關於他們自己的資訊；他們這麼做的時候也自然地告訴了平台他們在和哪些人事物互動。如果用戶的個人資料少了部分數據，或這個用戶沒有如平台的意積極互動，那麼要擷取更多用戶資訊的方式，就是透過他和其他人的連結。從平台的觀點來看，朋友就是資訊傳輸業裡的商品。當你檢視臉書描述廣告相關技術的專利文件時，這點就特別明確了。例如，若特定會員的個人資訊不足，平台會根據他的朋友屬性特製廣告。臉書稱這是「罪惡關聯」（Kendall & Zhou, 2010: 2）。這份專利文件的作者群說他們「相信古老的格言」，不過「罪惡」這個字還值得商榷。罪惡會引發責任、自治、當責等觀念。誰或什麼要為臉書上顯示的內容負責？誰應該要承擔責任？要理解用戶自己的行動，如何決定了他們在線上看到的內容比較容易，要接受用戶也決定了朋友看到什麼內容就比較難理解。臉書借用罪惡關聯的概念，暗示用戶成為了「共謀」，影響朋友看到的廣告，這似乎很有問題。現在大家都曉得用戶即產品，不是指媒體平台在買賣用戶，而是說用戶被平台用來推銷內容和產品──往往用戶還不知情──但這程度在演算法媒體的年代前所未見。如果友誼的古典意涵帶有政治意味，因為兄弟情誼的觀念透露出經過性別建構的階級（Derrida, 2005），那麼演算法的政治就暗示了另一種不同的階級──什麼「最好」、「最熱門」、「最夯」、「最相關」和「最多人感興趣」。
當我們在檢視演算法人生的輪廓與現狀時，我們必須要理解到演算法媒體形塑社會性的機制裡，政治和權力有深刻的糾結。本書不只要強調演算法今日在多數線上媒體平台裡，扮演核心的支配角色，也要呈現演算法如何持續地喚起並牽連著用戶、文化、實踐、擁有權、道德、虛構世界和影響。這表示討論演算法就是要問：用戶什麼時候、以什麼方式介入了演算法邏輯的開發與維護？還要問治理的相關問題：誰擁有數據？使用數據的目的是什麼？朋友對廣告商來說很有價值，演算法似乎降低了人們的自主性與意向性，因為演算法把用戶所做的一切都轉化為潛在的數據點，供廣告投放與動態消息內容來操作。這就是網路邏輯，用戶逃不掉。對新自由主義來說，「友誼不利於資本，因此就和其他一切一樣，受到了攻擊」（Cutterham, 2013: 41）。不但如此，如梅麗莎‧葛瑞格（Melissa Gregg）所稱，「『友誼』就是勞動，涉及了持續關注和培養，報酬包括了身分地位的提升與更多機會」（2007: 5）。如朗盧瓦和埃爾默（Langlois and Elmer）指出「社群媒體試圖要在人生挖礦」（2013: 4）。也就是說，社群媒體平台「不只是把用戶的注意力賣給廣告商：他們其實會協助找出最佳策略來充分駕馭用戶的注意力」（Langlois & Elmer, 2013: 4）。要達到這個目的，演算法就是鑰匙。如果我們想要理解權力和政治被當代媒體建構的方式，我們必須更仔細地看資訊、文化與社交生活被處理、被理解的方式。這就是本書的目標。
檢視演算法媒體和人生逐漸被演算法處理所影響的方式，代表我們要認同演算法不是靜態的物品，而是會演化、產生關係的動態流程，就扣在複雜的行動者組合裡，這其中有人類和非人類。經過程式設計的社會性，代表著社交關係（如友誼）不只是會被移到臉書這樣的平台上，還會從根本基礎轉導成另一個型態。特定的領域範圍因為一直接觸其他東西，而持續經歷變化或個體化，這個流程就可稱為轉導（Mackenzie, 2002; Simondon, 1992）。轉導不是要維持對友誼的興趣，與相關的字彙「技術性」可協助說明友誼等領域，如何因為社會物質的糾纏而誕生。利用臉書來進入社群網絡，就轉導或調整了一個人和朋友連結的形態。使用臉書的時候，友誼的技術性就會以用戶與演算法的結合呈現（如「你可能認識的朋友」這個功能）、或經過編碼的物品（如共享的影片）、和基礎建設（如協議和網路）。基欽和道奇（Kitchin and Dodge）指出：「影響改變的力量不是定數，而是根據關係而定且具有散播能力，是程式和人們結合的產物」（2005: 178）。轉導和技術性是很好用的分析裝置，可說明經過程式設計的社會性，因為他們點明了軟體有能力可以產生並舉例說明友誼的樣態，尤其是在操作的環境下。科技的生產力，透過技術性的概念呈現，不會是單獨或單向的力量。演算法和軟體在這個觀點裡，不會以絕對或明確的定義決定友誼是什麼。技術性可以有效地強調演算法是實體，打從根本和人們的作為與互動掛勾，才能在第一時間實踐和發展。採取這個觀點能讓我們把友誼，和其他經過程式設計的社會性，視為新興的社會物質成就。
回到本章一開始的那個十一月雨天：到底什麼類別被用來決定我和我朋友的動態消息上，會出現哪些廣告內容？這問題仍持續存在。是因為我點擊內容的行為嗎？我的年紀和性別嗎？我喜歡過的粉絲專頁嗎？是造訪過的網站所建立的檔案，所儲存的瀏覽資訊嗎？是我為我媽媽挑選禮物的網路設計精品店留下了資訊嗎？是我朋友點擊內容的行為嗎？是我朋友的朋友嗎？以上皆是或以上皆非嗎？不管原因到底是什麼，線上空間永遠都經過電腦根據特定的假設、常規和價值進行運算。雖然我們不知道也沒有辦法知道，我們的數據究竟如何被演算法處理，然後形塑了我們線上的體驗，從批判的觀點來看社會科技系統，搭配我們個人和演算法互動的遭遇與經驗，形成了人我連結與社會性，可以幫助我們看清楚「分類是個很強效的語義與政治干預」（Gillespie, 2014:171）。單從我動態消息裡出現的內容和廣告來判斷，我被當作是一個有小孩、過重且單身的人──這都不正確，至少目前不正確。臉書和程式設計過的友誼提供了有用的切入點，讓我們來看資訊如何在網路上被治理和組織，對演算法的權力與政治的理解，不能簡化到一個社群媒體平台。本書會呈現我們如何在被演算法調節後認識其他人、這個世界和我們自己，這是複雜的社會物質實踐的結果，超越了程式指令。臉書和經過程式設計的社會性，只是演算法安排後帶來新可能性、新實相和新干預的方式之一，還有很多其他方式。
到目前，我希望已經灌輸讀者足夠的好奇心，讓你想要和我一起前往接下來的章節，探究當代媒體局勢裡演算法的權力與政治。本書的目標是希望讀者不要變成演算法判斷的標的，而是為了自己站到高點去批評判斷演算法的運作方式。
《數位時代的人權思辨》
第四章 科技的偏見與製造科技者的偏見是一樣的（節錄）
汽車炸彈、種族歧視演算法，以及那些踩在底線上的設計
哈佛大學教授拉坦雅．斯葳尼曾經將自己的名字輸入Google，搜尋過去寫的一篇論文。她驚訝地看見蹦出來的廣告，上頭標題寫著「拉坦雅．斯葳尼──被捕了？」斯葳尼本人沒有犯罪紀錄，她點擊連結導向至該公司網頁，那是間兜售人們公共紀錄的公司；斯葳尼付了點錢來取得資料，資料上確認她沒有犯罪紀錄。斯葳尼的同事亞當．坦納爾進行類似的搜尋動作，該公司的公共紀錄廣告也冒出來，可是卻不像前者一樣有如此煽動的標題。坦納爾是個白人，而斯葳尼是非裔美國人。
斯葳尼於是決定研究這些廣告的置入情況，看看是否有模式可循。她沒有料到會得到確定的結果，其研究清楚呈現了：「暗示逮捕情事的廣告傾向與黑人姓名相關；然而輸入白人姓名時，則出現中性的廣告、或根本沒有廣告，無論該公司是否握有與該白人姓名相關的逮捕紀錄。」
易言之，與「逮捕」一詞相關廣告出現的頻率，黑人名字的比例高於白人，而真實的犯罪紀錄並不是一個決定性的變數。
這是怎麼一回事呢？欲解釋此事，就需要解析線上廣告產業。每當你點擊網頁時，不同公司的即時廣告便競相爭取你的注意力。我們已經知道，監視型資本主義用各種方式來斷定你對行銷者有多少價值；對於我們的習慣，這些公司甚至比我們自己更清楚，它們擁有人們抽象身分的詳情──我們自我意識的歷史，由消費來定義、以消費為目的──而且它們會藉此在最適當的時刻寄送行銷資訊給我們。若對此不加處置，其結果便是讓新科技再生產真實世界型態的壓迫行為。
廣告空間的選項有許多制定的方式，Google容許公司設定看見廣告的用戶類型，還能裁製廣告本身的內容。如同斯葳尼所解釋的：
「Google了解廣告商未必知道哪種廣告文案的效果最佳，所以刊登廣告者可以為同一個搜尋字串提供數種不同模板，「Google演算法」會隨著時間學習哪種廣告內容能獲得觀者最多的點擊數，其做法是根據各種廣告文案的點擊歷史紀錄來分配權重（或機率）。首先，所有可能的廣告文案都有相同的權重，它們被點擊的機率都是一樣的；隨著時間演進，人們更傾向點擊某種廣告版本時，權重就會改變。最終，獲得最多點擊次數的廣告內容就會更加頻繁出現。這種方法將Google──做為廣告提供者──的經濟利益與廣告商相互連結。」
由於演算法的設計方式，機器「學習」將非裔美國人的名字連結至犯罪。即便你個人沒有點擊廣告，你還是會經歷機器學習自其他用戶點擊的結果，該結果因此限制了呈現給後續用戶的選擇性。
吾人可能得到的回應之一是：演算法是中立的，它只是廣告的載體，自動反映了人們運用它的方式。演算法沒有種族主義，人們才是種族主義者。然而，此種演算法的建立方式亦肯定了隱性偏見存在於真實世界中，這種偏見一次又一次地出現，例如非裔美國人不如白人值得信任的假設，便是常見的一種。隱性偏見潛藏於真實世界的各個層面，從求職成功問題到警察舉槍對著人們的瞬間抉擇等等。在斯葳尼的研究中，我們看見這種態度有意或無意地再生產於數位科技的世界。這不是祕密，也不是什麼謎團。Google不能為種族主義影響自動化廣告負全然的責任，但它也不該推卸責任；就像上百、甚至上千人死傷於平托車事故的火災中，這固然不僅僅是福特公司的責任，但輿論認為福特若能改變汽車設計，這些事故是可以輕易避免的。
此類廣告變得具有種族主義色彩的部分原因在於，演算法設計及其接收真實世界資訊的訓練過程基本上毫無透明性可言。數據是被祕密輸入的，而且沒有正式規範可以管制。如斯葳尼這般糟糕的用戶經驗並未呈現在這些公司出售廣告空間的成本效益分析中，甚至缺乏正規管道去抱怨這種糟糕的經驗，也幾乎沒有管道可以得知此種經驗的存在。帶著偏見的演算法對我們生活各個方面具有巨大且遞增的影響：只要這些演算法依然處在隱匿或無法檢視的狀態中，我們便等於容許各種危險和壓迫附加於新科技裡，機器會學習、吸收真實世界內的隱性偏見。
若我們知道Google其實有權力理解這項資訊或採取行動，則主張此事並非Google責任的說法就站不住腳了。Google的決策者知道刊登廣告者——付錢給Google的人——計畫內容紊亂，而Google最有能力看出潛在問題及其如何浮現，畢竟系統是它們設計的。然而經過Google的計算，找出問題並予以修補的成本，高於忽略（由他人產生的）問題的成本。我們必須想辦法來改變此計算法。
Google的主管應當承擔其科技產生的結果，因為科技只是在執行它原本的設計而已。在此案例中，Google是服務的提供者，而此服務只是在執行其原本的設計：讓廣告獲利最佳化。換句話說，數位科技參雜種族偏見，以及在設計過程忽視隱性偏見，這兩件事情不是程式出錯；此乃科技資本主義的特徵。
對此，最值得鄙夷的一種說法，就是此種設計歧視之所以出現，沒有確切理由。網路空間明明可以在結構上將壓迫態度降至最低、加以識別並摧毀之。我們不僅能制訂政策防範種族主義式廣告置入，我們也能打造多元的呈現方式，積極減少偏見；我們可以預測隱性偏見的發生，找出將其效果中立化的方法並預先實施；我們可以防止公司不斷資本主義化；我們能夠設計並打造數位基礎建設，幫助人們「社會化」以對抗歧視性的隱性偏見。這個願景啟發了各種有趣的問題，關於諸事應當如何落實，讓大家共同開始為了這項任務而奮鬥。
一如消費者權利倡議人士要求聯邦政府實施車輛安全標準規範，我們可以發起社會運動，草擬關於設計及工程程序的法律規章；我們需要制訂原則，使瓦解壓迫一事的優先順位高於網路獲利。這是一個彌足珍貴的機會。但若吾人只是消極等待問題自動浮現，或只在個別問題顯現時加以處置，那就像只抓住冰山一角卻漏了冰山本身。此種態度等於縱容產業自我鞏固，容許它奮力抵抗對透明度與負責的要求，並由消費者扛起責任。目前我們仰仗拉坦雅．斯葳尼這樣的人來發現問題——而她的發現竟然只是場意外。
數據科學家凱西．歐奈爾觀察到，草率的邏輯、回饋的缺乏、不合格的數據輸入，綜合起來形成諸多演算法，她稱其為「數學毀滅武器」。歐奈爾寫道，這些演算法是如何傾向去「無憂無慮地落實其效果」，廣為人接受的數位程序中立性觀念導致了加諸於人們的分歧及草率作法仍可被掩飾，並可將控制此類有害影響的責任往外推。她還如此寫道：「管理者假設那些指數非常真實，所以非常好用（或說非常好用所以非常真實），演算法使艱難的抉擇變得容易多了。他們可以開除員工、降低成本，然後把自己的抉擇歸咎於客觀的數字，無論數字是否真正準確。」在大數據時代經由電腦運算過程來決定複雜問題的答案，創造了令人振奮而轉變極大的可能性，但推行此法的同時也為差勁的統籌及管理蓋上一層看似準確與中立的亮麗假象。
這道被斯葳尼打開的小舷窗十足令人憂慮，從窗中我們窺見一片廣大的汪洋。演算法正被各方極盡能事地運用，對人們造成深遠影響。其中一例是依賴自動化程序來過濾求職申請，這可能讓擁有精神病史或以英語為第二語言的人被歧視。另外一個例子則是大學入學標準考試，入學程序──尤其是不需要標準考試者──可能使用根據申請者特徵所做出的預測分數來代替，但此種代換的精準度卻無法肯定。演算法也被運用在假釋申請的審核，其根據是案例處理工作者所填寫的表格，卻未被明示回應內容會如何影響演算法輸出。另一個非常冒犯人的例子是，Google的相片應用程式會自動將主題分類，它曾經將一張黑人照片標記為大猩猩。祕密、專門的演算法容易產生不加掩飾的偏見，卻偽裝成科學邏輯。如同Corviars車難以操控與平托車油箱缺少緩衝器一樣，這些問題絕不僅僅是失誤而已，它們是設計過程缺陷的病徵。
這些程序影響了社會中的人群。如凱西．歐奈爾所指出，機器既便宜又有效率，它們的決策影響到的多半是窮人；她觀察到，「特權人士比較是由人力在處理，大眾比較是由機器在處置」。而且，面對這些機器的人們幾乎不可能質疑或挑戰機器的決定，即使人們知道機器正在下決定。例如，沃爾瑪（Walmart）製作了低收入社群版本的產品目錄，其中垃圾食物的比例過高、健康食品比例偏低；關於被逮捕的數據也可能在其他資料集交叉參照中造成壓迫效果，倘若過去曾有被捕紀錄，那個人很可能會被自動履歷篩選軟體預先排除，包括求職遭拒，或是無法獲得消費金融服務。機器學習（machine learning）經常被測試或應用在窮人身上；而最後得面對後果的，也是這群社會上最弱勢的人們。
不可否認，有個階級正積極地想要影響壓迫性演算法。科技──尤其是在菁英掌管下──反映了促成社會分裂的價值體系。當今我們關於人工智慧危險性的探討，主要就是圍繞在該科技釀成第三次世界大戰的可能性。不管此說聽來多麼言之鑿鑿，這種憂慮的型態其實反映了更深沉的東西。許多推動這些討論的人是富有的白人男性，如凱特．克勞佛的研究所指出：「對那些人來說，最大的威脅恐怕『在於』出現一種頂級掠食者（apex predator）的人工智慧；然而對於那些已被邊緣化或歧視的人而言，威脅早就存在了。」
日益成長、愈加複雜的演算法網絡會造成各種社會、經濟、文化方面的影響。抽象身分識別一貫倚靠與我們抽象身分相關的歧異性，以及根據數據而作的側寫而來，這便是數據歧視（data discrimination）：根據特定或不完整數據所做出的膚淺假設，來將群體與個人按行銷目標而分類，此法會造成高度分化的結果，並加速其衝擊效應。亞當．格林菲爾德論道：「當代科技從來就不是獨立且自主運作的人造物。」網絡會蒐集並彼此交換資訊，這些資訊根據路徑依賴而流向四方，其效果又因市場功能與社會偏見而更加擴大。機器的決策功能會複製、甚至惡化往昔的社會隱憂。
以發薪日預支貸款（payday loans）為例。需要發薪日預支貸款者，多數是生活困頓的人。在美國，有五種人使用發薪日預支借款的機率高於一般人：沒有大學學歷的人、有租約在身的人、非裔美國人、年收入低於四萬美金的人、離婚或分居的人。貸款這門產業具有非常大的掠奪性與毀滅性：超過八○%的預支貸款在兩個禮拜內會續期或延展期限，而有二二%的借款人在還完貸款前所繳的錢會超過原本的借貸金額。貸款商透過詳細的數據蒐集、參照、庋用程序來尋找顧客，通常這會涉及兜售潛在客戶資訊給諸多公司的第三方。在性質上，發薪日預支借款者被鎖定於某種抽象身分，此導致了侵犯性行銷的轟炸。在遊說者的努力與公共運動的呼聲中， Google廣告部門同意禁止頗受批評的發薪日預支貸款廣告；這雖然是很棒的一步，但問題絕對沒有完全或適當解決。
另一個令人辛酸的案例發生在營利性教育單位。幾乎全體美國私立學院的收入，絕大部分都來自數十億美元的聯邦財政援助計畫，這些學院遂以「社會流動」做為允諾誘使學生前來註冊。它們的收費比州立大學及社區大學還要高出二○%，結果有超過一半的學生在四個月後退學、沒有畢業，還必須背負一輩子都難以還清的債務。與發薪日預支貸款產業一樣，這些學院專門以弱勢人士為目標。二○一二年美國參議院一場委員會的簡報內容呈現，私立學院招募者要依據哪些訣竅去尋找可能註冊的人：「扶養小孩且接受社會福利的媽媽；孕婦；剛離婚的人；自我評價低落者；低收入戶；近期遭遇死亡事件者；精神或肉體曾遭虐待者；近來曾受監禁者；接受戒毒治療者；工作毫無前景者。」
換言之，這些人是一些打從心裡想要克服當前恥辱困境，極力尋求出路的人們。
凱西．歐奈爾寫道：「當一個潛在學生首次點擊營利性大學的網頁時，其實此事背後的基礎是龐大的作業程序。」其中的伎倆包括找到「痛點」，也就是人們最願意採取重大改變來改善處境的那個時刻，通常是由Google搜尋紀錄與大學問卷調查所透露；此外，某些公司藉由造假求職廣告，或是承諾提供用戶醫療補助或食物兌換券的廣告，趁機詢問他們是否對念大學有興趣，然後再出售痛點訊息。基本上，窮人是被跟蹤著去學校註冊，這些學院在行銷上的定期支出甚至比教師費用還高。這真的很難以想像，心力交瘁的母親或有受虐經驗的人想努力抓住改善生活的機會，而他們可能對抗這種操控的力量嗎？歐奈爾又指出，「營利性大學不用去鎖定有錢的學生，那種學生跟學生家長都知道得再清楚不過了。」此等行銷行為將我們分隔成特定的群體，並企圖抓住我們心理某些最強大的力量──羞恥感、慾望、罪惡感──然後強化並加劇這些情緒狀態，目的就是為了賺錢。這種電腦化的銷售技巧之所以成為可能，源自於違反基本道德認知的監視型資本主義與操控性演算法。
數據科學家從持續的抽象身分識別作業中獲得特權，這些人在我們不知情的情況下蒐集我們的個資，並使用我們所不知悉的分析方法。此項作業創造出一種為我們做決定的數位存有體，我們的價值是被獨斷且不負責的方法所衡量。它造就了現代版的「劃紅線」（redlining），意即根據人口素質的假設來歧視人們。事實上曾有段時間，Facebook明白地容許某種數位版的劃紅線，提供行銷商選擇權，使其可以基於種族相近性來排除某些人看見廣告，此外Facebook亦承認它們允許刊登特定廣告者排除某些年齡層的觀眾。這兩項作法或許都是非法的，然而得再強調一次，若非企業端提供資訊，吾人幾乎不可能偵查到這些問題；此問題需要某些記者和學者付出偌大的努力才能挖掘出來。同時，我們應該試圖在「程式寄出」前抓出問題與錯誤。
數位時代的設計程序應該讓工程師更易於將用戶利益納入考量。然而我們要如何得知用戶的利益和興趣，這是一個複雜的議題，需要投注時間與精力，方能將用戶利益融入設計過程。隨著人們日益發展科技並探索其潛能，若要避免造成傷害，吾人或許會需要抑制我們的科技能力。
我們目睹了物聯網（Internet of Things）的擴張，越來越多日常生活用品都配備網路連結功能，因此前述課題更為重要。你可以買到連接網路的冰箱或烤爐、或是家居氣候系統，數據因此在人與物之間傳遞。目前正在開發的產品範疇（但必須說，這類產品經常太過度或太沒用）亦顯示該類科技的潛在優點，例如為居家行動不便者提供幫助，幫助各種殘疾問題的科技正日新月異地進步當中。此外還有對便利性的承諾：若你的智慧型行李箱沒有出現，你可以上網追蹤它的所在。
不過智慧型產品依然有其麻煩的一面。我們把越來越多會與外人──以自己無法控制的方式──交流的裝置帶回家中，物聯網儼然變成了巨大的監控設備。對弱勢者而言，這尤其是問題。如同伊莉絲．湯瑪士針對科技與家庭暴力議題所寫的：
「科技進步對家暴受害者而言是福音也是詛咒，新的「智慧」科技讓他們比較容易求救或記錄虐待情事，但同樣地，科技也可能被濫用來監控他們的行動、竊聽對話、進行即時跟蹤。
在從前，一筆電話號碼就足以讓某人被殺，所以當人們可利用裝置追蹤別人、聽到別人的呼吸聲、在螢幕上看見別人的心跳時，這樣的世界對家暴受害者來說到底代表什麼意義呢？」
物聯網對家暴受害者而言意涵深遠。如今越來越多設備連結到網路，而我們沒有能力控制這些資料流，他人愈來愈容易取得關於我們的大量資訊：穿戴式科技可能會被駭客入侵，車輛及手機可能被追蹤，一個恆溫器的數據便能顯示某人是否在家裡。
對於眾多曾遭受虐待的人而言，這種數據的深度及廣度是令人驚恐的事情。在美國，有三分之一以上的女性及四分之一以上的男性，在一生中會經歷親密伴侶的強暴、跟蹤或暴力相向；而目前，科技濫用已經是有意使用暴力者的標準行徑。二○一四年有項針對曾遭家暴者之服務提供商所做的調查，有九七%的人表示自己曾遭受到施虐者濫用科技的騷擾、監視和威脅，其中多數是透過電話騷擾與虐待，例如傳訊息或在社群媒體上發文。有六○%的服務提供商也報告了，施虐者會利用科技來偵查或竊聽孩童和受虐者，以贈送兒童禮物的方式或在兒童所有物中植入設備來遂行其意；有一一%的報告案例是將「間諜」科技藏在玩具裏頭。該報告還發現，四五%的案例裡曾出現施虐者企圖透過科技找到受虐者的所在位置。以上結論還得到另一項研究的支持：庇護所中受虐者調查工作顯示，在八五%的案例裡施虐者曾使用GPS定位，在七五%的案例裡施虐者曾利用智慧型手機的隱藏應用程式，以遠端方式竊聽受虐者的談話；而接受調查的庇護所當中有近半數的人禁止使用Facebook，以免有人將位置資訊洩漏給跟蹤者。
對諸如此類的社會問題，科技公司並不是具有補救的責任，但這確實是科技公司不能否認的一項社會特徵；這些問題應當在初期開發階段就被考量，並在開發過程中加以處理。我們經常被告知的是，將更多更多的個人裝置連結到網路是如何地方便而具未來性，但並非所有人都有此等感受；大量個人數據因此產生，而我們卻無法控制數據的蒐集與儲存方式，其結果非常嚴重，對特定群體尤其如此。然而，社會上大部分人們的經驗（弱勢者尤甚）卻經常在設計過程中缺席。
被此情況影響波及的不止於特定弱勢者，而是所有人：科技資本主義採納新方法得知我們的個人生活，我們可以想見，政府祕密偵查單位也會把握這個攫取資訊的大好機會。二○一六年二月，時任美國國家情報總監詹姆斯．克雷普在參議院講述的證詞已非常清楚，他說：「在未來，情報單位可能使用物聯網來辨識、監視、監控、定位、追蹤、進行目標招募，或者用以觸及網絡或取得用戶機密。」政府經常利用產業的革新成果，將其重新定位於服膺自身利益。作家耶夫根尼．莫洛佐夫的說法簡潔有力：「我解釋一下『智慧』（smart）的意思──就像『智慧城市』或『智慧家園』的『智慧』──免得你覺得奇怪。『智慧』就意味著『以革命性科技名義推銷的監控用玩意兒』。」
企業對用戶體驗的冷漠態度，某種程度源自於它們對「可用性」和「功能性」的特殊理解。在平拖車醜聞爆發當時，汽車製造業也有類似的心態。勞爾夫．納德爾在《什麼速度都不安全》中業已指出，不想在增進安全方面花錢是一種普遍現象。在交通事故中，每一個死者導致的平均研究投注費用約為一百六十六美元，其中又僅有四分之一的錢來自汽車業；相較之下，航空意外事件中，每個死者讓業界與政府共約投入五萬三千美金的安全研究費。汽車公司樂意投入經費研究如何讓車輛速度更快、更光鮮亮麗，但安全設計卻可能有礙其美感原則，而遭到業界排斥。科技公司堅持要讓所有事物都連上物聯網，它們在設計產品時會考量特定用戶，其採取的範型與上述類似，它們喜歡談的是如何服務消費者，但這個目標其實是被放在特定且狹窄的框架裡頭談的。
最顯著的理由之一在於，我們的數位科技設計者其實是一特定的群體：矽谷的白人男性比例過高已是眾所周知的現象。根據調查報導中心的「揭發」（Reveal）顯示，二○一六年矽谷十大科技公司中沒有雇用任何一位黑人女性，其中有三家公司根本沒有雇用黑人，有六家公司沒有女性主管。
某些公司做得比其他人好。好幾家大公司如今會發表多元性報告，這是近年來的變化趨勢。但是，無論是相較於正常人口結構或私人企業，科技業中的白人──尤其是白人男性──比例依然過高，這項趨勢在主管級領導階層尤其明顯。正因如此，我們發現物聯網產品的開發設計對於家暴這類的普遍威脅漠不關心。考慮到「在房間裡」的是特定一群人，這些公司所做的決策必然表現出某種偏見，而想要將其加以矯正的人更是稀少。
此問題內部還有一股階級力量。亞當．格林菲爾德點出，物聯網的設計者是那些將Uber、Airbnb、Venmo等服務完全納入生活一部分的人，但他們的經驗並非眾人的普遍經驗，他們是一群擁抱數位化、個人化、最佳化、商品化世界的人。格林菲爾德說：「這些主張對他們而言是正常的，『所以』這對其他人而言也變成是正常的。」在現實中有許多人不曾使用過這些服務，甚至未曾聽聞，但他們恐怕不屬於科技發展服務所及的群體。有位記者曾在二○一八年消費性電子展中觀察到：「少數產品是真正解決需求的突破性革新，多數產品則是要讓那一%的人感到生活改善而期望擁有。」另一位評論者說得更坦率：「舊金山的科技文化專注於解決一個問題：『哪些事情我老媽已經不再幫我做了』？」多數的情況是，參與設計過程的人來自富裕階層或特定性別，此現象對於科技發展具有廣泛的影響，對我們所有人都造成了反效果。
程式設計階層內部的多元性是改變此文化的關鍵要素。這不僅是一個管道問題（pipeline problem），而是科技公司的內部問題，需要有所更張的事項包括招聘作法、程序可靠度，以及工作條件相關之政策等等。二○一八年的Google罷工事件中，有兩萬名員工因公司方對於兩性關係不當行為及強調女性性別意涵的處置方式不滿，而選擇罷工抗議；員工的某些訴求幾乎立刻通過，可是需要做的事依然很多。這是一個振奮人心的案例，它顯示出要耕耘一股多元勞動力量所遇到的複雜障礙，但也顯示了此等障礙可以透過組織運動加以瓦解。忽視此事的科技公司將陷入危機。科技業缺乏多元性的問題已惡名昭彰、亟需變革，且改革方案亦已獲得主流的注意及廣泛重視；這方面的光明未來是個值得反省的有趣課題，其目前已是多方討論與活動的焦點。於此，我想要轉向去談一個更廣的問題。
即便讓製造者階層內部擁有多元化的群體，這樣的改變依然有所不足。我們應當根據倫理性設計來改造文化。那些呼籲程式設計者加快速度、「打破」（break）東西的主管們，顯然是希望讓別人來負責收拾「碎片」。我們需要如此主張，應該建立的範型是建立一個思量周到的程式，能夠尊重設計所具備的影響力，並對用戶身分進行批判性思考。程式設計師不應將道德難題視為超乎自己的權責或能力，亦不該將此問題推給其他人，但要做到這步，設計師必須擁有探索問題的能力與技巧，這意謂了現有倫理教育計畫需要擴展，而且需要使其成為更主流的議題。不過，若要讓此想法付諸實現，科技公司必須為這些審慎的程序提供容納空間，這也意味著它們必須在決策過程中優先考量人道問題，還要對自動化程序加以調節──即便成本因此增加，而效率因此降低。
創造出更加重視授權民眾、抑制傷害風險的設計文化，乃是解決這些問題的必要（若非充分）步驟。隨著時間推演，這項任務可能拓展為關乎政治權力的問題，最終孕育出的文化能夠讚頌蘊含和平目的之科技，且能挑戰具暴力及壓迫性的行業，譬如監獄、警務與軍事。
當然了，人們是自願購買並使用現有產品的，我們尊重他們的選擇權；然而不可能其中每個人都充分了解當今科技的性質與意涵。三星公司曾引發一個爭議，它的智慧型電視隱私政策如此警告客戶：「請注意，若你的口語訊息中包括私人等敏感資訊，這些數據會經由你使用的語音辨識功能被蒐集、傳送至第三方。」連芭比娃娃都不是安全的：美泰兒公司推出了一種娃娃版本，它會使用無線網路將數據傳回公司以供研究與發展，但其亦有缺點。雖然製造商採取重大防護措施以保護顧客隱私，安全性研究者麥特．賈庫柏斯基仍宣稱可以「駭」入娃娃，他說「這只是遲早的問題，我們可以用自己的伺服器來取代她的伺服器，然後讓她說我們想說的話。」
我們目睹了一股貪得無饜的動力，想要把所有事物都拉入網路，在銷售新產品的同時，利用獲得的數據讓公司取得競爭優勢。很多公司都忽略這此種發展的安全性意涵，這不僅是對風險或安全計畫粗心大意的結果而已──固然若能在問題出現前更加用心，終究還是有所幫助；問題位於更根深蒂固之處，那便是，這種科技發展的力量是由資本主義企業所驅使。製作智慧型產品的公司有其商業運作模式：它們想賣東西給我們，然後它們想從我們這裡蒐集更多資訊，再轉賣給其他想要賣東西給我們的公司。它們的動機並不是要開發出我們想像中最棒、最有用或最安全的科技產品，它們要賣的是最能賺錢的東西。
牟利動機與企業精神或許能為我們帶來很好、很有用的科技發展，但若將強烈的負面影響僅僅解釋為吾人數位處境所受的痛苦加劇，就會是個謬誤。而更巨大的謬誤，是將科技的進展視為數位科技潛能的完全實現。令人沮喪的是，現實上這些科技發展並非特別具革命性：它們代表的是引導人類智能朝向賺錢的目的，一如既往地將市場擴張至另一個新領域。科技資本主義與歷史上的新興產業都有著非常相似的貪婪本性，它們具有改善人類生活的驚人潛力；若要此等潛力獲得發揮，便得要求改變，讓它們不再服膺盈虧結算線，而是對其他事物負責。
尊重各式觀點、合乎倫理的設計文化有助於解決某些科技偏見導致的問題，不過我們依然需要對製造者階層進行民主監督。勞爾夫．納德爾於一九六○年代所作的汽車業分析中主張，「保密」是最不利於改善汽車安全的政策之一，他這麼寫道：「產業保密不只有礙於探索救生知識的探索……它還會使汽車製造商免於為自己所為或所不為者負責。」現在，我們依然看到類似的力量在運作，演算法被用來替代人類的抉擇，卻沒有適當的問責度或透明度。政府所採用的私人企業演算法經常以安全理由而保密，或製造商出於商業理由而保密，這樣商人就能向產品使用者收費，問責度或透明度付之闕如，進而破壞機會平等性、掩飾結果的不平等性。我們必須強迫演算法的「黑箱」（black box）打開。
為刑事案件DNA證據分析所設計的演算法，便是個極佳的例子。DNA證據逐漸成為高度複雜的領域，由於DNA鑑定能夠在越來越小的樣本上進行，於是樣本幾乎都會顯示DNA混雜的情況，可能有多人符合其結果。此種狀況發生在物體於數小時甚至數天內被不同的人所碰觸；每個人涉入此DNA混雜情況的程度不等，相關因素包括DNA物質剝落的比例，而不是人們觸碰物體的順序。對實驗室的技術人員來說，這種複雜的樣本難以分析，因此亦出現過事後發現鑑定結果有誤的狀況；在此背景下，政府官員越來越依靠電腦程式分析這些樣本，其通常交由私人公司負責處理。
若這些電腦程式的運作缺乏透明性，就可能產生極為不正義的結果。DNA證據對陪審團來說十分具有說服力，而若此結果是經由電腦產生的，其說服力只會更強。在紐約市，某些辯護律師會反對使用這類證據，其立論根據是科學界並不認為此法夠可靠。辯護律師無法取得程式編碼，因此無法確定演算法的輸入邏輯。在科學、數學見習生與鑑識專家的幫助下，法律扶助律師設法對軟體進行逆向工程（reverse-engineer）；這是公設辯護方一項開花結果的里程碑，法官聽取廣泛專家證詞之後，決定此項證據不甚可靠，因此不足採信。然而，這項裁決並沒有中止電腦DNA鑑定的作法，其依然在全美各地司法案件中被當成證據使用。
若公共決策攸關個人──尤其是此決策攸關個人自由───人們應當有權知道此等決策是如何達成的。我們不是在欠缺證據相關法律的祕密法庭裡給人定罪的，這非常不公平。律師會嚴格質詢專家的證詞，並檢視目擊者的資歷是否足夠支持其作出的結論；正義必須在目光之下，方能獲得伸張。在此脈絡下，由演算法黑箱所產生DNA證據有極大的影響力，但它在科學上是可能有缺失的。演算法的建構方式愈透明，就愈能夠防止錯誤的邏輯處理滲透司法系統。電腦程式應該要像專家證人一樣被看待，我們應該用類似的審查程度看待程式假設，而不是將程式看成一個客觀決定真相的消極提供者。
吾人沒有理由認為這些程式不能使用公共權力及公共經費來開發，或說這些程式不能由公家機關來進行審查。吾人可以建立報告準則，檢視程式是否造成歧視結果的查證程序，或是其他的監察體制。LRMix Studio提供了另一種方案：這種開放原始碼軟體（open source software）可以解析複雜的鑑識DNA檔案，此外還有類似的開放原始碼工具被開發出來，能夠比對DNA資料庫的樣本，降低假性反應的風險。若要達到科學界能接受──尤其是持續地接受──的可信度標準，此種透明度真的非常重要。
當然，危險是存在的。讓這些公式透明化，可能會給予他人加以顛覆的機會，例如擅用心思的罪犯或許因此習得如何避免在犯罪現場遺留DNA。這並不是什麼新鮮的問題，而這些問題不足以排除其他蒐集證據的方法，也不能當作支持世界瀰漫歧視的好藉口。「不自證其罪的權力」與「獲得律師辯護權」是刑事司法系統運作的關鍵要素，這兩者確實讓有罪的人比較容易脫身；雖然如此，我們還是接受二者是司法系統適當運作的必要元素。以此類推，我們應當從此觀點去看待刑事司法系統中以電腦程式輔助決定的做法。
正如同我們期望預算決策或公共資源分配具有透明度，用於公共性決策的演算法也應當接受審查，確保其邏輯與數據輸入是公平的。目前已經有越來越多人呼籲政府拒用黑箱演算法，並將所有程式碼提供給眾人檢視，這是很好的開始；長程目標可將此種檢視的適用範圍擴大至公家機關之外。
目前，針對機器學習的複雜演算法之研究重鎮是私人公司，學術界再也無法與那些把數據爆炸、加以集中而坐擁龐大資源的公司如Google、Facebook、Amazon匹敵。科技業投資重金於機器學習，將該領域的專家拉進私人企業，並將大眾排除於此類發展的益處之外。微軟研究院副院長李彼得表示，二○一七年時雇用一位頂尖研究者的費用大約等於簽下一個美式足球聯盟的四分衛；如同《連線》雜誌所觀察：「從那時開始，人才市場變得越來越火熱……大型企業會在初創的人工智慧公司起步之前就收購它們。」
固然隨著時間推演，這項哲學性領域的基礎──明白如何教導機器模仿人類智慧──也會更易於被其他組織所使用，然而此項科技的發展還是被少數企業所把持，因為這類研究需要廣大的電腦力量以及龐大的數據，這兩種條件都是大型科技平台比較容易擁有。
機器學習的輸入邏輯異常複雜，複雜的程度甚至連個別的工程師都難以解釋何以機器會出現某種特定反應；在此情況下，嚴格的檢驗與標準至關重大，方能在結果公諸於世前把問題挑出來。近來雖有實施一些關於企業自律的重要措施，但這些作為依然有所不足。我們需要公共、民主的專責機構加以干預；我們需要開始思考要怎麼在機器學習的領域內灌注公平公正的原則──如同其他科技發展的領域一般；我們需要使機器學習可供眾人使用，使其益處可以共享；我們需要理解權力的集中是如何阻撓此目標之達成。
隨著吾人對產業及科技可能性的理解日漸增加，我們需要更新對安全性及可靠性的期望；我們要組織行動派人士、律師和記者，宣揚惡劣科技設計對人們的影響，並強迫業界接受重視安全價值、減少歧視的設計文化；我們必須呼籲政府干預業界，樹立由公眾決定的標準及作法，要求公司在違規時擔起責任；隨著我們對問題的理解提升，也進行實驗找出解決之道，這些標準必須隨時更新，並能夠呼應環境變化。就像我們不會讓沒經過碰撞測驗的車輛上路一樣，若演算法或產品沒有符合標準或通過歧視性測試，那就不該強加給民眾。我們需要創造優良設計的「回饋迴路」，讓該領域中學習到的教訓可以促成產品之改善。
《被操弄的真實》
推薦序 由政治與權力的角度看演算法
洪士灝 國立臺灣大學資訊工程學系教授兼系主任
身為資訊工程系的教授，我對於演算法不會陌生，但多半是從科技和應用的角度去看待之──解決這個問題要用哪個演算法？哪個演算法比較快？用什麼平台來實作選定的演算法比較好？乃至於估計做出來的產品服務會不會賺錢？這或許也是現今許多資訊專業工作者的日常，也是在本書中提及的臉書（Facebook）、Google、推特（Twitter）等科技巨擘中擔任要角的資訊工程師所念茲在茲的，但在與其他科技公司賽跑，以及和人工智慧競爭合作中度過極其忙碌的人生時，我們曾幾何時關注過我們資訊專業工作者在過去半世紀所創造出來的產品對人們和後世的影響？如果有心關注的話，該從哪個角度去看？
身為擁有4,972位朋友、被23,074人追蹤的長期臉書使用者，我能深深地理解本書所提及的「被操弄的真實」──能夠與想要操弄社群網路時代的真實的，不僅僅是幕後設計演算法的工程師、運用演算法的藏鏡人，還包括愈來愈倚賴社群媒體的新聞從業人員、試圖逆推演算法來優化媒體表現的社群關鍵意見領袖（Key Opinion Leader，KOL，常被稱為網紅)，乃至於被席捲進來的單位機構和普羅大眾，往往各有各的算計、思考著因應之道。社群媒體充斥於我們大多數人的生活已經是個常態，也在演算法的推波助瀾之下產生許多同溫層現象，但絕大部分的人對於演算法則是一無所知，或是毫無招架之力，該如何是好？
本書原著發表於二○一八年，在人們開始體會到社群媒體帶來了頗嚴重的深層問題，但眾說紛紜、無力面對的同時，作者已經從政治與權力的角度去深入詮釋社群媒體和演算法對文化的影響，相當地發人深省。作者多次引用傅柯（Foucault）對於權力的論述來探討社群媒體時代的權力關係，企圖理解理解演算法如何發揮力量，以及如何確保其可被問責。演算法雖然無法決定人們的行為方式，但會塑造一個環境，將某些主題定位得更真實，並可供我們使用，而如此的「定向」則影響著我們與周遭世界的融合，因此我們該如何劃下界線，讓各種操弄演算法的人或事為其結果負責？
就在寫這篇序文的同時，包括臉書、推特、YouTube在內的多家主流社群媒體，決定關停美國總統川普（Donald Trump）的帳號，正好可作為閱讀本書之後極佳的案例探討。川普經常運用社群媒體發聲，以此掌握政治與權力的制高點，而多數社群媒體基於對自身有利的演算法，配合著川普的政治宣傳，究竟對自譽為民主表率的美國政治社會造成了多大的影響？就在川普最需要社群媒體來傳訊給支持群眾的此時此刻，社群媒體對川普的停權，也充分展現了幕後藏鏡人操弄政治的極大權力，究竟他們是如何劃下界線的？誰又該對上述的現象負責？
話說國內不久之前的「韓流」，也引起許多國人對於社群媒體的討論。由各種藏鏡人支持營運、立場不同的新聞與社群媒體，的確是影響國內複雜的政治生態的關鍵力量。所謂「成也蕭何、敗也蕭何」，從許多的案例中，我們看到藉由媒體操弄真實的人，終究也被在媒體的操弄之下退去了光環，而人們在這些大規模的實際案例中，究竟學到了什麼？
我衷心地盼望，新一代的資訊學者能夠更關心社會議題，而關切政治、經濟、社會、文化、教育等議題的人們也能多了解一下演算法與資訊科技，持續透過跨領域的探討來進一步理解和回應上述的議題。在這個從社群媒體演化出數位分身（Digital Twin）充斥的新時代，計算思維（Computational Thinking）是非常重要的素養，在實體或虛擬的真實被許多演算法刻意或無意、直接或間接操弄的情況下，人們要如何經營和照護在實體和虛擬世界的真實自我？我沒有辦法給一個標準答案，但我自己希望透過個人在社群媒體上的分享和觀察持續進行思辨，幫自己尋求答案、構築真實。
《數位時代的人權思辨》
中文版作者序
就在我撰寫這篇序言的期間，這個世界正進入一個受新冠肺炎（Covid-19）大流行衝擊造成的全新常態。雖然這場危機的終結依然遙遙無期，但掌權者們已在這個例外狀態裡，試圖在各個層面將永久性編入體制當中。此刻重要的是去記住，這場流行病的原因與影響是有其社會及政治基礎的。阿蘭達蒂．羅伊（Arundhati Roy）曾說，我們應當將此流行病視為通往新世界的門戶。我們應該積極思考要帶上什麼，以及我們想要拋棄什麼，沒有時間可以拖延。倘若我們等到危機結束，我們的選擇可能已經被他人所決定了。
在這場危機中，科技扮演、且會繼續扮演著它的角色，所以我們有必要謹慎思考是誰在做這些決策，以及為什麼做這些決策。若採取羅伊的觀點，我想拋棄以下這個觀念：為了公眾的健康與安全，我們得承擔社會責任，必須容忍隱私與其它人權遭受侵犯。
我們可以看到，此觀念圍繞著與新冠肺炎相關的事情上展現：全世界的政府都以阻止病毒擴散的名義，實驗著各式各樣的監控科技。臉部辨識越來越在公共空間普遍使用，有時我們並未同意甚至毫不知情；公民們則被政府哄騙，下載接觸者追蹤（contact tracing）的app應用程式。十分常見的情況是，這些作為被沒有好奇心跟批判力的媒體、產業界「啦啦隊」，以及社會民主代表予以支持鼓勵，那些人多半是處在一種自願的無知及懦弱之間。理論上這種科技有其助益，但有太多的政治投機主義（opportunism）案例顯示，政治決策者是在灌輸一種監控文化，同時犧牲掉良好的設計，而忽略對原本的公共衛生目標造成的影響。
為了有效使用科技來阻止病毒擴散，就必然得妥協、損害某些追求共善的權利。假設大眾可以信賴負責執行的人，這樣的妥協或許是合理的；出自一些很好的理由，實際上這樣的信任是缺乏的，從而限制了這些規畫的有效性。問題並不是出在人們拒絕接受這些具有侵害性的措施；問題在於，掌權者一次又一次地顯示出他們並不尊重我們的權利與尊嚴。而他們的失敗所造成的影響，卻總是要由我們來承擔。
這就是運作的模式，而這個模式已有長遠的歷史，也就是投機地將大型監控塑造成某種必要的共善。多年來，政治人物一直以公共安全作為掩護來佈署科技，重新將權力的天秤倒向政府這邊，遠離民眾。這是我在下文主張的論點之一，也就是在第一批現代警力與當代數位監控國家之間劃下一條界線。當資本主義在十八世紀的英格蘭建立之際，專業警力組織的創建，是為了讓泰晤士河上的碼頭工人們乖乖工作。要做到這件事情，監控是一項便宜又有效的珍貴技術。預防犯罪被視為公共安全的同義詞，但在諸多層面上，它操控並強化了社會分裂，對反對現狀的力量予以鎮壓，其作為之性質實屬一種剝削與不平等。
經過兩百多年的歲月，監控型國家依然在負責預防犯罪，並為此打造了一套侵入性的數位設備。被用來合理化這些設備擴張的犯罪行為，通常是最糟糕的那種，例如恐怖主義、間諜活動、戀童狂等等。由於這些侵害極度不道德，讓人們用來辯論、防範這些侵入行為所採取的策略幾乎無效；同理，在全球流行病肆虐之時，對抗病毒的科技就被冠上崇高的道德性。要針對使用此等大規模為公民貼標籤、問責性極度不足的科技，去辯論其推行上的困難與道理上的顧慮，也成為一件極為困難的事情。
以安全之名合理化監控行為，是全球政治界一致的顯著課題。雖然許多美國政治人物喜歡談論自由，尤其愛談政府管太多，但他們依然堅定支持並資助國家安全與執法部門。私人企業也紛紛加入這些計畫，在本質上建立一個強健的人口社會圖譜（social graph）。就像吹哨者為我們所揭露的那樣，監控型國家的目標就是利用它那令人髮指的不義作為，來預知異議、處理衝突，並維護現狀。
同時，來到太平洋的彼端，中共政府繼續精煉、完善它那惡劣的社會信用制度，以及相應的監控科技網絡。讓自我膨脹的民選總統們掌握強大的科技，是件令人擔心的事；但讓獨裁者們掌握強大的科技，就是件令人恐懼的事。我們可以從中國的窮人及邊緣人的日常經驗看見這件事，那些人越來越被鎖在社會之外。這件事情會變成一項威脅，縈繞在每位可能有異議的人們頭上。我們也可能瞥見，香港的抗議者們無畏地走上街頭要求更好的未來，欲維持政治霸權的統治菁英們正面臨著挑戰。這些抗議者們蒙起臉來，有時蒙面方式還頗有創意；他們要對抗的是使用複雜追蹤科技的警方，而警方保護的是上頭的大老闆們。
重點在於，北京當局與華盛頓當局經常表現在它們在外交上的差異，但它們其實是用類似的方式，去抓住數位革命所提供的機會。無論是社會自由民主國家如美國，或者是專制政權如中共，統治菁英們都在追求監控。美國強烈依賴私人企業來做這件事，而在中國則是國營；但若檢視這些監控計畫的社會與政治基礎，雙方的差異便開始消弭。
所以在許多方面來看，這兩個國家的主政者都應該要被狠狠罵一頓才對。全世界的勞動人民有一個共同的利益所在，就是要確保數位革命的潛力，不會被揮霍在那些掌權者實施社會控制的計畫上。如布萊恩．邱（Brian Hioe）所指出的：「左派面臨的問題在本質上是國際性的，所以無法單純以國對國的基礎來處置。」像在東南亞等地，政治人物或評論家可能會裝作事情不是這樣，但具有帝國思想的全球強權無論表現得多麼圓滑，這件事情都無法被彌補。這個世界上的每一個人都要拒絕那些國家的話術，並團結追求超越國界的共同目標。
數位科技可以成為政治解放的工具，尤其是讓網際網路成為一個無國界的資訊網絡，然要達成此事依然需要有人組織並採取行動。在許多有階級差異的社會中，那些菁英們將權力結構鞏固得非常成功，因此我們必須找出足以改變現存權力結構的方法。從我的觀點來看，解答在於發起運動，強迫政治決策者感受到自己對選民負有責任，並促使他們了解，他們若採取自身立場而不管公眾利益，這將是一個危機；而那些公司對於自己這般出賣用戶，也應當要戒慎恐懼。考慮到有這麼多國家在為同樣的問題──也就是如何在數位時代讓政府與企業負起責任──掙扎，這類的組織活動自然可以形成某種數位國際主義（digital internationalism）。
我們所處的這個時刻是令人振奮的。人們已經開始抗拒從前政治人物兜售的那套說詞，也就是要人民為了公共安全而放棄隱私與自主性。新冠肺炎疫情的經驗顯示了，隱私與公共健康可以共存，也就是說，政府們必須獲得社會許可（social licence），才能夠以特殊方式利用科技，而政府的舉止必須不再像是個祕密獨裁者。政治決策者不能再先制定科技措施，之後才考慮人權；政治決策者不能再把那些擔憂隱私問題的人們視為陰謀論者。這將是一股嶄新的政治動能：它很難爭取，但它必須加以捍衛。
吾人擁有一個機會，那就是將某些可貴的遺緒帶入本次疫情的門戶，進入我們在另一端的新世界。我們可以建立大眾意識，去爭取科技設計要去中心化，並接受開放原始碼原則。我們可以強調在設計科技的過程中，透明性、可靠性及問責制十分重要，而不是事後再加以修補，使得增進大眾信任度的機會又被浪費。我們也需要學習說「不」，若實際上沒有辦法提供此等保護的話。或許，我們需要暫時停止讓政府及企業推行臉部辨識科技，這是諸多有頭有臉的大公司們已經達成的結論。假使科技發展僅是在鞏固現存的權力結構，那麼科技發展就不能與進步劃上等號。
善用歷史作為自己的指引，我們可以將現在的狀況變成一個追求不同未來的理由。在本書的篇章中我將呈現，過去的社會運動及思想家們可以幫助我們探索數位時代所呈現的問題。我們今日面臨的科技問題其實根本不是新問題，它們通常有著更長久的淵源與歷史。我希望這本書可以讓你──慷慨而願意思考的讀者們──鼓起勇氣，拾起這個挑戰，利用數位科技作為改變事情的工具，讓權力遠離少數人，讓權力歸於眾人。
------------------------------------------------------------------------------------------
推薦序 為科技的開放與民主化努力
臺灣大學資訊工程學系教授 洪士灝
數位科技在過去數十年來大幅改變了人類社會，但是在數位科技為大多數現代社會的人們帶來了前所未有的便利之同時，人們是否知道這些仍在加速進行中的數位轉型（digital transformation）會將人們帶往何處？在轉型的過程中，人們可能會失去哪些過去曾經擁有的美好事物？
對於這些大哉問，身為科技研究與教育工作者的我，實際上是非常戒慎恐懼的。雖然有不少人說科技不過是工具，而工具是中性的，可以為善為惡，端看其使用者，但我還是很難如此冷眼坐視旁觀。尤其是在科技文明發展到一個「量變產生質變」的節骨眼上，從小齒輪到身居樞紐角色的科技社群，對於人類的未來若是有多一分的思考和關切，或許就更能扮演好科技人之外的數位公民的角色，為數位民主、數位人權做出一些貢獻。
本書所提到的多項議題，都是科技社群理當關心的，例如：蒐集與運用數據時應該保護的個資隱私，發展應用人工智慧技術時應該深思的倫理議題，政府是否正視數位人權、不讓掌握數位科技的大公司霸凌世人？在此數位科技的洪流衝擊下，一般大眾乃至於科技社群，該如何自處和發聲呢？
科技社群的角色和心境往往是複雜的。以我所接觸過的科技社群，絕大多數都是善良之輩，不願助紂為虐，但分辨善惡的困難，正如書中所列舉的實例，經常超乎我們的想像。例如Facebook在印度打著「讓窮人也能上網」的旗號推出Free Basics 零費率的上網服務，立意貌似良善，但其幕後的圖謀算計並不單純，透過作者鋒銳的剖析，讀者得以理解為何印度政府會禁止此一服務。對於想深入探討數位人權議題的讀者，本書作者嘗試貫通連結歷史人文、政治經濟與科技文明各個觀點所提出的綜觀全局及論述思辨方法，頗值得參考借鏡。
然而思辨之後，又該如何？本書作者身為律師，長期關注數位人權及原住民議題，著書立言的重點在於突顯當今事態的嚴重性，以及呼籲世人展開行動，而人們在此關鍵時刻的關注與行動，將對人類未來的歷史文化有深遠的影響，這也是本書原文名為Future Histories的意涵。本人對此深有同感，也經常呼籲科技產學界的友人們正視科技的開放與民主化，為本土與人類的未來盡一己之力。
在各界探討如何有效規範和監督大型科技公司的同時，科技專業人員也可扮演要角。正如世界最大的電腦科學家、工程師組織ACM曾給予其會員的警語「要避免科技的濫用，科技專業人員會是第一道、也是最後一道防線」所陳述的，理解和關注數位人權的科技專業人員，在數位科技時代有極多的機會扮演吹哨者與守護者的關鍵角色。例如受雇於Microsoft、Google等大公司的工程師，更有能力檢視公司的所作所為，拒絕讓自己成為濫用科技的共犯；以及提倡自由（free）與開源（open source）軟硬體，讓世人共享科技發展的果實，避免科技被寡頭壟斷。當然，很多社會上新的典範轉移，都需要各界的合作和法律規範的配合才行。
反觀國內，臺灣這個在實體世界的戰略要地與文化融爐，在數位科技時代中應何以自處？在全球零距離的數位世界中，又該如何發展出自身的特色？我想這也是需要國人跨領域集思廣益的大哉問。希望藉由本書的流傳，讓國內更多專業人士來關注此議題，使臺灣在全球數位轉型的過程中更加地有為有守。
