「AI 的偏差」是機器學習中非常受關注的一個問題，著名分析師 Benedict Evans 對此發表了一篇文章，雷鋒網 AI 科技評論編譯整理如下。

　　機器學習在數據中發現模式。「AI 偏差」意味著它可能會發現錯誤的模式——一個用于檢測皮膚癌的系統可能會更加關注照片是否是在醫生辦公室拍攝的。機器學習不「理解」任何東西——它只是在數據中尋找模式，如果樣本數據不具有代表性，那么輸出也不會具有代表性。同時，機器學習的機制讓我們難以發現這一問題。

　　由于人類的多樣性，而且有很多理由說明關于人類的數據可能帶有隱含的偏差，在人類中這一問題比較明顯。但是，如果你認為這僅僅和人有關，那就產生了誤導，這就像試圖發現倉庫里的洪水或是燃氣輪機的故障，這是誤導性的，或者是不完整的。一個系統可能偏向于不同的皮膚色素沉著，另一個系統可能偏向于西門子傳感器。

　　這些問題不是機器學習的新問題，也不是唯一的問題——所有復雜的組織都會做出錯誤的假設，而且總是很難做出決定。解決辦法是制作工具和流程來檢查這個問題，并進行用戶教育，確保人們不只是「做人工智能所說的」。機器學習比人更擅長做某些事情，就像狗比人更擅長發現毒品一樣，但你不會根據狗的證據來對某個人定罪。狗比任何機器學習都聰明得多。

　　機器學習是當今最重要的基本技術趨勢之一，也是未來十年技術將改變世界的主要方式之一。作為其中的一部分，機器學習的某些方面引起了人們的關注——例如，它對就業的潛在影響，以及它可能被用于做人們認為不道德的事情，例如，它可能賦予某些政治組織新的能力去壓迫它們的人民。另一個，也就是這篇文章的討論的主題，是 AI 偏差的問題。

　　這并不是一件簡單的事情。

　　什么是「AI 偏差」？

　　「原始數據是矛盾的，使用它是一個壞主意；相反，數據應該小心烹制，精心處理?！?/p>

　　——Geoffrey Bowker

　　直到 2013 年，如果你想制作一個軟件系統，比如說，識別照片中的貓的系統，你可以寫下合乎邏輯的步驟。你會做一些東西來尋找圖像中的邊緣，一個眼睛檢測器，一個毛皮紋理分析儀，然后試著計算腿的數量，等等，然后你會把它們連接在一起……但是它永遠不會真正起作用。從概念上講，這相當于試圖制造一匹機械馬——理論上是可能的，但在實踐中太復雜了，我們沒有能力去描述它。你最終止于成百上千的手寫規則，卻沒有得到一個可用的模型。

　　在機器學習中，我們不使用手寫規則來識別 x 或 y。相反，我們取了 1000 個 x 和 1000 個 y 的例子，讓計算機根據這些例子的統計分析建立模型。然后我們可以給這個模型一個新的數據點，在給定的精度下，判斷數據點是否適合示例集 X 或示例集 Y。機器學習使用數據生成模型，而不是由人類編寫模型。這種做法得到了出人意料的好結果，對于識別或模式查找問題來說尤其如此，這就是為什么整個技術行業都在圍繞機器學習技術進行改造的原因。

　　但是，這里面有一個陷阱。在現實世界中，你的數千（或數十萬，或數百萬）個 x 和 y 的例子也包含 A、B、J、L、O、R 和 P。這些例子可能分布不均勻，并且，它們樣本數可能足夠多，以至于相比于 X，系統更關注 L 和 R。

　　這在實踐中意味著什么？我最喜歡舉的例子是圖像識別系統傾向于將一張草丘的照片判斷為「綿羊」。大多數關于「綿羊」的圖片都是在長滿草的山丘上拍攝的，因為這就是綿羊通常生活的地方，而在圖片中，草比白色絨毛狀的小東西更為突出，所以系統給予它最多的權重。

　　關于這一點，最近，一個更為嚴重的例子出現了：一個在照片中尋找皮膚癌的項目也出現了誤判。為了進行測量，在皮膚癌的照片中經常出現皮膚科醫生放置的尺子，但是健康皮膚的示例照片中不包含尺子。對于系統來說，雖然尺子（或者更確切地說，我們視為尺子的像素）只是示例集之間的差異，但它們有時比皮膚上的小斑點更突出。因此，用來檢測皮膚癌的系統有時候檢測的是尺子。

　　這里要理解的一個核心問題是，系統對它所「看」到的內容沒有語義上的理解。我們查看一個像素網格，并將其轉換為綿羊、皮膚或尺子，但系統只看到一系列數字。它看不到三維空間、物體、紋理或綿羊，它只看到了數據中的模式。

　　與此同時，試圖診斷此類問題的挑戰在于機器學習系統生成的模型（神經網絡）包含數千或數十萬個節點。我們不能直接查看模型內部，知道它是如何做出決定的——如果可以的話，那么這個過程就足夠簡單，你一開始就不需要 ML，可以自己編寫規則。人們擔心 ML 是一個「黑盒子」。（不過，我稍后會對此進行解釋，這個問題經常被夸大。）

　　這是一個非常簡單的「AI 偏差」或「機器學習偏差」問題：一個試圖在數據中找到模式的系統發現的可能是錯誤的模式，并且你可能根本意識不到。這是這項技術的一個基本特征，學術界和大型科技公司（的數據人員）的每個人都很清楚這一點，但它產生的后果是復雜的，我們對這些后果的設計出來的潛在解決方案也是復雜的。

　　首先，我們來談談后果。

　　AI 偏差場景

　　這個問題最明顯和最直接的體現是人類的多樣性。最近有報道稱，亞馬遜已經嘗試建立一個機器學習系統來篩選應聘者。由于亞馬遜目前的員工群體偏向男性，「成功雇傭」的例子在實際中也偏向男性，因此，該系統在招聘時也會選擇男性。亞馬遜發現了這一點，因此該系統從未被用于實踐。

　　這個例子中最重要的一點是，據報道，即使在簡歷中沒有明確標注性別，系統也顯示出這種偏差。系統也看到了「成功的應聘者」樣本集中的的樣本在其它方面的模式——例如，女性可能會用不同的詞來描述成就，或者在學校參與了各種各樣的體育活動。當然，這個系統不知道曲棍球是什么，不知道人是什么，也不知道「成功」是什么——它只是對文本進行統計分析。但是，它所看到的模式不一定是人類會注意到的事情，而且對于某些事情（例如，描述「成功」的詞匯，在不同性別之間可能會有所不同），人類可能很難發現。

　　當一個非常擅長在蒼白皮膚上發現皮膚癌的機器學習系統遇到深色皮膚時，情況變得更糟了，反之亦然。這可能不是因為樣本中存在偏差，而是因為你可能需要以不同的方式構建模型，以從中挑選出不同的特征。即使是在像圖像識別這樣的狹窄應用中，機器學習系統也是不共通的。你必須調整系統的結構，有時只需要通過嘗試和錯誤，以便在你感興趣的數據中很好地發現特定的特性，直到獲得滿意的準確度。但是你可能沒有意識到系統在一組數據上測試的準確度是 98%，而在另一組數據上可能只有 91%（即便這種準確度仍然超過人類）。

　　到目前為止，我使用的都是人或者和人有關的例子。但重要的是，我們要理解圍繞人的偏差只是下面這個問題的一個子集：我們將會使用 ML 做很多事情，而樣本偏差在所有這些事情中都將是需要被考慮的一部分。同樣地，即使和你合作的是人，數據中的偏差也是可能存在的。

　　為了系統地理解這一點，回顧一下前面皮膚癌的例子，并考慮可能會被打破的三種假設方式是很有用的：

　　沒有一個人是均勻分布的：在不同色調的照片中，皮膚照片顏色并不是完全相同的，所以你的系統對皮膚色素沉著的判斷可能是錯誤的。

　　你的數據包含一個突出的、分布不均的非人類特征，它沒有診斷價值，但系統會對此進行訓練——例如皮膚癌照片中的尺子，或綿羊照片中的草。在這種情況下，如果我們看到的是「尺子」（但它不存在）的像素，結果就會改變。

　　你的數據還包含一些其他的特征，即使人們在尋找這些特征時也看不到它們。

　　「即使人們尋找它」是什么意思？好吧，我們知道，或者應該知道，數據可能會在不同的人類群體中產生偏差，并且至少可以計劃尋找這個偏差。換句話說，關于為什么你可能會期望你的數據會在人類群體中產生偏差，有著各種各樣的社會原因。如果我們看有尺子的照片，我們可以看到尺子——我們只是忽略了它，因為我們知道它是無關的，但我們忘記了系統什么都不知道。

　　但是，如果你所有的不健康皮膚照片都是在有白熾燈的辦公室里拍攝的，而你健康皮膚照片是在熒光燈下拍攝的呢？如果你在拍攝健康照片和不健康照片的中間更新了智能手機上的操作系統，而蘋果或谷歌對降噪算法做了一些小的改動，會怎么樣？不管他們看起來多么厲害，人類可能完全不會注意到這些變化，但是機器學習系統會立即看到并使用它。系統什么都不知道。

　　到目前為止，我們一直在討論錯誤的相關性，但是數據中也可能存在完全準確和正確的預測模式，但出于道德、法律或基于產品的原因，你不想使用這些模式。例如，在某些司法管轄區，即使女性可能是更安全的駕駛者，向女性提供更好的汽車保險費率也是不允許的。我們可以很容易地想象一個系統，它查看歷史數據，并學會將「女性」名字與低風險聯系起來，因此你可以從數據中刪除名字——但是，正如上面的亞馬遜示例一樣，可能還有其他因素向系統揭示性別（當然，它沒有性別概念），除非監管機構事先對你提供的報價進行統計分析，并對你處以罰款，否則你可能不會意識到這一點。

　　最后，在我們討論這個問題的時候，好像我們只會將這些系統用于以某種方式涉及人、社會互動和假設的事情。而實際上并非如此。如果你制造燃氣輪機，你會對將機器學習應用到來自你產品上幾十或數百個傳感器的遙測（音頻、振動、溫度或任何其他傳感器生成的數據，這些數據很容易被重新用于機器學習模型）非常感興趣。比如，你可能會說，「這是 1000 臺即將發生故障的渦輪機的數據，這是 1000 臺運轉良好的渦輪機的數據——可以建立一個模型來區分它們的不同之處」?，F在，假設 75% 的壞渦輪機使用了西門子傳感器，只有 12% 的好渦輪機使用傳感器（假設這與故障沒有關系）。該系統將建立一個和西門子傳感器相關的模型來檢測渦輪。

　　AI 偏差管理

　　我們該怎么辦？你可以從三個方面來考慮這個問題：

　　訓練數據收集和處理的方法的嚴謹性

　　分析和診斷模型行為的技術工具

　　在產品中部署 ML 的訓練、教育和注意事項

　　「Molière's Bourgeois Gentilhomme」中有一個笑話，講的是一個人被教導文學分為「詩」和「散文」，他很高興地發現自己在無意識的情況下，一輩子都在講散文。統計學家們今天可能也有同樣的感受——他們一直在研究「人工智能」和「樣本偏差」，但他們自己沒有意識到這一點。尋找和擔憂樣本偏差并不是一個新的問題——我們只需要非常系統地對待這個問題。如前所述，從實際上來看，在某些方面，我們在看待和人有關的問題時可能更容易。這是因為，我們知道，我們可能對不同的人類群體有偏差，但我們可能沒有意識到的是，我們可能對西門子有偏差。

　　當然，不同的是，人們不再直接進行統計分析了，而是由機器完成的，它生成的模型復雜度和規模都非常大，不容易分析。透明度問題是關于偏差的主要關注領域之一。我們擔心這一點并不只是因為它有偏差，而且因為這些偏差是沒有辦法分辨的，它在某種程度上是全新的，不同于其他形式的組織，在這些組織中有清晰的邏輯步驟可以檢查。

　　這有兩個問題：我們可能在某些方面可以檢查 ML 系統，而檢查任何其他系統實際上并不容易。

　　首先，當前機器學習研究的一部分是尋找工具和方法，找出機器學習系統中最突出的特征。同時，機器學習（在目前的表現形式中）是一個非常新的領域，科學技術正在迅速地革新。人們今天認為不實用的東西可能很快會變得實用。這個 OpenAI 項目就是一個有趣的例子。

　　其次，你可以在現有系統或組織中檢查和理解決策的想法在理論上是正確的，但在實踐中是有缺陷的。在一個大的組織中，如何進行決策的審查一點也不容易。這可能是一個正式的決策過程，但它并不是人們實際互動的方式，而且人們本身往往沒有一個清晰的邏輯和系統的方式來做出他們自己的決定。正如我的同事 Vijay Pande 所說的那樣，人們也是黑匣子——許多公司和機構中將成千上萬的人和問題結合在一起。以美國宇航局為例，我們從郵報上得知，航天飛機在重返大氣層時會解體，美國宇航局內部的不同人員掌握的信息讓他們認為可能會發生一些不好的事情，但整個系統并不知道這一點。與此同時，當美國宇航局失去了先前的航天飛機時，它正經歷著這個檢查過程，但由于非常相似的原因，它又失去了另一個航天飛機。很顯然，組織和人類系統遵循清晰的邏輯規則，你可以檢查、理解和改變這些規則，但在實際上并非如此。這被稱為 Gosplan fallacy。

　　在這種情況下，我經常將機器學習與數據庫，尤其是關系型數據庫進行比較。關系數據庫是一種新的基礎技術，它改變了計算機科學中可能發生的事情，改變了更廣闊的世界，它是一切事物的組成部分，我們現在一直在使用它，但卻沒有注意到它。但是數據庫也存在問題，這些問題也有相同的特點：系統可能建立在錯誤的假設或錯誤的數據之上，這很難分辨，往往使用它的人會按照系統告訴他們的做而不加質疑。有個老笑話是說，稅務局把你的名字拼錯了，改變你的名字比說服他們改成正確的名字要容易得多。這是 SQL 固有的技術問題，它是 Oracle 的執行失敗，還是大型官僚機構的制度失敗？

　　在一個更簡單的層面上，人們可以從人們因為衛星導航系統過時而駕駛汽車沖入河流中的現象中看到這個問題。是的，從理論上來說，地圖應該是最新的。但是，你的車漂到海里有多少是地圖的錯呢？

　　所有這些都是說，ML 偏差將以與過去問題大致相同的方式引起問題，并且它是否可以解決和發現的概率與過去大致相同。因此，最容易想象的人工智能偏差造成傷害的場景可能不是來自重要機構的主要研究人員。相反，它是一個第三層的技術承包商或軟件供應商，將一些它并不真正理解的開放源代碼組件、庫和工具捆綁在一起，然后將其出售給一個在標簽上看到「AI」并且不問問題、將其交給最底層員工，并告訴他們做「人工智能」所說的任何事。這就是在數據庫上發生的情況，它不是人工智能的問題，甚至不是「軟件」問題，這是一個「人類」問題。

　　結論

　　「任何你可以訓練狗去做的事情，機器學習都可以做——但是你永遠不能完全確定你訓練狗做什么?！?/p>

　　我經常認為「人工智能」這個詞在這樣的對話中是無濟于事的。它造成了一種很大程度上的錯誤印象，即我們實際上已經創造了智能，但實際上并沒有。它們只是機器，比洗衣機更有用一點。洗衣機洗衣服比人好得多，但是如果你把盤子而不是衣服放進洗衣機，然后按啟動鍵，它還是會把它們洗干凈，但這并不是你想要的結果。洗衣機不知道什么是衣服或盤子，它只是自動化的一種形式，在概念上與以前的自動化浪潮并沒有什么不同。

　　也就是說，正如汽車、飛機或數據庫一樣，這些系統既可以是非常強大的，也可以是非常局限的，這完全取決于人們如何使用它們，取決于人們對這些系統的工作方式意圖是好是壞，以及人們受教育的程度。

　　因此，「AI 是數學，它不可能有偏差」的說法是完全錯誤的。但是，說 ML 是「固有的偏差」也是錯誤的。ML 在數據中找到模式，至于是什么模式取決于數據，而數據取決于我們，我們如何處理它取決于我們自己。正如前面所說，機器學習比人更擅長做某些事情，就像狗比人更擅長發現毒品一樣，但你不會根據狗的證據來定罪。狗比任何機器學習都聰明。