機器人的偏見是如何產生的？
原標題：機器人也會產生偏見，IBM 打算解決它
王毓嬋
據TechCrunch消息，IBM推出了一項新的云服務，可以掃描人工智能系統的工作情況，檢測系統偏見，并為正在做出的自動決策提供解釋。
所謂的“系統偏見”指的是人工智能系統在運算過程中產生的誤差——它可能是由原始數據積累地不全面導致的，也可能是由計算設定中的bug導致的，或者是由工程師錯誤的操作方式導致的。
一個比較典型的例子是，亞馬遜的開放式人臉識別系統Rekognition將28個美國國會議員認成了嫌疑犯。
這其中的原因，一是因為測試者使用的默認置信度閾值是80%，而亞馬遜建議執法部門應用該程序時應至少設置95%的置信度門檻；二是因為如果人工智能的訓練數據本身就是嚴重偏向白人的，那么機器做出的判斷可能也會非常偏向白人。整個國會中只有20%的有色人種，而在機器認定的“嫌疑犯”中，有色人種卻占了39%。更早前NIST的面部識別供應商測試也發現，女性和非洲裔美國人被Rekognition誤識的概率更高。
類似的例子還有，亞馬遜和Google的語音助手在理解非美國口音信息時，準確率會比理解美國口音信息下降30%。
IBM新推出的云服務致力于解決這一問題。它可以檢測運行中的AI系統中存在的偏見，在不公平的結果產生時進行“捕獲”，也可以自動提出修改建議。
除了消除系統誤差，IBM還可以對判斷做出解釋，比如哪些因素加重了哪個方向的判斷，我們應該對判斷結果抱有多大的信心，以及是哪些因素決定了我們抱有這個程度的信心。
IBM稱，這一系統運行在IBM云上，與IBM的機器學習框架和AI模型兼容，包括其Watson技術，以及Tensorflow、SparkML、AWS Sage Maker和AzureML等。
歐盟的GDPR隱私法案規定，普通用戶有權了解人工智能算法在特定情況下如何工作。這意味著許多依賴人工智能系統的科技公司可能需要一套能夠審核他們的AI，并為其判斷做出解釋的工具。
IBM不是第一家發現AI偏見商業機會的專業服務公司。幾個月前，埃森哲也公開了一個工具，用于識別和修復不公平的AI。“沒有一個算法是完美的。”埃森哲人工智能業務負責人Rumman Chowdhury說，“我們知道模型有時會出錯。但對于不同的人存在不同程度的錯誤是不公平的?！?/p>
埃森哲的工具可以檢查AI系統中的敏感變量，如年齡、性別、種族等，從而判斷其運算結果是否有傾斜傾向。
IBM發言人稱，識別和修復AI偏見的工具的出現，會鼓勵更多企業有信心使用人工智能系統。根據IBM的研究，雖然有82%的企業正在考慮使用人工智能技術，但有60%擔心后續帶來的責任問題，有63%的企業擔心缺乏人才來管理人工智能技術。
不過提到偏見，IBM自己也正因一款天生帶有“偏見”的軟件而陷入風波。美國科技媒體The Intercept本月報道稱，紐約警方的視頻監控系統軟件由IBM公司開發，紐約市警察局則提供大量的閉路電視監控數據作為軟件訓練的數據庫，最終讓軟件可以根據膚色、發色、性別、年齡和各種面部特征去搜索相關人員。
通過皮膚、種族等信息進行嫌疑人篩選的監控系統引起了很大的爭議，公民自由倡導者組織表示，他們對紐約警察局幫助建立具有潛在大規模種族貌區別的監控系統的計劃感到震驚。
IBM開發的去除偏見工具也許對他們自己的軟件也有用。
“掌”握科技鮮聞 （微信搜索techsina或掃描左側二維碼關注）
