算法偏见
我们也许希望人工智能系统能够做到公正和公平,摆脱困扰人类世界良久的偏见和成见,但恐怕事实并非如此。在过去十年里,随着机器学习系统被推广到越来越多的应用领域,我们开始了解到自动决策系统也会表现出算法偏见 。现在它已经成为一个主流研究领域,许多团体都在努力理解算法偏见带来的问题,以及如何避免。
算法偏见,顾名思义,是指计算机程序——不仅仅是人工智能系统,而是任意计算机程序——在其决策过程中表现出某种形式的偏见的情况。该领域的主要研究者之一凯特·克劳福德(Kate Crawford)指出,存在算法偏见的程序可能会造成两方面的伤害问题[130] 。
首先是分配伤害,分配伤害体现在某个群体在某些资源方面被拒绝(或优待)的时候。例如,银行可能会使用人工智能系统来预测潜在客户的优劣——优质客户意味着会按时还贷,而劣质客户则更可能拖欠贷款。他们可以使用优质客户和劣质客户的相关资料来训练人工智能系统,经过训练的系统可以查看潜在客户的详细信息,并预测客户可能是优质还是劣质客户,这是一个经典的机器学习程序的案例。但如果程序存在偏见,那么它可能会拒绝向某个群体提供贷款,或者偏袒某个群体,更可能放款给他们。在这里,偏见导致了相关群体明显可识别的经济障碍(或优待)。
另一种是代表性伤害,通常发生在系统产生强化刻板印象或者偏见时,一个最臭名昭著的例子就是2015年,谷歌的照片分类系统将黑人照片标注为“大猩猩”[131],强化了令人反感的种族刻板印象。
但是,正如我们在第一章里了解到的那样,计算机不过是执行指令的机器而已,它怎么会存在偏见呢?
因为机器最重要也是单一的获取信息途径是数据,偏见就是通过数据引入的。机器学习程序使用数据进行训练,如果数据本身就存在偏差,那么程序也将学习数据中隐含的偏见,而训练数据本身就可能存在不同程度的偏差。
最简单的可能性是,构建数据集的人本身就是带有偏见的。在这种情况下,他们会在数据集中嵌入这类偏见,可能不会太明确,也可能是无意识的。事实上,无论每个人认为自己多么公平公正,我们都存在某种形式的偏见。这些偏见将不可避免地在我们创建的训练数据中体现出来。
虽然这些问题是人为的,但是机器学习也会不知不觉地成为帮凶。例如,如果机器学习程序的训练数据不具有代表性,那么该程序的决策将不可避免地被扭曲。例如,假设银行根据一个地理区域的数据集对贷款软件进行了训练,那么这个程序很可能最终会对其他地区的个人产生偏见。
设计拙劣的程序也会产生偏见,举个例子,假设在上面提到的银行案例中,你选择用种族血统作为关键特征来训练银行的人工智能系统,最终,你的程序毫无疑问会在衡量发放贷款的时候带有明显的种族歧视。(你不会真的觉得银行能蠢到这个地步吧?等着看呗。)
算法偏见是目前存在的一个突出问题,我们之前就了解过,当前人工智能系统大多采用机器学习的方式构建,机器学习的特点是“黑盒”:它无法用人类能够理解的方式解释或者说明它的决策。如果我们过于信任人工智能系统,这个问题就会更加严重——有迹象表明已经存在这样的趋势了。银行建立了人工智能系统,使用包含几千个案例的数据集训练它,训练结果是看上去它能够得出和人类专家相同的结果,所以人们就武断地相信人工智能系统不会出错,并且毫不犹豫地信任它的决策,而不进行深入思考。
有时候,你会感觉到似乎世界上的每一家公司都在疯狂地将机器学习应用到他们的业务中,但在这种疯狂浪潮中,他们有可能创造出更多带有偏见的程序,因为他们根本没意识到这其中的致命问题,最关键的是,要用正确的方式获取数据。
本书评论