人权
上述讨论显示了控制我们工作状况的人工智能系统是如何让现代职场人异化的，但是，人们对人工智能的使用的更大担忧，是它影响了最基本的人权。拥有一个人工智能系统做老板已经很让人头疼了，它告诉你什么时候可以休息，什么时候应该工作，给你设定目标，并对你的工作状况随时监控和批评……但是，如果人工智能系统有权决定你是否应该进监狱，这种情况又会如何？
再一次声明，这可不是臆想——现在已经有类似的人工智能系统正在投入使用。例如，英国杜伦的警察部队于2017年5月宣布，他们将启用危害评估风险工具 (Harm Assessment Risk Tool， HART)[118] ，这是旨在帮助警察决定应该释放还是拘留涉案嫌犯的人工智能系统。HART是机器学习的经典应用，它的训练库包括2008至2013年获得的所有拘捕数据(约104 000起拘捕事件)，并用2013年的全年拘捕数据进行测试(测试用的数据未纳入训练库)[119] 。最终结果是，在低风险案例中该系统的准确率高达98%，而在高风险案例中为88%。有趣的是，系统设计的时候考虑到了谨慎处理高风险案例(例如涉嫌暴力犯罪的案件)，或者这能解释最终结果的区别。系统使用34种不同的案例特征进行训练，其中大部分与嫌犯的犯罪史有关，不过也包括年龄、性别和住址特征。
没有迹象表明，杜伦的警察把所有决定嫌犯是否拘留的决定权都交给了HART，该系统只是作为决策支持工具，辅助监管人员做决策而已。但是，尽管如此，当社会各界得知HART投入使用时，仍然引起了很大的不安。
主要问题在于HART只关心独立案件的一系列特征，它不会像一个有经验的监管人员那样，会综合考虑嫌犯背景和案件流程，所以它的重要决定是基于相当狭窄的数据基础做出的。决策缺乏透明度也是一个令人担忧的问题(这是机器学习的经典问题，人工智能程序无法给出决策的解释)。当然，培训所使用的数据特征可能存在偏差，也有人提出这一点(尤其是将嫌疑人的住址作为特征之一，这更令人担忧，该系统的决策可能涉嫌歧视底层区域的人)。
还有一点，尽管HART只是一个决策支持工具，但可能在未来的某一天，我们会发现它成了主要的决策者：监管人员有可能太过疲惫、太过迷糊或者太过懒惰，放弃了自己来做决策的权利，于是不加任何思考地全盘接受HART的建议。
我认为，所有这些担忧都指向一点：HART这样的系统侵蚀了人类判断的地位。归根结底，对一个人做出重大影响的决策者是人类，比起别的东西，更让人感觉自在。毕竟，我们享有基本的人权，例如接受同侪审判的权利，而这项权利来之不易，理应受到高度重视。让类似HART的电脑程序对人类做出判决，也许会让人感觉我们在放弃这些来之不易的权利。对这样的趋势我们不应当掉以轻心。
这些担忧是合理的，尽管我不认为应该简单粗暴地全面禁用类似HART的系统，但在使用它的时候，应当遵循非常重要的注意事项。
首先，诚如HART案例中明确指出的，这些工具只能用于为人类决策者提供支持，而不能取代人类进行决策。机器学习决策并非十全十美，它们难免会做出一些明显毫无意义的决策。
而当前机器学习还有一个令人沮丧的现状，就是很难确认它什么时候的决策会出错。因此，在给人们带来重大影响的决策方面，盲目遵循人工智能的建议是非常不明智的。
另一个问题涉及对机器学习技术不成熟地开发和利用。
HART是由经验丰富的研究团队开发的，他们应该全面周到地考虑过这款软件可能面临的各类问题。并不是所有开发者都有如此丰富的经验，或者会如此深入思考。因此，令人担忧的是，代替人类做决策的系统，是否在开发环节考虑得足够谨慎和全面。
HART只是备受人权组织关注的应用于执法系统的软件之一，伦敦警察厅因使用一款名为“帮派矩阵”的工具而饱受批评。该系统有数千人的记录，并将数据代入一些简单的数学公式中，以预测这些人参加帮派的可能性[120] 。帮派矩阵系统大部分似乎都建立在传统计算机技术上，不太涉及人工智能领域，但有这方面的趋势。国际特赦组织称该系统是一个“种族偏见数据库，将某个年代的黑人全部定罪”。有人声称，如果你表现出只偏好某一类音乐的倾向，就会被列入数据库。美国一家名为PredPol的公司销售支持“预测警务”的软件，用以预测犯罪热点区域[121] 。同样，该软件的使用引发了人权方面的争议：如果数据有偏差怎么办？如果软件设计不合理怎么办？如果警察开始过度依赖它该怎么办？另一个系统，COMPAS，旨在预测一个人再次犯罪的可能性[122] ，该系统用于量刑参考[123] 。
有一个极端的案例说明这种错误的想法是如何走向绝境的。2016年，两名研究人员发表了一篇文章，声称只需要让人工智能系统识别一下人脸就可以发现潜在的犯罪行为。这样的系统让我们回到了一个世纪前那些武断的犯罪理论。随后的研究表明，他们的系统大概是根据一个人是否微笑来判断犯罪行为：系统训练使用的是警方拍摄的罪犯面部照片，而这些照片往往都不会面带微笑[124] 。
本书评论