反馈循环存在两种危险
直到最后,飞行员都在试图弄清楚到底发生了什么事情。在大多数情况下,人机系统的反馈循环都是完美的,即使不完美,它也会容易弥补。但是,基于复杂反馈循环的系统是难以捉摸的:它们在如此多的一般情况下表现得如此出色,以致人们容易忽视,甚至忘记,还有出现极端错误的风险。
70年前,麻省理工学院教授诺伯特·维纳,一位曾经是天才少年的杰出数学家,构想出关于反馈的一般理论,以及反馈在帮助人类和机器控制自己行为方面的作用。反馈回路是维纳系统控制概念的核心,即收集和解释反馈数据,从而控制系统并调整系统目标。维纳认为,只要有足够多的反馈回路,任何系统都可以朝着我们想要的方向前进。从概念上讲,理解机器如何独立工作——用今天的话说就是机器如何自动运行,是一个巨大的飞跃。从洲际核导弹(和阿波罗登月的飞行器)的制导系统,一直到现代自适应机器学习系统,反馈理论为这些系统的技术发展奠定了基础。但是,维纳既关注又担心反馈系统的灾难性故障,正如法航447号航班的事故所凸显的那样,事故会由突发情况引发,或者反馈系统的元素会被错误的环路所困。
维纳的系统控制概念也培养了人们对控制的渴望:如果某东西可以被控制,它应该是,而且通常是以集权的方式实现的。数学家在选择术语“控制论”时已经预料到了这一点。这个词来源于希腊语kybernete,意思是“总督”。第二次世界大战后,维纳成为他自己参与发动的控制论革命的最早批评者之一。在他的著作《人有人的用处:控制论与社会》一书中,维纳指出,信息流是由反馈驱动的控制论的关键推动者。他同时对自适应系统公开表示了担心。这种担心不是“因为可能会出现机器主动控制人类的危险”,而是因为系统“可能会被一个人或一群人利用,来加强他们对其余人类成员的控制”。
建立在反馈驱动系统基础上的海量数据市场,也表现出了类似的状况。系统在大多数情况下都能良好地运行,但有时它也会变得非常危险。危险要么是由于系统学习缺乏多样性,要么是由于控制权的隐性集中而造成的。在我们拥抱海量数据市场时,我们必须通过适当的控制措施来防范的就是这两种危险。
本书评论