循环神经网络的神奇应用
循环神经网络的第一个重要应用是机器翻译。机器翻译最早是语言学家手工写一大堆语法,然后根据单词出现的顺序用语法把它们组织起来。这是典型的“专家系统”。我们前面讲过,这样的手工系统无法应付千变万化的自然语言。后来的机器学习翻译就是前面说过的统计方法,统计大量的句子中每个字出现在另外一个字之后的频率,然后挑选最可能出现的那个字。我们前面也说了这种方法的局限性。现在最新、最牛的机器翻译,从谷歌、Facebook、微软到百度统统都是用循环神经网络。翻译和前面的填空例子相比,多了可用的信息。例如英文“I am Chinese,I can speak mandarin”可以翻译成中文“我是中国人,会讲普通话”,机器翻译除了可以根据前面出现的中文词预测后面的中文词之外,还可以根据整个英文句子和整个中文句子之间的对应关系来提高预测的准确性。这就是目前最广泛使用的“编码器-解码器”翻译模型。这里用两个循环神经网络,一个网络先把整个英文句子的结构信息都压缩到一个字符中,然后第二个网络在一个字一个字地预测时可以根据这个包含了整个句子的结构信息做辅助判断。机器翻译正处在技术突破的边缘,一旦突破将给我们的生活带来巨变。
机器学习不仅在科学技术的进步上大显神威,也开始进入人文领域。循环神经网络第二个有意思的应用是写诗。我们会在第六章中详细介绍。同样的道理,还可以写小说。只要让机器大量阅读一位作者的著作,机器就会学会这个作者的文字风格,甚至可以写出海明威风格的《红楼梦》,或者曹雪芹风格的《老人与海》。
循环神经网络很神奇,但我们下面要介绍的“强化学习”更神奇。
本书评论