自动求导器
在神经网络训练时最复杂的计算就是把输出误差通过反向传播,用最陡梯度法来调整网络各层的加权系数直至输出误差最小。这个计算基本是一个连锁的在网络各层对权重系数集求导数的计算。在大部分的编程框架中,这个连锁求导被打包成一个运算函数(在Python程序库里是一种“类”)。在有些提供高级应用接口的编程框架中,例如TensorFlow,甚至把整个“训练”打包成一个运算(“类”)。在把运算流程图画出来以后(等于定义好了神经网络的大小和结构),只要调用“训练”这个运算开始运算训练数据,就可以得出训练好的网络参数。
本书评论