• OTODSCINOs是Obstacles_TO_Decreasing_Serial_Complexity_In_Nonlinear_Optimization的缩写,即降低非线性优化复杂度的障碍。本文提出了三个导致神经网络训练缓慢的OTODSCINOs:非线性的数量、局部条件的数量、梯度噪声的数量。神经网络的层数越多,非线性的数据就越多,所以会出新ReLU这样的激活函数来降低复杂度;局部条件的数量,也就是要计算的参数数量,这个数量越多,显然就需要更多的计算;梯度噪声的数量越多,就会让参数空间的维度越多,显然就更复杂,但做平均可以有效减低噪声,这就需要可以利用多设备进行并行计算了。通篇看下来,觉得随机梯度下降确实引入了一些问题。
  • 本文并非教程,而是指导和总结手机上应用人脸识别技术的内容。文中介绍了人脸识别的算法原理,如何在手机上应用这些算法,以及现有使用人脸识别技术的应用App。
  • 整理的12个自然语言处理和机器学习相关的教育资源,有视频、书籍、博客等。