深度学习调参经验
深度学习调参经验http://t.cn/RZKJL9I。之前没有注意的有：1、梯度要除以batch size 2、尝试多种权重初始化方式 3、当使用RNN或者LSTM的时候，要对梯度最大值作限制，不要超过15或者5（根据经验人为调整） 4、尝试dropout，且要比平时要多点迭代。这一切的前提是你有台非常牛逼的电脑[拜拜][拜拜]

深度学习资源 博客Random Thoughts  http://rt.dgyblog.com/ref/ref-learning-deep-learning.html

Reference: 机器学习早报

芝加哥大学研究人员提出一种新型卷积神经模型FractalNet

芝加哥大学的研究人员发表了一份论文《FractalNet: Ultra-Deep Neural Networks without Residuals》，介绍了一种无残差的超深卷积神经网络FractalNet，他们实验证明残差值并不是创建超深卷积神经网络的关键，Fractal 网络可以被视为每一层子网络深度隐形联合起来的运算效率。在Fractal 网络架构下做一些子路径的扩展，子网络能有更快的运算性能和更精准的训练结果。有兴趣的读者请阅读原文：www.arxiv.org/pdf/1605.07648v1.pdf。

Reference: http://mini.eastday.com/a/160531103419897-3.html