本文在总结终生学习(Life Long Learning, LLL,又称为增量学习Incremental Learning、Continuous Learning、Never Ending Learning)的概念,存在的问题以及当前的解决方案。
本文介绍了多层感知器的原理和实现,同时介绍了各个激活函数的优缺点,包括:sigmoid、tanh、ReLU、Leaky ReLU、PReLU、RReLU、ELU、Maxout等。
本文是论文《Deep Sparse Rectifier Neural Networks》的阅读笔记,该论文提出了ReLU(线性整流函数/线性修正单元),是深度学习历史上的重大突破。
本文是动手学深度学习的笔记,介绍了softmax和交叉熵原理,并给出Tensorflow实现。
本文是读《动手学深度学习》的阅读笔记,介绍了使用梯度下降法求解线性回归的方法,并给出了Tensorflow实现。