本文在总结终生学习（Life Long Learning, LLL，又称为增量学习Incremental Learning、Continuous Learning、Never Ending Learning）的概念，存在的问题以及当前的解决方案。
本文介绍了多层感知器的原理和实现，同时介绍了各个激活函数的优缺点，包括：sigmoid、tanh、ReLU、Leaky ReLU、PReLU、RReLU、ELU、Maxout等。
本文是论文《Deep Sparse Rectifier Neural Networks》的阅读笔记，该论文提出了ReLU(线性整流函数/线性修正单元)，是深度学习历史上的重大突破。
本文是动手学深度学习的笔记，介绍了softmax和交叉熵原理，并给出Tensorflow实现。
本文是读《动手学深度学习》的阅读笔记，介绍了使用梯度下降法求解线性回归的方法，并给出了Tensorflow实现。
