本文是论文<Regularization of Neural Networks using DropConnect>的阅读笔记，该论文提出了DropConnect，用于NN的正则化。
本文是论文<DropBlock: A regularization method for convolutional networks>的阅读笔记，该论文提出了DropBlock正则化方法，可以有效的应用卷积层。
本文是论文<Cross-Iteration Batch Normalization>的阅读笔记，该论文在BN的基础上提出了CBN方法，联合多个mini-batch的样本以及使用泰勒展开式，解决了当batch size太小时BN失效的问题。
本文是论文<Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift>的阅读笔记，该论文提出了Batch Normalization (BN)，通过减小Internal Covariate shift，提升模型效果。在GoogLeNet中加入BN，达到分类任务的SOTA。
本文介绍了多层感知器的原理和实现，同时介绍了各个激活函数的优缺点，包括：sigmoid、tanh、ReLU、Leaky ReLU、PReLU、RReLU、ELU、Maxout等。
本文是论文《Deep Sparse Rectifier Neural Networks》的阅读笔记，该论文提出了ReLU(线性整流函数/线性修正单元)，是深度学习历史上的重大突破。
本文是动手学深度学习的笔记，介绍了softmax和交叉熵原理，并给出Tensorflow实现。
本文是读《动手学深度学习》的阅读笔记，介绍了使用梯度下降法求解线性回归的方法，并给出了Tensorflow实现。
本文基于论文《Efficient Estimation of Word Representations in Vector Space》，描述了词向量训练模型CBOW和Ski-gram的原理，以及给出keras实现。
本文基于论文<A Neural Probabilistic Language Model>提出的神经网络语言模型(NNML)，介绍了其原理，以及使用keras复现了模型。
