本文是论文<Cross-Iteration Batch Normalization>的阅读笔记,该论文在BN的基础上提出了CBN方法,联合多个mini-batch的样本以及使用泰勒展开式,解决了当batch size太小时BN失效的问题。
本文是论文<Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift>的阅读笔记,该论文提出了Batch Normalization (BN),通过减小Internal Covariate shift,提升模型效果。在GoogLeNet中加入BN,达到分类任务的SOTA。
本文介绍了多层感知器的原理和实现,同时介绍了各个激活函数的优缺点,包括:sigmoid、tanh、ReLU、Leaky ReLU、PReLU、RReLU、ELU、Maxout等。
本文是论文《Deep Sparse Rectifier Neural Networks》的阅读笔记,该论文提出了ReLU(线性整流函数/线性修正单元),是深度学习历史上的重大突破。
本文是动手学深度学习的笔记,介绍了softmax和交叉熵原理,并给出Tensorflow实现。
本文是读《动手学深度学习》的阅读笔记,介绍了使用梯度下降法求解线性回归的方法,并给出了Tensorflow实现。
本文基于论文《Efficient Estimation of Word Representations in Vector Space》,描述了词向量训练模型CBOW和Ski-gram的原理,以及给出keras实现。
本文基于论文<A Neural Probabilistic Language Model>提出的神经网络语言模型(NNML),介绍了其原理,以及使用keras复现了模型。