神经网络
前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念
前馈神经网络（英文：Feedforward Neural Network），为人工智能领域中，最早发明的简单人工神经网络类型。在它内部，参数从输入层向输出层单向传播。有异于递归神经网络，它的内部不会构成有向环。
感知机
利用tensorflow等工具定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播
感知器（英语：Perceptron）是Frank Rosenblatt在1957年就职于康奈尔航空实验室（Cornell Aeronautical Laboratory）时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络，是一种二元线性分类器。
激活函数
激活函数的种类以及各自的提出背景、优缺点。（和线性模型对比，线性模型的局限性，去线性化）
在计算网络中， 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。这与神经网络中的线性感知机的行为类似。然而，只有非线性激活函数才允许这种网络仅使用少量节点来计算非平凡问题。 在人工神经网络中，这个功能也被称为传递函数。
深度学习中的正则化
- 参数范数惩罚
- L1正则化、L2正则化
- 数据集增强
- 噪声添加
- early stop
- Dropout层
深度模型中的优化
- 参数初始化策略
- 自适应学习率算法（梯度下降、AdaGrad、RMSProp、Adam；优化算法的选择）
- batch norm层（提出背景、解决什么问题、层在训练和测试阶段的计算公式）
- layer norm层。
