2019

• 一月 - 3D 姿势估计

姿势估计器将视频作为输入，并输出与视频中存在的人类个体的姿势相对应的图形。

创建可靠且实时的 3D 姿势估计器的当前困难包括这样的事实：几乎没有训练数据，以及必须考虑遮挡的事实。例如，如果特定身体部位被阻挡而不能看到，则姿势估计器仍必须能够从身体其余部分的位置推断出其位置。

MLDemos 介绍

MLDemos 是一种用于机器学习算法的开源可视化工具，用于帮助研究和理解多个算法如何运作以及它们的参数如何影响和修改分类，回归，聚类，降维，动态系统和强化学习(奖励最大化)等问题的结果。

MLDemos 是开源的，可供个人和学术用途免费使用。

项目地址：https://github.com/clone95/virgilio

目前为止： [7,128] star [1,303] fork，希望你看到之后能给它添加一个 star 。

这个项目首次提交在 2019 年 3 月 12 日，原名叫https://github.com/clone95/Data-Science-Study-Paths-March-2019，一个月的时间就有 6k+ 个 star，经常排在 http://github.com/explorer 的前几位。当然最近被榜单被 996icu 占了。

Transformer的原理

Google Tensor2Tensor系统是一套十分强大的深度学习系统，在多个任务上的表现非常抢眼。尤其在机器翻译问题上，单模型的表现就可以超过之前方法的集成模型。这一套系统的模型结构、训练和优化技巧等，可以被利用到公司的产品线上，直接转化成生产力。

Attention

为什么需要Attention

最基本的seq2seq模型包含一个encoder和一个decoder，通常的做法是将一个输入的句子编码成一个固定大小的state，然后作为decoder的初始状态（当然也可以作为每一时刻的输入），但这样的一个状态对于decoder中的所有时刻都是一样的。

attention即为注意力，人脑在对于的不同部分的注意力是不同的。需要attention的原因是非常直观的，比如，我们期末考试的时候，我们需要老师划重点，划重点的目的就是为了尽量将我们的attention放在这部分的内容上，以期用最少的付出获取尽可能高的分数；再比如我们到一个新的班级，吸引我们attention的是不是颜值比较高的人？普通的模型可以看成所有部分的attention都是一样的，而这里的attention-based model对于不同的部分，重要的程度则不同。

递归神经网络

递归神经网络（RNN）是神经网络的一种。单纯的RNN因为无法处理随着递归，权重指数级爆炸或梯度消失的问题（Vanishing gradient problem），难以捕捉长期时间关联；而结合不同的LSTM可以很好解决这个问题。

时间递归神经网络可以描述动态时间行为，因为和前馈神经网络（feedforward neural network）接受较特定结构的输入不同，RNN将状态在自身网络中循环传递，因此可以接受更广泛的时间序列结构输入。手写识别是最早成功利用RNN的研究结果。

卷积

运算的定义、动机（稀疏权重、参数共享、等变表示）

定义

函数 $f, g$ 是定义在 $\mathbb{R}^{n}$ 上的可测函数（measurable function），$f$ 与 $g$ 的卷积记作 $f * g$，它是其中一个函数翻转并平移后与另一个函数的乘积的积分，是一个对平移量的函数，也就是：

$$(f * g)(t) \stackrel{\mathrm{def}}{=} \int_{\mathbb{R}^{n}} f(\tau) g(t-\tau) d \tau$$

如果函数不是定义在 $\mathbb{R}^{n}$ 上，可以把函数定义域以外的值都规定成零，这样就变成一个定义在 $\mathbb{R}^{n} $ 上的函数。

文本表示：从one-hot到word2vec

One-Hot编码，又称为一位有效编码，主要是采用位状态寄存器来对个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。

在实际的机器学习的应用任务中，特征有时候并不总是连续值，有可能是一些分类值，如性别可分为“male”和“female”。

Word2vec，为一群用来产生词向量的相关模型。这些模型为浅层双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。

训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系。该向量为神经网络之隐藏层。

Word2vec依赖skip-grams或连续词袋（CBOW）来建立神经词嵌入。Word2vec为托马斯·米科洛夫（Tomas Mikolov）在Google带领的研究团队创造。该算法渐渐被其他人所分析和解释。

神经网络

前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念

前馈神经网络（英文：Feedforward Neural Network），为人工智能领域中，最早发明的简单人工神经网络类型。在它内部，参数从输入层向输出层单向传播。有异于递归神经网络，它的内部不会构成有向环。