核心式子如上，还是和 skip-gram 一样用中心词去预测窗口内的其他词，但展开成了对不同主题 z 的求和。两个式子代表两种，一个是假设中心词和其他词都属于同一主题(STE-Same)，下面的式子则不做这个假设（STE-Diff）。

可以看到他们的词向量确实有不同主题的区别。

A survey of cross-lingual embedding models
https://arxiv.org/abs/1706.04902
Sebastian Ruder

一个多语言词向量的 survey，和多义词的词向量还不是一回事，可以对比着看另外作者还写了 blog

http://sebastianruder.com/cross-lingual-embeddings/

A Generative Model of Group Conversation
https://arxiv.org/abs/1706.06987
Hannah Morrison, Chris Martens

这篇文章并没有很高深的系统，但建模了一个很有趣的现象。一般玩家和 NPC 对话时都会觉得死板，他们想让 NPC 之间的对话能够活泼起来。
他们用规则方法建立了一个多人对话的生成模型。说话者之间会打断对方，或者达成共识。上图有一些对话被打断或者达成共识的例子。

An Empirical Study of Mini-Batch Creation Strategies for Neural Machine Translation
https://arxiv.org/abs/1706.05765

Makoto Morishita, Yusuke Oda, Graham Neubig, Koichiro Yoshino, Katsuhito Sudoh, Satoshi Nakamura

本文来自奈良先端大，主要设计实验比较了构建 mini-batch 的不同方法。如上图，由于句子不一样长，因此一般在实现时需要排个序并且把短的加上 padding，以方便 batch 计算。不同的框架做法不同，但由于 padding 其实是无用的，因此是对计算资源的浪费。

首先是 mini-batch 取多大；另外是按句子数还是目标句的词数来取 mini-batch；最后是构建 mini batch 前怎么排序，由于随机排序添加的 padding 最多，因此训练时间比最短的多了一倍。

实验只看其中一个。他们设置了不同的 mini-batch、不同的优化方法、基于词和句子的batch，不同颜色对应语料预排序的方法。在batch比较大时可以看出随机排序较好，而如果用SGD优化各方法表现就都差不多但是训练比较慢。

Deep Learning of Grammatically-Interpretable Representations Through Question-Answering
https://arxiv.org/abs/1705.08432
Hamid Palangi, Paul Smolensky, Xiaodong He, Li Deng

本文来自微软，看起来挺诱惑的但是实验感觉经不起推敲。简单概括一下想法，本文想解决模型的可解释性问题，深度学习得到的一个词表征是连续的，而人们日常交流用的是离散的符号概念，这二者的鸿沟怎么才能填起来？他们提出了一个 Tensor Product Representation unit (TPR)，以华盛顿大学在 ICLR2017 上发表的模型 BiDAF 为基础，把传统的 LSTM 单元替换成他们的 TPR。

然后来解释一下 TPR，简单说就是一个词的向量有两个矩阵来控制，一个是 symbol 矩阵，另一个是 role 矩阵，每个词会用 soft-attention 从 symbol 中选一个列向量、从 role 矩阵选一个列向量，用来得到当前词的向量。具体实验中 symbol 有100个列，role 有20列。

所有的 embedding 和权重都是需要学习的，attention 计算会考虑前一个词的向量。他们在目标函数里加上了正则项，要求每个词只选一个 symbol 和一个 role。
这时我们就认为一个词相当于选了某个 symbol 赋予其某种 role。从名字也能看出来，他们认为 symbol 矩阵学到了词的词法语义信息，而 role 则学到了语法成分信息。

最后，只要对应的 attention 权重比较高，超过某个阈值，我们就认为这是学到了对应的模式。
role 矩阵的 attention 就对应选到了 role 的模式，symbol 矩阵也一样。
比如，当 role#17 的阈值比较高，这个词有82%的概率是谓词（predicate，主要包括动词和形容词）。
或者，当 role#9 的阈值比较高，这个词是一个限定词（determiner，主要是冠词、指示代词等）。

Attention Is All You Need
https://arxiv.org/abs/1706.03762
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

Google 的这篇文章最近已经火了很多天了，当然标题是有点夸张吸引眼球的，显然他们的模型并不是只用 attention 就行，而是指可以不用 RNN/CNN 等基本模块来组合就能达到甚至超过已有系统。
实验是在机器翻译的平行语料 WMT 上做的。

在构建模型过程中有非常多的 technique，他们也设计实验比较了不同的超参，这方面可以查看原文。
这里简单说一下的是本文标题最重要的 attention。上图里的 Nx 表示那个圆角矩形里面的模块会重叠 N 个，实验中 N=6。

本文把 attention 抽象成一个 (Q, {K}^n, {V}^n) 三元组上的函数，一般来说是用 Q 和每个 K 计算相似度，然后按相似的程度对所有的 V 加权求和。
相似度计算有的会用点积，有的单独用一个 MLP/RNN，本文选用了点积。

本文提出的 multi-head attention 则在传统的 attention 基础上，单独设计了 h 个线性映射，每个映射得到一个所谓的 head，把 (Q, K, V) 映射到一个低维然后照常算 attention。
最后多个 head 向量拼起来。

图里可以比较清楚地看到正常的 attention 和 multi-head 的不同。mask 层是考虑到生成句子时第 i 个词不应受到 i+1, i+2 等影响，如果句子整个可见就不做处理。

在第一张图中不同位置都有 attention，这里也可以讨论一下，在 encoder & decoder 刚上去的第一层那里都有个 multi-head attention，这时 Q, K, V 都 是句子本身，因此这种情况下相当于是自己和自己做 attention（self-attention)。decoder 中有 encoder 输入的那一层才是通常的 attention 即 Q 和 K/V 来自不同数据。

过去一年有非常多的 self-attentive 模型设计，它确实能带来提升。这方面也有一些争议，作者在文中也有一节讨论缘由。狗管理自己直观理解为，句子中每个词和它自身的相似度是最高的，因此 self-attention 可以加强句子中的词，得到最终的句子表征中强者更强，对模型决策更有利。

简单看一下翻译的性能，英法互译达到了 41，虽然略逊于 ensemble 得到的模型，但是这里的模型并行化更简单、训练速度更快，因此可以作为未来模型设计时一个值得考虑的替代。

AI in Games: Achievements and Challenges
Facebook 的田渊栋最近在国内做的一个报告slides