这两天圈内撕得比较火热的一篇文章引出的一个 blog，作者对蒙特利尔的一篇文章表示了强烈的不满。第一是对于大牌单位放到 arXiv 的文章，哪怕逃过了同行评议，也会让后人被迫对比其工作。第二标题起得很大其实创新性却很小，并且就在玩具数据集上做实验。第三则是评价方法和实验结论经不起推敲。
总结来说，作者希望大家对自然语言保持敬畏，另外不要被权威单位宣称的内容所迷惑，要关注他们具体做了什么实验以及如何评价的。
https://medium.com/@yoav.goldberg/an-adversarial-review-of-adversarial-generation-of-natural-language-409ac3378bd7

补充一下，Yann LeCun对此问的回应在 https://www.facebook.com/yann.lecun/posts/10154498539442143 而 Yoav Goldberg 对回应的回应在 https://medium.com/@yoav.goldberg/a-response-to-yann-lecuns-response-245125295c02

Neural Translation of Musical Style
http://imanmalik.com/cs/2017/06/05/neural-style.html

On distinguishability criteria for estimating generative models
https://arxiv.org/abs/1412.6515
Ian J. Goodfellow

这篇小短文好像是在 Quora 上 Goodfellow 的答案里发现的，主要探讨了 NCE、GAN、MLE 三者的关系，NCE 和 GAN 都主要用了这个 V 函数。

但 NCE 若考虑每次迭代都用与模型相同的噪声 p_g = p_m 进行迭代，就能得到上式，并且能进一步把红框中的项为0消去，只剩最左边的最大似然项。

因此得到结论1：NCE 的梯度更新相当于 MLE。

结论2：GAN 不等价于 MLE。对 GAN 不满足上述情形，仅在固定判别器的情形下对生成器优化时是 MLE，但是下一轮迭代中判别器又要更新，因此不能等价。

结论3：GAN 在非凸情形不一定收敛。GAN 实际相当于在优化上面的 V 函数的关于 p_c 最大值的下界，在凸问题下这没事可以迭代到最优并且一定能收敛，但是在非凸时就不一定了，因为即使下界最小化了可能最大值依然没有变化。GAN 可能因此振荡。

http://www.earningmyturns.org/2017/06/a-computational-linguistic-farce-in.html
新大佬加入了论战，中文翻译：
https://www.jiqizhixin.com/articles/fcbe6eec-7839-43b7-aa17-f0c5754e7f40
好像这翻译有点简陋……看个大概就好（

今天忘记发东西了，给大家安利一本小书，可以放手机里碎片时间翻翻。虽然是很久以前的理论讲稿，但可以看到语言学家在中文语法上的努力。当针对中文有了新的理论后，做应用的在词法分析和语义角色标注等任务上或许可以有新的尝试。比较新鲜的应该是第一讲和第三讲，即汉语动词也应该算作名词，以及这样的理论对实际有什么好处。

这个是2011年出版，网上的pdf大多排序错乱，这个文件已经修好了，同时加上了书签。

Improving Semantic Relevance for Sequence-to-Sequence Learning of Chinese Social Media Text Summarization
https://arxiv.org/abs/1706.02459
Shuming Ma, Xu Sun, Jingjing Xu, Houfeng Wang, Wenjie Li, Qi Su

本文是一篇短文，发表在 ACL2017 上，来自北大。本文做的是文本摘要类任务。试图解决上图这类，生成的句子字面算相似度挺接近，但是意思却差很远的问题。他们的方法简单有效，是一篇不错的文章。

模型比较简单，在传统的 seq-to-seq + attention 后面又加了一个相似度计算。

相似度所用的就是生成句子和原文的两个 RNN 最后一个隐层，但是考虑到 summary 的 RNN 中包括了 text 的信息，他们采用简单的方法令 V_s -= V_t 即可。

可以看到采用这类方法生成的摘要虽然字面离标准答案差一点，但在语义上接近了很多。

A Note on The Evaluation of Generative Models
https://arxiv.org/abs/1511.01844
Lucas Theis, Aäron van den Oord, Matthias Bethge

这篇文章发表在 ICLR2016 上，讨论一些流行的生成模型及其评价问题。结论非常地出人意料，也是后面很多工作的基础。后面的结论可能不是几句话能讲明白的，好奇的同学建议看看原文。

对一个生成模型而言，现有常见的优化方式有：

- 最大似然
- 最大平均偏差(maximum mean discrepancy)
- Jensen-Shannon 散度

如上图，若给定一个 underspecified 的 unimodal 模型，去拟合原始的 multi-modal 分布，即模型不足以拟合真实数据中的多个 mode 点时，在不同的优化条件下会有不同效果。
最大似然（或者等价的 KL 散度）方法会导致模型把所有数据都囊括进来，而将概率密度分给了很多不会出现数据的区域。
MMD 和 JSD 方法则都差不多能找到密度相对比较大的一个 mode。

另一方面，现有（主要图像领域）对模型的一些评价指标主要有几种：

- 对数似然
- 分类性能
- 生成一些图片排成排，人眼看效果
- Parzen window 估计

然而，这些指标任何一个效果好，也无法说明另一个效果好。

一种是，对数似然很差，生成样本却很好。比如多元高斯拟合时方差极小（分布非常“尖”），相当于模型记住了最常见的模式，生成的效果必然很好，然而千率一篇，因此在验证集上的似然必然很差。

一种是，对数似然很好，生成样本很差。考虑一个 0.01 概率真实分布 + 0.99 概率白噪音的分布。当 x 维度较高时其对数似然由 log p(x) 主导，因此似然值相当大，然而按照前提，它只有 1% 的可能生成得到好样本。

还有一种，对数似然好，生成样本也很好。直接把上一种情形中的白噪音分布用前面讨论的方差极小的多元高斯模型换掉就可以。此时生成的样本 100% 超好，似然和前面一种情形类似，由 log p(x) 主导于是很大。

类似的结论还有，在分类任务中，生成的样本可以由白噪音主导，但是准确性却是由 log p(x) 主导。因此准确性很高，生成的效果人眼来看就会很差。

用最近邻的方式来评价就更不可靠了，他们每次把图像窗口向下向右各移动1像素，图像看起来几乎不变，然而他们的最近邻却产生了质的变化。

最后作者建议不要再使用 Parzen Window 估计。一是因为要获得好的似然结果需要的样本几乎是无穷多，另外在简单构造的 k-means 方法上甚至可以刷出比真实分布更高的指标。

How (not) to Train your Generative Model: Scheduled Sampling, Likelihood, Adversary?
https://arxiv.org/abs/1511.05101
Ferenc Huszár

本文投到 ICLR2016 上但是没有中，作者没有继续改投了，但特意为这篇文章写了一篇 blog（他的博客也许比本人更出名）: http://www.inference.vc/how-to-train-your-generative-models-why-generative-adversarial-networks-work-so-well-2/

之前介绍的一篇同样是 ICLR2016 的经典工作《Sequence Level Training with Recurrent Neural Networks》中也同样提到，序列模型训练时会有 exposure bias 的问题，而 Bengio 组提出了一种 Scheduled Sampling 的方法，逐渐把模型的参照从标准输入变成模型自己前一时刻的输出。

这篇文章就是解析这个 Scheduled Sampling (SS)的。方便起见他只用长度为2的序列为例。我们把真实分布当做 P，需要学习的模型作为 Q。