判别器的训练 loss 和原始 GAN 一样，最小化第一个式子。而生成器的 loss 则写为强化学习的形式，正常对第二个 loss 求梯度。论文中对这个梯度中的期望也使用了采样构造出无偏估计。

训练算法比较直观，但有个预训练过程（2-4行）。

在构造的数据集上结果就不看了，真实数据集上共有三个测试，古诗、观海演讲、midi 音乐等三个数据集上都有不错的提升。

Large Language Models in Machine Translation
http://aclweb.org/anthology/D07-1090
Thorsten Brants, Ashok C. Popat, Peng Xu, Franz J. Och, Jeffrey Dean

考古发现正好十年前的文章，发表于 EMNLP-CoNLL 2007。在以前常用的广义线性模型中，很大一部分特征是语言模型的 n-gram，Google 这篇文章首次在 MapReduce 上做了大规模的 n-gram 计算。
他们在本文提出了计算简单的平滑方法、考虑到字频的 sharding 函数、适用于分布式网络时延的批量 decoding 等改进。
十年后这些东西几乎都不曾提起了（

Learning to Identify Ambiguous and Misleading News Headlines
https://arxiv.org/abs/1705.06031
Wei Wei, Xiaojun Wan

本文来自北大，发表在 IJCAI-2017 上。本文识别新闻中常见的歧义和误导性标题，任务比较实用。
首先是歧义和误导的定义，作者用了(Marquez, 1980)比较早的一篇标题工作中的分类：

- 歧义性标题：标题的含义相比故事内容而言不够清楚。例如标题《她是曾经的世界冠军，但现在为工作发愁》
- 误导性标题：标题的含义与故事内容不同。比如可能有夸张、扭曲等，例如《亚洲鲤鱼已经成为美国的噩梦》中“噩梦”就有夸张成分。

整体上他们标注了网易、新浪、腾讯和今日头条的约3000条新闻标题，涵盖6个领域。他们的方法比较简单，是人工特征+SVM分类。

做歧义标题分类时基本的特征如上图。

比较少见的是，他们另外还用了刘兵老师在2007年所著书中一个类别序列规则（Class Sequential Rule，CSR） 的规则方法，从语料中挖掘出一些此类规则。

他们的 class label 使用了时间副词，以及上面特征中的最后两类词。
每条规则是一个序列，例如有[指代Ref、过去时间、转折词、现在时间]这样的一个序列，符合这个序列的就认为是歧义。
对上面的标题《她是曾经的世界冠军，但现在为工作发愁》就有“她”、“曾经”、“但”、“现在”，恰好满足了上述序列，那么这条规则就会认为这个标题是有歧义的。

当然规则也不能随便乱抽，CSR 方法中也还有一些简单的统计量，只有比较普遍的规则才会保留。

做误导标题检测时，他们除了上表中的与新闻内容无关的特征（Body-independent features）之外也设计了几个与新闻正文有关的特征，如标题词向量与新闻内容词的相似度等。

在做误导性标题分类时使用的算法如上。Co-training 的意义主要是1行和4行，用与内容无关、与内容相关的两大类特征，分别从两个视角训练分类器并添加未标注数据到标注集中，实现了半监督训练。

性能的实验就不贴结果了，当然是他们的模型效果最好。在实际的新闻统计中也可以看到，今日头条由于是聚合型新闻，其新闻标题的误导和歧义比例最高。

从按领域分类的比例可以看出，娱乐新闻和社会新闻里标题准确性最差，而国内新闻和国外新闻通常是政治和军事内容，标题会较为准确。

从贝叶斯角度，看深度学习的属性和改进方法
https://www.jiqizhixin.com/articles/0bf50955-7d87-45c1-9967-ce05da71ccf0
By 蒋思源2017年6月08日 12:08

Adversarial Ranking for Language Generation
https://arxiv.org/abs/1705.11001
Kevin Lin, Dianqi Li, Xiaodong He, Zhengyou Zhang, Ming-Ting Sun

本文来自 UW 和微软。改进思路非常直观，以往的 GAN 是用判别器对生成器的输出做二元分类：是不是真实数据。
本文将判别器用于打分，是一个连续值。从这个意义上讲他们的 RankGAN 可能会好训练一点。

Anyway，他们的这个“打分”是很不严格的一个说法。他们并没有实验证明打的分究竟对不对、分数究竟代表了什么，只说明了这个 RankGAN 生成的数据效果比较好。

与传统 GAN 的损失相似，P_h 是真实数据分布，判别器和生成器都是 LSTM。

Rank 值用余弦相似度计算。U 是对人工标准句子采样得到的句子集合。因此 Rank 值其实是用生成句子和标准句子算相似度，与C集合中的句子比较此相似度的相对水平，再求期望。

训练时他们用了策略梯度的方法（强化学习的一种）。由于只有生成完整句子才有 reward，他们也用了 SeqGAN 中的做法，即蒙特卡洛模拟采样当前词之后的所有词，当前词的 reward 由当前词和将来的所有词合计得出。

实验部分只看一个简单的，即诗歌生成。在数据集上的 BLEU 值达到了最高，用57个人人工评1~10分，RankGAN 得到了 4.5，比真实诗句的6.69还是要差一些。
当然写诗这个比较玄学，也许真实诗歌也没几个人读的懂或觉得写得好。

用《罗密欧与朱丽叶》做语料测试时 BLEU 值也达到了很高。

再补充说一下这个 Rank 值的计算过程。由于 loss 里在两个分布上都用到了 Rank 计算，因此 Rank 中的 C 集合有两种情况。如果是对生成的假句子算 rank，那么C就是真实数据句子，否则就反过来。
而对 s 和 C 中的每个句子都算 rank，并用 softmax 算得分，这样可以得到一个 s 和 C 中所有句子的概率（可以看成是 list-wise ranking），因此 rank 值高只说明 s 比 C 集合中的句子相对好一点。