这篇文章来自 UW，提出了一个比较有意思的框架即 Gricean Maxim。
H. Paul Grice (1913-1988) 是一位语言哲学家，以语用学中的暗含理论（implicature）而著名。
传统语言哲学的研究认为，人们交谈时会注重协作原则（Cooperative Principles），可以用Grice的四条格言来概括：
Maxim of Quantity, Quality, Relation and Manner。
但是，RNN经常生成短而泛的回复，这违反了 Quantity 原则；经常前后矛盾，这违反了 Quality 原则；可能会忘记长距离上下文，这违反了 Relation 原则；写作欠缺风格，违反了 Manner 原则。

因此，本文作者针对这些问题，设计了6个判别式模型，针对每个模型预先单独训练好，最后再训练各个模型的打分权重，合成一个，即标题的通过 learning the objective 来 learning to write.

最后实验上，除了常用的自动化指标 BLEU、ROUGE、METEOR 之外，本文还设计了人工实验，实验的评价方式则是按Gricean Maxims设计的四个维度，以及一个“图灵测试”，要求评测人员判断这句生成的句子是否是真人。
可以看到标准的句子也只有90%左右的通过率。
本文提出的训练框架比较完美地超过了普通的RNN baseline。

实际的效果可以看题图，ROCStory是一个比较难的数据集，可以说本文L2W提出的生成方法极其完美地推理出了其中常识性知识，并写出了流利的句子。

https://zhuanlan.zhihu.com/p/37507968

求广播，求转发 _(:3JZ)_
不好意思联系老板也可以直接联系我 @tobiichiorigami 🤣

Strongly-Typed RNNs
http://proceedings.mlr.press/v48/balduzzi16.html

这篇文章发表在 ICML2016，参考 Colah 的想法尝试将函数式编程和神经网络相结合。
简单说来，本文将向量所在的空间看作它的类型，该类型由空间的标准正交基所确定，不同类型的向量不能直接相加减。
但是，传统的 RNN 中V矩阵如果做 SVD 分解得到 PDQ^T 的话，实际上将原始的隐层向量转化到了不同的空间中。
因此会带来比较混乱而不可预测的情况。

而如果重写 RNN 单元内部的计算流程，可以实现类型安全的操作。作者为常见的 Vanilla RNN, LSTM, GRU 都写了一个 typed 版本。并且这种 T-RNN 的梯度是可以解释其物理意义的。

PTB 上的效果来看 typed RNN 虽然有理论优势但并没有全面超越普通的RNN。作者还用《战争与和平》构建了数据集，typed 效果会比较好。但是实验效果较为薄弱，有兴趣的同学可以翻原文看他们对 typing 的形式化过程。

https://github.com/sebastianruder/NLP-progress
http://ruder.io/tracking-progress-nlp/
The aim is to have a comprehensive and up-to-date resource where everyone can see at a glance the state-of-the-art for the tasks they care about. Datasets, which already do a great job at tracking this such as SQuAD or SNLI using a public leaderboard will simply be referenced instead.

清华大学刘洋老师在国科大做的一个NMT报告，一个非常好的tutorial，加入了较多最近两年的新成果

https://ajolicoeur.wordpress.com/RelativisticGAN/
https://arxiv.org/pdf/1807.00734.pdf
所谓 RGAN 提出，在优化生成器时仅仅让假样本在判别器的概率提高是不行的，也得让真样本的判别器概率输出降低才行，这样可以让 GAN 本身更加稳定，并且几乎所有 GAN 都可以做这种稳定性改造。

感觉就是把以前单独用真/假样本优化变成了优化 margin，感觉跟之前的 Loss-Sensitive GAN 有点相通，可以对比一看 https://arxiv.org/abs/1701.06264

从动力学角度看SGD：一些小启示
https://kexue.fm/archives/5655

North American Summer School on Logic, Language, and Information (NASSLLI 2018)
https://www.cmu.edu/nasslli2018/courses/index.html
CMU 今年刚组织的一个暑期班，课程内容非常完善覆盖了逻辑学、语言哲学、计算语言学等学科交叉的基础知识和新的方法。强烈推荐。

Variational Inference and Deep Generative Models tutorial
https://github.com/philschulz/VITutorial