本站可能推一些相关研究资料啥的（

关于 VAE 在 NLP 中应用的一个梳理
http://rsarxiv.github.io/2017/03/02/PaperWeekly第二十七期/

Deep Learning awesome 系列索引
https://github.com/endymecy/awesome-deeplearning-resources

Linguistic Knowledge as Memory for Recurrent Neural Networks (Dhingra et al.) https://arxiv.org/abs/1703.02620

#rules_incorporated_in_NN
一种把规则接入神经网络的方法：把共指、上下位词关系等信息建立为网络中多余的边，然后用RNN建模，不同种的边用不同的权重矩阵分开

Linguistically Regularized LSTMs for Sentiment Classification (Qian et al.) https://arxiv.org/abs/1611.03949

顺便补充一个比较早的结合规则与神经网络的方法，他的选择是把规则做为不同的正则项加入损失函数中 #rules_incorporated_in_NN

Intrinsic Motivation and Automatic Curricula via Asymmetric Self-Play (Sukhbaatar et al.)
https://arxiv.org/abs/1703.05407

本文搬出了我们的老朋友 Alice 和 Bob 为例，解决的是一般的强化学习中 Reward 过于稀疏的问题。通过 Alice 给 Bob 设置任务，然后 Bob 反过来去解决它，能比一般的强化学习训练得更快。
相比 GAN，Alice 可以类比为 Generator，Bob 可以类比为 Discriminator。这里的目的是训练 Bob，而 GAN 目的是训练 Generator。
这一篇想法比较有趣，但严格说来并不是很质变的创新。一作的哥们是凭 Memory Network 出名的NYU PhD，与 Facebook AI 团队关系密切（🙃

Solving and Generating Chinese Character Riddles (Tan et al. EMNLP2016)
http://aclweb.org/anthology/D16-1081

本文处理一个比较有趣的任务：解决和生成汉字的单字字谜。
由于这种游戏大多是在汉字及偏旁部首的双关、比喻、隐喻上做文章。他的做法是从爬取的数据集中把谜底的汉字按偏旁部首拆开，然后统计谜面和各个偏旁部首成分的共现，从中统计出规则（取半边、取上面、取下面等）。最后用这些抽取出的信息，对一个谜面采用 CKY Chart parsing 式的动态规划算法，求解出候选的汉字来。最后对候选做一个人工特征的简单排序选出结果。
对于这类任务相关工作不多，作者在相关工作里有一个比较详尽的介绍。除了上古时期的研究之外，近年对于汉字的工作就只有大家喜闻乐见的唐诗生成和对联生成了。而填字谜也是另一类比较流行的游戏。本文研究的字谜应该算是比较新颖的工作。
三作的 Li Dong 同学是英国爱丁堡的学生，曾在 ACL2016 发表过一个用 LSTM 学习上下文无关语法的推导树的工作，很有趣的。

再补一个CKY Chart解谜语的图，管理狗表示这个谜语我是猜不出来（

Continuous multilinguality with language vectors
https://arxiv.org/abs/1612.07486
本文发表在近期马上要在西班牙瓦伦西亚召开的 EACL2017 上。方法没读明白，问题一大堆，可能短文就是没法解释太多吧。

本文的亮点在于把原本独立的语言全部合起来考虑，再也不用一个个分别训练语言模型，而是全部合起来训练成一个，只是加入了一个表示语言的连续向量。整体用字符级别的 LSTM 来建模。

另一个亮点是语料选择，作者爬了圣经的1303份共990种不同语言的翻译，通过圣经的数字编号，可以直接把同一句话的所有语言全部关联在一起。但是有一定的领域限制，毕竟圣经的内容和开放域的互联网还是不太一样。

本文的实验有两个亮点。一个是德语及相关的语言用层次聚类以后发现，语源的相近性符合已知的研究。
另一个比较好看的是，因为他们把不同语言的标示设计为连续向量，所以可以看连续的变化。作者实验了一个把中古英语逐渐变成现代英语，然后可以看到模型生成的句子的确越来越符合现代英语的说话习惯。

文章不长，有兴趣的可以看看。

为了交流方便拉了个相关群，大家可以加进来里面讨论频道的过去、现在和将来（
https://t.me/nlpfw_discuss

Evolution Strategies as a Scalable Alternative to Reinforcement Learning
https://blog.openai.com/evolution-strategies/

昨晚睡前爆出的一篇 OpenAI 的工作，估计会是最近几天各大公众号的明星文章。
他们用进化算法取代了强化学习，并取得了相当甚至有的更好的结果。

把进化视为一种黑箱的优化算法，因此就取代了梯度下降的优化方式，因此也就可以摒弃反传。
从而他们的算法获得了更容易的扩展性，可以很容易地扩展到比强化学习多近50倍的CPU上去，从而将如 Atari 游戏的训练时间从1天降到1小时。

Blog 上有个通俗的介绍。

https://arxiv.org/abs/1703.03864
https://github.com/openai/evolution-strategies-starter
相关论文和代码

四作的哥们是著名的 Sequence-to-sequence 框架的一作，另外去年在 Program Induction 方向上也有名为 Neural Programmer 的工作。