从 pytorch 主干上做了一个适用于 dash 的 docset，解压后双击可用，如果有谁需要的话（

今天机器之心发的这两篇概述还算不错，可以入门一看

Improving Interpretability of Deep Neural Networks with Semantic Information
(Dong et al. CVPR2017) https://arxiv.org/abs/1703.04096
本文来自清华朱军老师组，做的是 Video Captioning 任务，将发表在 CVPR2017 上。

本文将出发点放到“增加神经网络的可解释性”这个意义上。亮点是加入了一个可解释性的正则项放入正则中，把 LDA 跑出的主题结果强制与神经网络的输出进行一一对应，这样会一定程度让Encoder的输出特定维度偏向于对应主题，从而人可以理解Decoder的输出是基于某个主题的，或调整模型预测错误的主题（给出人的标记进行进一步训练。）

这个损失项会加入最终的损失项中，从而实现encoder 输出的某一维与 LDA 输出的 s 的对应维度（one-hot表示）相对应

Legal Question Answering using Ranking SVM and Deep Convolutional Neural Network (Do et al.)
https://arxiv.org/abs/1703.05320
一个经典的 NLP Pipeline 框架下的系统构建，做法律文本数据集上的信息检索和问答任务。
对法律感兴趣的可以关注。

Geometric deep learning: going beyond Euclidean data
https://arxiv.org/abs/1611.08097
Michael M. Bronstein, Joan Bruna, Yann LeCun, Arthur Szlam, Pierre Vandergheynst

最近狗管理在肝DDL不是很勤快，这是一篇 review 工作，看摘要很吸引人，也挂了 LeCun 的名字。

现实中的非常多的数据都不是欧式空间上的，比如自然语言的词，因此想学习它们的关系要比矩形像素点更为困难。
07年以前大红大紫过一阵的流形学习也试图解决这类问题，在有了 DL 方法之后这个方向何去何从，本文做了一点梳理。

还没仔细读但是看起来可以推荐给大家。

Geometry of Compositionality (Gong et al. 2016)
https://arxiv.org/abs/1611.09799

突然想起另一篇之前看过的来，作者认为一个词不该用一个向量来表示而应该用多个向量张成的子空间来表示。他们用PCA把词降到了3维。

图示的意思是一个词（蓝点）在多个句子中都出现，若它距离句子中其他词张成的子空间（绿色平面）更近，那它在这个句子中就是组合语义，如果离平面较远，说明它在那个句子中不是组合语义（可能是比喻义、讽刺义等等）。

几乎没有引用的工作不过比较好玩。

Neural Architecture Search with Reinforcement Learning (Zoph and Le)
https://openreview.net/forum?id=r1Ue8Hcxg
在群里吹水时聊起的一篇使用神经网络去构造神经网络的工作，意在解放调参狗的劳动，被 ICLR2017 接收为 oral。

其实想法比较简单，就是用一个 RNN 去输出每一层 CNN 的具体构造，比如 stride 要多少、filter 有几个等等。
另外他们还设计了一个 RNN 的单元，以往 LSTM、GRU 等设计都是人拍脑袋想的，他们希望能数据驱动学出一个 RNN 的不同结构单元。
训练使用强化学习经典的 REINFORCE 算法(Williams, 1992)

Sentence Simplification with Deep Reinforcement Learning (Zhang and Lapata, 2017)
https://arxiv.org/abs/1703.10931

这是一篇比较有代表性的 seq2seq 框架 + 增强学习的工作。作者选择的切入点是比较合理且新颖的。

他们做的是所谓句子简化的任务。直观地概括，我们能看到很多极尽复杂嵌套之能事的英语句子，这个工作就是希望能简化它们，用一个流畅的新形式写出来。
创新点之一是作者使用主流方法做了一个新任务，即用流行的 seq2seq 框架作为生成模型，辅以强化学习的方法迭代更新(REINFORCE)这个生成模型。他们在几个典型数据集以及自己新收集的数据集上都做了实验。
创新点之二是作者对强化学习的 reward 的定义。在句子简化这个任务中，他们引入了简化值衡量、相关度模型、语法流畅性三个关键指标作为强化学习的 reward。其中，后两者分别是衡量两个句子的向量相似度，以及BLEU值指标。关键的简化值衡量他们用了 Xu 等人发表于 TACL2016 的工作 Optimizing
statistical machine translation for text simplification 中的标准。

我们在很多如《Elements of Style》之类的写作书里能看到很多写出简单易懂的句子的指导原则，这种语言学意义上的简化是符合人的认知及实际需求的。对于现有收集的数据集以及评价指标能否反应这个任务的本质，还需要更多的工作来验证。管理狗觉得这三个关键的数值指标不一定就很完备，还需要更多人投入精力进来。

顺便搭车招更多管理狗，欢迎小窗（

Distill.pub 可视化期刊的新出炉文章，介绍梯度下降方法+冲量的优化。网页内容多，建议电脑观看，同时打开后得耐心等一会。
http://distill.pub/2017/momentum/

另有一篇去年发的 review 工作，介绍当前各种梯度下降的增强之间的异同，梳理得比较清晰：
http://sebastianruder.com/optimizing-gradient-descent/