Vintage NLP for Work
本文提出的实验有一些优点: - 精心设计考察某方面特定的语言能力 - 一定包括了上下文 - 并考察语言模型的稳定性 - 考察了超出语法层面的更多内容 在心理语言学的实验中往往使用完形填空的形式考察人在上下文情况下对词汇的预测，并可能加入N400形式的考察即使用特殊装置检查在对应词汇搭配上的脑电波强度情况。这两种验证已经有研究证实其相关性。 本文设计实验有如下考虑： - 选择完形填空+N400检验达成一致的样本。 - 检查词准确性、敏感度、定性考察三种情况。 - 所有的填空都在句子最后，但加上了句号和[…
如图所示，第一个用常识可知应该选唇膏(lipstick)，但睫毛膏(mascara)语义相近，人类虽然一定不会选它，但在N400检验中依然给出了相对接近的脑电波强度信号。这里同时考察BERT在预测准确性及强度上是否跟人类一样。
Vintage NLP for Work
如图所示，第一个用常识可知应该选唇膏(lipstick)，但睫毛膏(mascara)语义相近，人类虽然一定不会选它，但在N400检验中依然给出了相对接近的脑电波强度信号。这里同时考察BERT在预测准确性及强度上是否跟人类一样。
通过打乱第一个句子(shuf)、截断第二个句子(trunc, 删除所有词到填空前两个地方为止)。BERT在这些扰动的影响下当然会性能变差。但是，在这种扰动情况下人类是完全做不出正确选择的（因为数据集设定一定需要两句的知识才能回答）。因此，BERT并没有按照人类想象的方式做预测，更可能只用了一些词汇和ngram的特征。
Vintage NLP for Work
通过打乱第一个句子(shuf)、截断第二个句子(trunc, 删除所有词到填空前两个地方为止)。BERT在这些扰动的影响下当然会性能变差。但是，在这种扰动情况下人类是完全做不出正确选择的（因为数据集设定一定需要两句的知识才能回答）。因此，BERT并没有按照人类想象的方式做预测，更可能只用了一些词汇和ngram的特征。
在强度的考察方面，BERT对正例能给出比较好的偏好，但是一旦将它的预测概率减0.01，那性能顿时就会变差。这说明它并没有一个很强的区分度。因为人在这个测试的条件下的margin高达0.74。
Vintage NLP for Work
在强度的考察方面，BERT对正例能给出比较好的偏好，但是一旦将它的预测概率减0.01，那性能顿时就会变差。这说明它并没有一个很强的区分度。因为人在这个测试的条件下的margin高达0.74。
最后看这个数据上 BERT 给的预测词。例如第二个样本，第一句提到积雪很厚，然而第二句末的预测和下雪已经毫无关系。因此BERT并未怎么使用第一句话的信息，只学习了第二句话的知识。因此在常识推理任务中表现会不太好。
Vintage NLP for Work
最后看这个数据上 BERT 给的预测词。例如第二个样本，第一句提到积雪很厚，然而第二句末的预测和下雪已经毫无关系。因此BERT并未怎么使用第一句话的信息，只学习了第二句话的知识。因此在常识推理任务中表现会不太好。
其他数据集的分析方式与此类似。本文最终结论主要有：
- BERT 能做好上下位识别、归属和谓词角色反转等任务。
- 但很难做常识、语用推理，基于角色的事件预测，并且完全处理不了否定句。
做一些武断的猜测：not 之类的否定情形在训练样本中可能极端偏少，BERT并不见得能训练得很好，模型还不能无监督地识别出这些语言知识。因此它并不是万金油，在语言学的考察和基于应用的考察（例如所谓长距离依赖究竟包括哪些语言现象）都不一定表现很好，这都是我们需要去继续努力的地方。
- BERT 能做好上下位识别、归属和谓词角色反转等任务。
- 但很难做常识、语用推理，基于角色的事件预测，并且完全处理不了否定句。
做一些武断的猜测：not 之类的否定情形在训练样本中可能极端偏少，BERT并不见得能训练得很好，模型还不能无监督地识别出这些语言知识。因此它并不是万金油，在语言学的考察和基于应用的考察（例如所谓长距离依赖究竟包括哪些语言现象）都不一定表现很好，这都是我们需要去继续努力的地方。
Forwarded from Sci-Hub
meijer2011.pdf
142.5 KB
Meijer, E., & Bierman, G. (2011). A co-relational model of data for large shared data banks. Communications of the ACM, 54(4), 49. doi:10.1145/1924421.1924436
Sci-Hub
meijer2011.pdf
https://news.ycombinator.com/item?id=2416566
"In this article we present a mathematical data model for the most common noSQL databases—namely, key/value relationships—and demonstrate that this data model is the mathematical dual of SQL's relational data model of foreign-/primary-key relationships."
"In this article we present a mathematical data model for the most common noSQL databases—namely, key/value relationships—and demonstrate that this data model is the mathematical dual of SQL's relational data model of foreign-/primary-key relationships."
https://open.hpi.de/courses/semanticweb2015/overview
一个还不错的讲知识图谱和语义网的公开课，从命题逻辑到OWL的理论基础比较难得，比自己看书快多了
一个还不错的讲知识图谱和语义网的公开课，从命题逻辑到OWL的理论基础比较难得，比自己看书快多了
Head-Driven Phrase Structure Grammar Parsing on Penn Treebank
https://www.aclweb.org/anthology/P19-1230
本文来自上交，发表在ACL2019，其核心思想是使用HPSG（核心驱动的短语上下文无关语法）来做句法分析。
模型的结构与传统方法相似，是一个训练好的打分模块再加上动态规划的CKY结构预测算法。
https://www.aclweb.org/anthology/P19-1230
本文来自上交，发表在ACL2019，其核心思想是使用HPSG（核心驱动的短语上下文无关语法）来做句法分析。
模型的结构与传统方法相似，是一个训练好的打分模块再加上动态规划的CKY结构预测算法。
Vintage NLP for Work
Head-Driven Phrase Structure Grammar Parsing on Penn Treebank https://www.aclweb.org/anthology/P19-1230 本文来自上交，发表在ACL2019，其核心思想是使用HPSG（核心驱动的短语上下文无关语法）来做句法分析。 模型的结构与传统方法相似，是一个训练好的打分模块再加上动态规划的CKY结构预测算法。
句法分析一般分为成分句法和依存句法两类，在实际操作中依存句法的树库往往是从成分句法树库用规则的方法转换过去的，因此这也是本文的出发点之一，试图同时完成两类句法分析。
自然地，本文的关键问题就变成了如何利用HPSG的形式将成分句法和依存句法同时表达出来。
自然地，本文的关键问题就变成了如何利用HPSG的形式将成分句法和依存句法同时表达出来。
Vintage NLP for Work
句法分析一般分为成分句法和依存句法两类，在实际操作中依存句法的树库往往是从成分句法树库用规则的方法转换过去的，因此这也是本文的出发点之一，试图同时完成两类句法分析。 自然地，本文的关键问题就变成了如何利用HPSG的形式将成分句法和依存句法同时表达出来。
第一种表示方法叫做Division Span。短语被分为左右两种，左型短语中所有的非核心词都在左边(H-前缀)，右型短语则相反。因此通过将NP范畴划分为H-NP和普通NP，就能同时得到成分句法范畴，以及核心词和非核心词的依存关系（H-NP的核心词是最右边的词，和左边一一连起来即可）。
Vintage NLP for Work
第一种表示方法叫做Division Span。短语被分为左右两种，左型短语中所有的非核心词都在左边(H-前缀)，右型短语则相反。因此通过将NP范畴划分为H-NP和普通NP，就能同时得到成分句法范畴，以及核心词和非核心词的依存关系（H-NP的核心词是最右边的词，和左边一一连起来即可）。
第二种表示方法叫做Joint Span。其思想是递归地对每个节点定义一个元组，其中包括了所有子节点的定义，以及本节点的head和其他词的依存关系，以及本节点的范畴。对于依存边的标签（例如nsubj, obj, amod等）有一个单独的双线性模块通过父子节点进行预测。训练过程可参考原文。
Vintage NLP for Work
第二种表示方法叫做Joint Span。其思想是递归地对每个节点定义一个元组，其中包括了所有子节点的定义，以及本节点的head和其他词的依存关系，以及本节点的范畴。对于依存边的标签（例如nsubj, obj, amod等）有一个单独的双线性模块通过父子节点进行预测。训练过程可参考原文。
比较欣喜的效果是这种同时训练、同时预测的方法，相当于甚至超过了单独预测的SOTA模型。