Forwarded from Λ-Reading ♡
资讯摘要✂：
「mahavivo： 写了一部分内容的“英语逻辑语法要略（草稿）” （https://t.co/dcivk7x00M），各位看一下觉得有没有意思。如果觉得有启发有价值，我就继续写，如果认为没啥意义，我就尽快结束。 」
「mahavivo： 写了一部分内容的“英语逻辑语法要略（草稿）” （https://t.co/dcivk7x00M），各位看一下觉得有没有意思。如果觉得有启发有价值，我就继续写，如果认为没啥意义，我就尽快结束。 」
Λ-Reading ♡
资讯摘要✂： 「mahavivo： 写了一部分内容的“英语逻辑语法要略（草稿）” （https://t.co/dcivk7x00M），各位看一下觉得有没有意思。如果觉得有启发有价值，我就继续写，如果认为没啥意义，我就尽快结束。 」
GitHub
英语逻辑语法要略（草稿） · Issue #3 · mahavivo/dairy
英语逻辑语法要略 万物存在。语言是对万有的描摹叙述。万有皆可名，皆有名，有名的的存在在语言里就是（名词）主体。 逻辑语法的基本理论是： 1）主体存在； 2）主体可以自描述； 3）主体以动词互相作用形成事件。 众所周知，通常认为在英语里存在五种基本的简单句型，其构成分别是： S + V （主谓） S + V + C （主系表/主谓补） S + V + O （主谓宾） S + V + O + O...
https://twitter.com/Tim_Dettmers/status/1247998812590714880
老推重看，博主认为复现SOTA语言模型真正起作用的可能是各种花样的regularization，以及……足够的耐心与时间。
他给出了一个可复现的参数配置：
https://github.com/TimDettmers/transformer-xl/blob/wikitext2/pytorch/replicate_wt2.sh
老推重看，博主认为复现SOTA语言模型真正起作用的可能是各种花样的regularization，以及……足够的耐心与时间。
他给出了一个可复现的参数配置：
https://github.com/TimDettmers/transformer-xl/blob/wikitext2/pytorch/replicate_wt2.sh
Twitter
Tim Dettmers
The most dramatic performance gain comes from discrete embedding dropout: You embed as usual, but now with a probability p you zero the entire word vector. This is akin to masked language modeling but the goal is not to predict the mask — just regular LM…
Forwarded from Hacker News (yahnc_bot)
Self Supervised Learning in NLP https://amitness.com/2020/05/self-supervised-learning-nlp/
Amit Chaudhary
Self Supervised Representation Learning in NLP
An overview of self-supervised pretext tasks in Natural Language Processing
Forwarded from 开发者日报