标签:: 论文笔记

0

【论文笔记14】Gated-Attention Readers for Text Comprehension

本文主要介绍GA reader模型的基本思想,由论文《Gated-Attention Readers for Text Comprehension》提出,论文直通车 1 论文概述本篇论文的思想其实是很简单的,可以把其看成是AS reader模型的扩展,尽管模型简单,但是也取得了不错的成绩,也证明了乘法操作机制带来的效果显著。值得一提的是,论文中的相关工作部分,对之前的模型进行了分门别类的概述,这一

0

【论文笔记12】Iterative Alternating Neural Attention for Machine Reading

(1)论文创新点 这个模型的文章和问题在真正使用时,都是根据前一时刻的隐层状态,动态的表示成一个向量; 在更新状态时,使用了gated机制(虽然看起来有点复杂)。 (2)论文模型模型的整体结构图如下所示:接下来将对该模型上的组成部分做简单的介绍。bidirectional encoddings对于问题和文章的基本表示,主要是使用BiGRU来对文本序列进行编码。具体来说,对文章,不对文章的语义信息

0

【论文笔记11】TRACKING THE WORLD STATE WITH RECURRENT ENTITY NETWORKS Documents

这个模型也就是前面提到的动态记忆,这篇论文来自ICLR2017,论文比笔记还是参考了北邮的两位大佬的博客,后面给出了原博客地址。论文提出了一种新的动态记忆网络,使用固定长度的记忆单元来存储世界上的实体,每个记忆单元对应一个实体,主要存储该实体相关的属性(如一个人拿了什么东西,在哪里,跟谁等等),并且该记忆会随着输入内容实时更新。多个记忆槽之间相互独立,由(key,value)组成。key用来标识实

0

【论文笔记10】Key-Value Memory Networks for Directly Reading Documents

上个月看了Facebook的记忆网络系列,前面的两篇论文的笔记看完就整理了,后面这几篇就耽误了,最近又看了一遍,于是及时整理,不然又忘了。这篇文章主要参考北邮的两位大佬(北邮张博、知乎-呜呜哈)的文章,这两个大佬是真的厉害Orz,他们的文章我在最后面贴出了链接。为了自己更好的理解,部分地方我进行了细化,也有些地方进行了省略。 1 模型结构这是来自ACL2016的论文,它修改基本的端到端结构,使其可

0

【论文笔记09】Teaching Machines to Read and Comprehend

本文主要做出了两个大的贡献: 给出了阅读理解数据集的构造方法,并开源了两个阅读理解数据集; 提出了三种神经网络模型作为baseline,以方便后面的研究者进行相关的研究。 1 数据构造主要是从新闻网站中抓取新闻作为文章,新闻的摘要去掉一个实体词成为query,被去掉的单词作为答案。为了防止模型对训练数据的过度依赖,于是将文章和问题中的实体进行匿名化和随机替换。具体见官方教程 2 三种神经网络模

0

【论文笔记08】Dynamic Entity Representation with Max-pooling Improves Machine Reading

本文模型之前的模型都是用一个静态的向量来表示一个entity,与上下文没有关系。而本文最大的贡献在于提出了一种动态表示entity的模型,根据不同的上下文对同样的entity有不同的表示。模型还是采用双向LSTM来构建,这时实体表示由四部分构成,包括两个方向上的隐层状态,,以及该实体所在句子的最后隐层状态,也就是该实体所在的上下文表示。如图所示。问题向量的计算与动态实体计算过程类似,这里需要填空的

0

【论文笔记07】End-To-End Memory Networks

1 背景(1)在记忆网络中,主要由4个模块组成:I、G、O、R,前面也提到I和G模块其实并没有进行多复杂的操作,只是将原始文本进行向量表示后直接存储在记忆槽中。而主要工作集中在O和R模块,O用来选择与问题相关的记忆,R用来回答,而这两部分都需要监督,也就是需要知道O模块中选择的记忆是否正确,R生成的答案是否正确,这种模型多处需要监督,而且不太容易使用常见的BP算法进行训练,这就限制了模型的推广。(

0

【论文笔记06】Memory Network

1 问题和解决办法(1)问题 当遇到有若干个句子并且句子之间有联系的时候,RNN和LSTM就不能很好地解决; 对于句子间的这种长期依赖,于是需要从记忆中提取信息; (2)解决办法 本文提出了实现长期记忆的框架,实现了如何从长期记忆中读取和写入,此外还加入了推理功能; 在QA问题中,长期记忆是很重要的,充当知识库的作用,从其中获取长期记忆来回答问题。2 模型框架(1)模型由4个模块组成,分

0

【论文笔记05】WORDS OR CHARACTERS? FINE-GRAINED GATING FOR READING COMPREHENSION

1 问题和数据集1.1 问题 这是一篇以阅读理解为任务的文章,但在具体处理这个任务时,主要解决数据特征等的表示问题。在提取文本特征时,通常只对单词做词嵌入,而忽略了字符级的特征。 1.2 数据集 CBT WDW SQuAD 2 目前已有方法2.1 单词级表示(1)from a lookup table(2)每个单词用一个向量表示(3) 擅长表示单词的语义 2.2 字符级表示(1) 在