标签:: 记忆网络

0

【论文笔记11】TRACKING THE WORLD STATE WITH RECURRENT ENTITY NETWORKS Documents

这个模型也就是前面提到的动态记忆,这篇论文来自ICLR2017,论文比笔记还是参考了北邮的两位大佬的博客,后面给出了原博客地址。论文提出了一种新的动态记忆网络,使用固定长度的记忆单元来存储世界上的实体,每个记忆单元对应一个实体,主要存储该实体相关的属性(如一个人拿了什么东西,在哪里,跟谁等等),并且该记忆会随着输入内容实时更新。多个记忆槽之间相互独立,由(key,value)组成。key用来标识实

0

【论文笔记10】Key-Value Memory Networks for Directly Reading Documents

上个月看了Facebook的记忆网络系列,前面的两篇论文的笔记看完就整理了,后面这几篇就耽误了,最近又看了一遍,于是及时整理,不然又忘了。这篇文章主要参考北邮的两位大佬(北邮张博、知乎-呜呜哈)的文章,这两个大佬是真的厉害Orz,他们的文章我在最后面贴出了链接。为了自己更好的理解,部分地方我进行了细化,也有些地方进行了省略。 1 模型结构这是来自ACL2016的论文,它修改基本的端到端结构,使其可

0

【论文笔记07】End-To-End Memory Networks

1 背景(1)在记忆网络中,主要由4个模块组成:I、G、O、R,前面也提到I和G模块其实并没有进行多复杂的操作,只是将原始文本进行向量表示后直接存储在记忆槽中。而主要工作集中在O和R模块,O用来选择与问题相关的记忆,R用来回答,而这两部分都需要监督,也就是需要知道O模块中选择的记忆是否正确,R生成的答案是否正确,这种模型多处需要监督,而且不太容易使用常见的BP算法进行训练,这就限制了模型的推广。(

0

【论文笔记06】Memory Network

1 问题和解决办法(1)问题 当遇到有若干个句子并且句子之间有联系的时候,RNN和LSTM就不能很好地解决; 对于句子间的这种长期依赖,于是需要从记忆中提取信息; (2)解决办法 本文提出了实现长期记忆的框架,实现了如何从长期记忆中读取和写入,此外还加入了推理功能; 在QA问题中,长期记忆是很重要的,充当知识库的作用,从其中获取长期记忆来回答问题。2 模型框架(1)模型由4个模块组成,分