分类:: NOTES

0

【论文笔记09】Teaching Machines to Read and Comprehend

本文主要做出了两个大的贡献: 给出了阅读理解数据集的构造方法,并开源了两个阅读理解数据集; 提出了三种神经网络模型作为baseline,以方便后面的研究者进行相关的研究。 1 数据构造主要是从新闻网站中抓取新闻作为文章,新闻的摘要去掉一个实体词成为query,被去掉的单词作为答案。为了防止模型对训练数据的过度依赖,于是将文章和问题中的实体进行匿名化和随机替换。具体见官方教程 2 三种神经网络模

0

【论文笔记07】End-To-End Memory Networks

1 背景(1)在记忆网络中,主要由4个模块组成:I、G、O、R,前面也提到I和G模块其实并没有进行多复杂的操作,只是将原始文本进行向量表示后直接存储在记忆槽中。而主要工作集中在O和R模块,O用来选择与问题相关的记忆,R用来回答,而这两部分都需要监督,也就是需要知道O模块中选择的记忆是否正确,R生成的答案是否正确,这种模型多处需要监督,而且不太容易使用常见的BP算法进行训练,这就限制了模型的推广。(

0

【论文笔记08】Dynamic Entity Representation with Max-pooling Improves Machine Reading

本文模型之前的模型都是用一个静态的向量来表示一个entity,与上下文没有关系。而本文最大的贡献在于提出了一种动态表示entity的模型,根据不同的上下文对同样的entity有不同的表示。模型还是采用双向LSTM来构建,这时实体表示由四部分构成,包括两个方向上的隐层状态,,以及该实体所在句子的最后隐层状态,也就是该实体所在的上下文表示。如图所示。问题向量的计算与动态实体计算过程类似,这里需要填空的

0

【论文笔记06】Memory Network

1 问题和解决办法(1)问题 当遇到有若干个句子并且句子之间有联系的时候,RNN和LSTM就不能很好地解决; 对于句子间的这种长期依赖,于是需要从记忆中提取信息; (2)解决办法 本文提出了实现长期记忆的框架,实现了如何从长期记忆中读取和写入,此外还加入了推理功能; 在QA问题中,长期记忆是很重要的,充当知识库的作用,从其中获取长期记忆来回答问题。2 模型框架(1)模型由4个模块组成,分

0

【论文笔记05】WORDS OR CHARACTERS? FINE-GRAINED GATING FOR READING COMPREHENSION

1 问题和数据集1.1 问题 这是一篇以阅读理解为任务的文章,但在具体处理这个任务时,主要解决数据特征等的表示问题。在提取文本特征时,通常只对单词做词嵌入,而忽略了字符级的特征。 1.2 数据集 CBT WDW SQuAD 2 目前已有方法2.1 单词级表示(1)from a lookup table(2)每个单词用一个向量表示(3) 擅长表示单词的语义 2.2 字符级表示(1) 在

0

【论文笔记04】TriviaQA_A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension

1 论文主要内容 本文是一篇资源论文,主要发布了用于检索式问答或阅读理解的数据集Trivia QA; 对该数据集的质量和数量进行了分析,并创建了baseline,用于具体评估数据集的质量。 2 Trivia QA数据集的特点 问题比较复杂 在问题和相应的答案句子中有大量的句法或词汇变化 需要更多的跨句推理来得到答案 3 本文的主要贡献 发布了一个阅读理解数据集 提出了分析量化数据集质量的

0

【论文笔记03】ReasoNet-Learning to Stop Reading in Machine Comprehension

1 问题及数据集1.1 问题本论文主要解决一种面向Cloze-style(填空式)的阅读理解(问答)问题 1.2 数据集(1)CNN&Daily Mail(2)SQuAD(3)Graph Reachability datase 2 已有方法2.1 单轮推理(1)特点单轮推理模型主要利用注意力机制来强调文档中与问题相关的那些部分,计算问题和文档子单元的相应加权表示之间的相关度,为候

0

【论文笔记02】Text Understanding with the Attention Sum Reader Network

1 问题及数据集1.1 问题给定较长一段话的context和一个较短的问题,以及一些candidate answers,训练出可以准确预测正确答案的模型,本模型主要针对命名实体和常用名词这两种词性的单词进行填空。 1.2数据集(1)CNN&Daily Mail(2)CBT 2 已有方法(1)Attentive and Impatient Readers(2)Attentive(3)Chen