【论文笔记04】TriviaQA_A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension

1 论文主要内容

  • 本文是一篇资源论文,主要发布了用于检索式问答或阅读理解的数据集Trivia QA;
  • 对该数据集的质量和数量进行了分析,并创建了baseline,用于具体评估数据集的质量。

2 Trivia QA数据集的特点

  • 问题比较复杂
  • 在问题和相应的答案句子中有大量的句法或词汇变化
  • 需要更多的跨句推理来得到答案

3 本文的主要贡献

  • 发布了一个阅读理解数据集
  • 提出了分析量化数据集质量的方法和在解决这项任务时遇到的问题
  • 提供了两个baseline,证明了Trivia QA数据集有难度,问题不容易回答,值得未来的研究
  • 提供了一个小规模的干净的问答数据集

4 个人小结

(1)提到数据集,貌似目前的问答数据集大多数都是英文的,问答的形式都比较简单,比如常见的填空式问答数据集,并且问答知识通常仅限于某一个特殊的领域,这种简单形式的特定领域的问答是在简化现实问答的条件下进行的,比较适合问答任务初期研究;针对后期的深入研究,Trivia QA这一类复杂的数据集或许更值得关注,慢慢去掉假设条件,使问答更接近于人类的问答。
(2)英文类的问答数据集提出了不少,但是针对中文类的数据集,屈指可数,目前有哈工大和科大讯飞发布的问答数据集、百度机器阅读理解竞赛中的问答数据集等数据集,今年京东举办的第一届人机对话竞赛发布的关于客服和用户之间对话的数据集经过整理勉强可以看成是一个可以用的阅读理解数据集。我平时很少读到资源类的文章,读这篇文章时在想,针对中文问答数据集较少的现象,设想可不可以这样构造一个阅读理解数据集:我们从小学、初中、高中,一直大学,语文试卷中总是有阅读理解题,于是可以考虑将这些文章,每个文章对应的问题及其答案收集起来组成一个阅读理解数据集。这样的数据集涉及到的背景知识不多(可能部分问题会考虑作者的背景、生活年代啥的),但是大部分问题都需要经过推理才能够回答的,需要真正的对文章的篇章结构,语义信息等内容进行理解后才能回答的。这种类别的问答数据集是否可以作为上述的两类数据集之间的过渡数据集。或许可以试一下!或许这一类问题还是太难了!(手动捂脸

笔记思维导图:
笔记思维导图

资料来源

论文源代码