Title
《Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering》
Abstract
Existing work on augmenting question answering (QA) models with external knowledge (e.g., knowledge graphs) either struggle to model multi-hop relations effificiently,or lack transparency into the model’s prediction rationale. In this paper, we propose a novel knowledge-aware approach that equips pre-trained language models (PTLMs) with a multi-hop relational reasoning module, named multi-hop graph relation network (MHGRN).It performs multi-hop, multi-relational reasoning over subgraphs extracted from external knowledge graphs. The proposed reasoning module unififies path-based reasoning methods and graph neural networks to achieve better interpretability and scalability. We also empirically show its effectiveness and scalability on CommonsenseQA and OpenbookQA datasets,and interpret its behaviors with case studies1.
现在使用外部知识增强QA的模型努力在对多跳关系进行建模，或者缺乏对模型预测的透明度，我们提出一种有预训练语言模型的知识感知方法。实现了从外部知识图谱提取的子图上进行多跳，多关系的推理。将基于路径的推理方法和图神经网络结合起来实现了更好的可解释性，可扩展性。
1 Introduction
QA问题不仅要对问题和文本进行机器理解，也需要通过外部知识对实体和关系进行关系推理，问题的背景知识没有包含在问题中，但是对于人类却是常识。
为了利用知识图谱，KG表示了有模型所需的多关系边KGS表示具有多关系边的实体之间的关系知识，供模型获取。the relational path CHILD ->AtLocation n CLASSROOM->Synonym-> SCHOOLROOM,naturally provides evidence for the answer SCHOOLROOM.
简单利用知识图谱的方法是建模他们的关系，通过从KB中提取关系路径建立多跳关系，但是这个方法很难升级，因为有容量限制。他们只能考虑一跳来平衡可测量性和容量。
GNN通过message passing formulation信息传送模式来实现可测量，但是缺少透明性。通过聚合邻居节点的信息来进行信息传递但是忽略了关系类型。后来通过特定关系聚合使它可以应用在多关系图中，但是对于不同的邻居节点和关系类型的重要性没有区分，所以对模型行为解释无法提供显示的关系路径。
我们提出的新模型MHGRN(Multi-hop Graph Relation Network)结合了基于路径模型和GNN的优点,保留message passing formulation,
提出了structured relational attention machanism.主要创新点是multi-hop message.在一个层里允许每个节点直接处理多跳邻居节点,允许多跳关系推理.
将知识感知的QA有利特征和MHGRN进行比较：
2 Problem Formulation and Overview
本文将研究目标限制在多项式选择QA问题上，通过KB给出的外部知识和问题q，来选择出集合C中给定的选项。通过对问题和各个选项进行分数计算来选出最有可能的选项。
- 将问题和选项合并成向量s = [q:a]，q是question，a是answer
- 从外部知识图谱中提取子图G =（V,E,φ)，V是子图中所有与q有关的实体，E ⊆ V × R × V，R是所有预训练中出现的关系类型，映射函数φ
- V→T = {Eq,Ea,Eo},将V中的节点i作为输入，Eq：i是问题中提到的实体，Ea：i是选项中提到的实体，Eo表示i是其他实体。
- 将statement(q,a)编码成s,图G编码成g，将s和g集中起来计算可能性得分
3 Background: Multi-Relational Graph Encoding Methods
对多关系图谱的编码方法有两种策略：GNN,path-based models.GNN通过在节点之间传递信息来结构化信息，首先将图分解分解成paths，再在paths上加入特征。
Graph Encoding with GNNs
将节点特征作为输入，通过信息传递计算他们的相关节点embedding，然后通过池化节点embedding获得紧凑图形表示。
GNN的变体：
- 通过整合来自直接领居的信息更新node embedding
- 通过对每一个边类型定义指定关系的权重矩阵来编码多关系图谱。
但是GNN只实现了node-level的可伸缩性，在路径级别
Graph Encoding with Path-Based Models
除了用GNN对图进行建模，将图视为连接实体对的关系路径集合。RNs（Relationship Networks）可以适用于QA设置下的多关系图型编码。RN使用MLPs对G中的三元组(One-hop paths，问题指向选项)进行编码，
为了进一步让RN有能力去建模非退化路径。KagNet采用LSTM对所有连接问题和答案实体路径<=4的所有路径进行编码。
4.Model Architecture
[^learning rate]: 学习率(Learning rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。
[^early-stop]: 防止过拟合。将原始的训练数据集划分成训练集和验证集 ，只在训练集上进行训练，并每隔一个周期计算模型在验证集上的误差 3，当模型在验证集上（权重的更新低于某个阈值；预测的错误率低于某个阈值；达到一定的迭代次数），则停止训练。
什么是节点特征
子图匹配怎么匹配
statemateQA图是怎么编码
text embedding怎么得到的
score怎么计算
多跳的消息怎么传递
Reference
https://baike.baidu.com/item/%E8%8C%83%E5%BC%8F/22773?fr=aladdin
