https://arxiv.org/pdf/1909.07606.pdf
Title
《K-BERT: Enabling Language Representation with Knowledge Graph》
Abstract
Bert缺少domain-specific knowledge,专家通过推理来阅读domain text，我们提出基于知识图谱的K-BERT，将三元组嵌入句子中作为domain knowledge。融入太多知识可能会偏离使句子偏离他原本正确的意思，产生KN(knowkedge noise) issue，通过soft-position和visible matrix来进行限制。
[^本体是从客观世界中抽象出来的一个概念模型，这个模型包含了某个学科领域内的基本术语和术语之间的关系.本体是共享概念模型的形式化规范说明。]:
Introduction
无监督的预处理的LR（Language Representation)模型BERT由于pre-training和fine-tunning之间存在domain-discrepancy,所以在知识驱动的任务中表现不好。
在domain-specific task中，在open和specific domain上知识的连接太少了，如果选择在specific domain上的预训练模型，耗时又计算量大，所以选择将KG融入LR模型，这样模型有更好的解释性，插入的知识是可解释的。
我们提出了一种基于知识的LR模型,它在没有HES和KN问题更好的融合了domain knowledge.
Structure
K-bert：knowledge-layer,Embedding layer,seeing layer,maske-transformer.
[^Visible matrix 控制每个token的可见区域，矩阵中的aij即i是否可见j，这样避免了原始意思因为KG的插入而改变]:
[^Soft-position embedding对sentence tree中的乱序进行排序，计算self-attention score.]: 如果计算的position number相同但是并没有什么关联，就要使用Mask-Self-Attention
[^Segment embedding就是对不同句子进行区分]:
Masked-Self-Attention
wi与wj无关的话Mij取-∞,softmax为0
