博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
论文浅尝 | 基于对抗学习的弱监督知识图谱对齐
阅读量:4204 次
发布时间:2019-05-26

本文共 882 字,大约阅读时间需要 2 分钟。

论文笔记整理:郭凌冰,浙江大学研究助理,研究方向为知识图谱的表示学习。


绝大部分现有的知识图谱对齐方法都要求足够的已对齐三元组作为监督数据,但在现实世界中,获取大量的对齐三元组的代价十分高昂。本文提出一种同时适用于全监督或者弱监督知识图谱对齐的方法,其通过一种基于对抗学习的框架(KAGAN)来对齐不同知识图谱中实体和关系的嵌入表示:

本文首先定义了由源知识图谱的实体(或关系)到目标知识图谱的实体(或关系)的概率:

其中为温度参数,,为线性投影矩阵,用于将对应的源知识图谱实体或关系的嵌入表示投影到目标知识图谱空间进行距离比较。

接着,本文在此基础上又定义了由源知识图谱的三元组到目标知识图谱的三元组的概率:

上述公式通过将对应三元组内的头实体,关系,尾实体间的概率相乘得到最终三元组间对齐的概率。

之后利用全概率公式可以得到一个目标三元组的概率分布:

因此,通过训练一个判别器来使得上述对齐函数生成的三元组尽可能接近目标知识图谱中的真实三元组分布:

其中均为多层神经网络用于评估样本得分,其最终的判别器损失函数为:

由于利用所采样得到的对抗样本是离散的,因此需要通过构建反馈函数来更新生成器部分的梯度:

为了避免源知识图谱中的多个实体对齐到同一个目标知识图谱中的实体(即对抗模型中普遍存在的模型崩塌问题),本文还提出了一种最大化对齐实体与源知识图谱实体之间互信息的正则方法:

在实验部分,本文验证了所提出的模型能在多个数据集上取得领先的结果:

并通过消融实验进一步验证了各模块的有效性:

从表3可以看出,基于互信息最大化的正则方法能够有效提升模型的性能。

从表4可以看出,单独使用对抗学习的方法要优于基于随机采样的方法,而两者的结合并不能进一步提升性能。

最后,本文还探讨了不同的预训练知识图谱嵌入模型以及不同的反馈函数对于结果的影响,结果如表5和表6所示。

欢迎有兴趣的同学阅读原文。

 


 

OpenKG

开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

转载地址:http://kmsli.baihongyu.com/

你可能感兴趣的文章
微信小程序开发相关资料
查看>>
java web 项目打包(war 包)并部署
查看>>
javaWEB项目重新发布后原来上传的文件随原项目目录一起没了
查看>>
web应用为什么会用到tomcat之类的部署
查看>>
为什么要用框架,怎么选用框架
查看>>
js导出pdf
查看>>
http状态码200,300,404等是什么意思
查看>>
jsp与HTML的区别
查看>>
常见的排序算法
查看>>
jsp转pdf所需jar包
查看>>
进制转换(十进制转二进制,八进制,十六进制)
查看>>
JDK环境变量的配置
查看>>
浅谈JDK,JRE,JVM
查看>>
排序算法总结--快速排序
查看>>
排序算法总结--希尔排序
查看>>
排序算法总结--选择排序
查看>>
centos安装性能监控工具Sysstat(源码安装)
查看>>
DPDK的meter库(单速率三色算法)
查看>>
DPDK的meter库(双速率三色算法)
查看>>
DPDK kni模块分析
查看>>