近日,我校信息与控制工程学院青年教师董玮副教授在国际顶尖期刊 TPAMI(中科院SCI一区TOP,影响因子23.6,CCF-A类期刊)上发表题为《Self-Supervised Node Representation Learning via Node-to-Neighbourhood Alignment》的学术研究论文,董玮副教授为该论文的第一作者,西安建筑科技大学为第一完成单位,这是我校首次在TPAMI期刊上发表重要研究成果。
在受限的计算和存储资源上进行大规模图表示学习是一个有着广泛实用价值的研究方向。本研究设计了一种面向受限资源环境的高效自监督大规模图表示学习方法,该方法首先利用节点和邻域之间的互信息最大化优化方案蒸馏出节点的高质量表征,是一种典型的对比学习方案;其次,该方案仅仅使用简单的多层感知机作为编码器,避免了复杂的模型设计,减少了计算负担;再次,该方法通过一种启发式定义的拓扑感知采样策略定义邻域范围,减少了内存的消耗;最后,该方法定义了图信号相关约束策略,该策略在防止表征空间塌陷提升模型性能的同时,无须对比学习方案中的负样本对,进一步减少了内存消耗。大量的实验结果印证模型在大规模图数据上的执行效率和模型效果,同时大幅度减少了模型的计算和存储消耗。
TPAMI,全称IEEE Transactions on Pattern Analysis and Machine Intelligence,是人工智能、模式识别、计算机视觉及机器学习领域最重要的学术期刊,也是目前信息领域中影响最大、水平最高的期刊,长期位列所有计算机及人工智能相关期刊首位。电子科技大学计算机科学与工程学院王鹏教授为该论文的通讯作者,我校信控学院硕士研究生闫大伟参与了相关科研工作。
文章链接:https://arxiv.org/pdf/2302.04626.pdf
相关代码:https://github.com/dongwei156/n2n