当前,基于成对的排序方法虽然在局部关系建模上表现出色,但是缺乏全局优化能力。
(来源:https://arxiv.org/pdf/2411.12064)
而基于列表的深度学习方法虽侧重整体排序优化,却因复杂的调参流程和跨领域迁移时的鲁棒性不足,限制了其实用性。于是爱丁堡大学李尉衔博士和所在团队开始思考是否能把列表和成对排序的优点都结合起来。
研究初期有两篇论文给了他们带来了很大启发:一是本论文作者之一谢伊·科恩(Shay Cohen)教授早期关于利用组合优化推理食谱顺序的研究[1];二是李尉衔的大学同学Yixuan He关于GNNRank的研究[2],该研究通过利用图神经网络建模成对关系从而能够恢复全局排序。
受到这些工作的启发,研究团队将排序问题转化为图建模问题,并借助旅行商问题与排序问题的结构相似性,提出了一种全新的解决方案——TSPRank。
TSPRank通过将排序问题重构为旅行商问题,结合成对建模的局部优势和全局优化能力,为复杂排序问题提供了创新性解决方案。
研究团队在三个不同领域(股票排名、信息检索、历史事件排序)和多模态输入(数值与文本)上进行了实验,验证了TSPRank的跨领域适用性和优越性能。
对于相关论文,审稿人认为TSPRank将排序问题重构为旅行商问题的想法非常新颖,结合了成对建模的鲁棒性与全局优化的能力,为解决传统排序方法的局限性提供了新思路。
此外,实验设计的全面性和结果的有效性也得到了审稿人的肯定。与此同时,审稿人也提出了一些建设性建议,例如进一步解释局部与全局建模的结合点以及优化目标与排序误差之间的关系。
同时,审稿人建议未来应在更大规模的数据场景下探索低延迟的求解器,以便提升TSPRank的计算效率。
在金融领域,TSPRank可以用于股票排名和投资组合优化,帮助投资者在多维特征下进行资产筛选和排序,从而提高投资决策的准确性和效率。
在搜索引擎和信息检索领域,TSPRank可以作为重排序(reranking)模块,提升检索结果的相关性和用户体验。它能够利用精细化的全局优化策略,在初步检索后的结果中对文档或网页进行更准确的排序,从而确保用户在查询结果的前几项中看到最优内容。
此外,TSPRank在教育和科学研究中也有潜在应用。例如,在学术论文排序中,它可以综合不同的评价指标(如引文、下载量和阅读量)生成更合理的推荐顺序,为研究人员提供更相关的参考文献。在教育领域,它可以用于学生评估或学校排名,通过整合多维数据(如考试成绩、活动参与度、教师评估)提供更加精准的排序。
目前,TSPRank的主要限制在于推理延迟问题。由于旅行商问题本质上是NP-Hard的,其求解时间会随着问题规模的增加呈指数增长。因此,现阶段TSPRank的应用主要局限于中小规模的场景,例如排序系统的重排序阶段。然而,基于神经网络的组合优化求解器近年来发展迅速,这为研究团队在未来的优化计划提供了新的方向。
研究团队计划探索基于深度学习的近似求解算法,例如通过神经网络模拟TSP的最优解或快速近似解。通过引入这些新的求解器,研究团队希望能够将TSPRank的应用范围扩展到更大规模的问题中,如电商平台的大规模商品排序、搜索引擎的实时文档排序,以及需要处理更高数据吞吐量的金融市场分析场景。
参考资料:
1.Abend, Omri, Shay B. Cohen, and Mark Steedman. "Lexical event ordering with an edge-factored model." Proceedings of the 2015 conference of the north american chapter of the association for computational linguistics: Human language technologies. 2015.
2.He, Yixuan, et al. "Gnnrank: Learning global rankings from pairwise comparisons via directed graph neural networks." international conference on machine learning. PMLR, 2022.
3.Niepert, Mathias, Pasquale Minervini, and Luca Franceschi. "Implicit MLE: backpropagating through discrete exponential family distributions." Advances in Neural Information Processing Systems 34 (2021): 14567-14579.
4.Li, Weixian Waylon, et al. "BERT is not The Count: Learning to Match Mathematical Statements with Proofs." European Chapter of the Association for Computational Linguistics. 2023.