
领英(LinkedIn)详细介绍了其重新架构的边缘构建系统,该系统旨在支持多样化的推理工作流程,为全球会员提供更新鲜、更个性化的推荐。新的架构解决了在其全球平台上对实时可伸缩性、成本效率和灵活性日益增长的需求。
边缘构建系统通过推荐“边缘”(即成员和内容之间的联系)来增强 LinkedIn 的图谱。这些推荐是通过推理工作流生成的,推理工作流运行机器学习模型来对候选建议进行评分和排序。随着时间的推移,系统已经演进到需要在不同的推理模式之间平衡新鲜度、延迟和资源效率。
第一代依赖于离线推理管道,可以批量计算推荐。虽然这种方法在早期规模上很有效,但缺乏反映动态会员活动所需的新鲜度。为了解决这个问题,LinkedIn 引入了近线推理,用户行为被记录后不久就运行模型,从而实现更快速的推荐,同时保持成本效益。

使用离线推理模型的初始架构(来源:LinkedIn工程博客)
演进的下一个阶段是专注于在线推理,能够在请求时实时评估候选边缘。这种转变提供了最新的推荐,但引入了延迟和资源扩展挑战。为了管理这种复杂性,LinkedIn 实施了远程推理能力,允许从多个表面调用托管在专门服务系统中的模型。
不同的推理模型在新鲜度、可扩展性和效率方面提供了不同的权衡:

不同推理模型的比较(来源:LinkedIn工程博客)
当前的架构支持离线、近线、在线和远程推理的混合。有向无环图(DAG)对这些工作流程进行编排,支持并行执行和灵活路由。例如,“你可能认识的人”利用在线推理进行即时更新,而大规模内容提要继续依赖离线计算。
为了改进候选生成,LinkedIn 采用了基于嵌入的检索(EBR),从会员档案中创建嵌入,并从向量存储中检索相关候选。然后在线对这些候选评分,并与其他工作流程的输出合并,从而增强多样性和相关性。

支持多样化推理模型的当前架构(来源:LinkedIn工程博客)
在 LinkedIn 的规模下,确保跨工作流的一致性需要在共享特征存储、模型管理框架和分布式服务基础设施上进行大量投资。
正如 LinkedIn 工程师Yi-Wen Liu所强调的:
通过解耦工作流并支持多种推理策略,我们可以灵活地平衡新鲜度、可扩展性和成本,同时继续为我们的会员提供有意义的推荐。
根据 LinkedIn 工程师的说法,经过改进的边缘构建系统能够通过 A/B 测试进行更有效的实验并提高参与度。它还为 AI 生产力、成本优化、大语言模型和 transformer 的采用、基于嵌入的检索以及图神经网络和顺序模型等高级建模技术提供了战略机会——共同实现更及时、个性化和可操作的建议。
原文链接:
评论