在企业级搜索与推荐场景中部署大语言模型排序系统,延迟是核心约束。LinkedIn工程师Sundara Raman Ramachandran近日分享了该公司在严格P99延迟SLA下将LLM排序系统生产化的实践,核心思路是通过模型蒸馏与上下文压缩,在保留排序效果的同时大幅降低推理成本。
据其介绍,LinkedIn将原本70亿参数的大模型蒸馏至4亿参数规模,用于对延迟高度敏感的搜索与推荐排序工作负载。蒸馏后的模型在参数量缩减约17倍的情况下承担线上排序任务,使LLM能力得以进入对响应时间要求严苛的生产环境。
在输入处理环节,团队将职位上下文压缩为单token嵌入,替代原有的长文本输入方式。这一改动使系统吞吐量提升约10倍,同时减少了序列长度带来的注意力计算开销,为满足P99延迟指标提供了直接支撑。
除模型层面的优化外,该实践还涉及对系统隐性瓶颈的逐一排查。Ramachandran提到的工作包括自定义Flash Attention掩码、规避Python全局解释器锁(GIL)限制、使用gc.freeze优化垃圾回收行为,以及采用非阻塞CUDA内存拷贝等方式,以降低推理链路中的额外延迟。
此类工程细节反映出LLM落地企业核心系统的现实路径:模型压缩决定可行性上限,而系统级调优决定实际延迟表现。对于搜索、推荐、广告等对响应时间敏感的SaaS与平台型业务而言,将大模型能力嵌入在线排序环节,仍需在模型、推理框架与运行时环境之间进行协同优化。
LinkedIn此次披露的实践,为大模型在低延迟在线系统中的生产化部署提供了一个可参考的样本,也说明模型蒸馏与推理基础设施优化正在成为企业AI应用落地的关键环节。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。