实现特征交互与序列建模的框架

OneTrans：在工业级推荐系统中以单一 Transformer 实现特征交互与序列建模的统一框架

摘要

在推荐系统中，扩展特征交互模块（例如 Wukong、RankMixer）或用户行为序列模块（例如 LONGER）已经取得了显著成果。然而，这两类工作通常沿着彼此独立的路径推进，这不仅阻碍了双向信息交互，也限制了统一优化与统一扩展能力。
本文提出 OneTrans，一种统一的 Transformer 主干网络，可同时完成用户行为序列建模与特征交互。OneTrans 采用统一的 tokenizer，将序列属性与非序列属性共同转换为单一的 token 序列。堆叠的 OneTrans 模块对相似的序列 token 共享参数，而对非序列 token 分配特定参数。通过因果注意力机制与跨请求的 KV 缓存机制，OneTrans 支持中间表示的预计算与缓存，在训练与推理阶段均显著降低计算成本。
在工业级规模数据集上的实验结果表明，OneTrans 随参数规模扩展具有良好的可扩展性，稳定优于多个强基线模型，并在真实在线 A/B 实验中实现了用户级 GMV 提升 5.68%。
1 引言

推荐系统在各类信息服务中发挥着基础性作用，例如电商、流媒体和社交网络。工业级推荐系统通常采用级联式排序架构。首先，在召回阶段从十亿规模的候选库中选出数百个候选项；随后，在排序阶段对每个候选进行打分并返回 Top-k 结果。深度学习推荐模型（DLRM）已广泛应用于工业推荐系统的排序阶段。

本文聚焦排序阶段，遵循 DLRM 风格的排序范式。当前主流方法通常围绕两个相互独立的模块进行迭代优化：（a）序列建模模块，将用户多行为序列编码为与候选相关的表示，通常采用局部注意力或 Transformer 编码器；（b）特征交互模块，通过分解方法、显式交叉网络或基于特征组的注意力机制，学习非序列特征（如用户画像、物品画像和上下文特征）之间的高阶交叉关系。如图 1(a) 所示，这类方法通常先将用户行为编码为压缩的序列表示，然后与非序列特征拼接，再通过特征交互模块学习高阶交互。本文将这一设计称为“先编码后交互”（encode-then-interaction）流程。
大语言模型（LLM）的成功表明，扩大模型规模（如参数规模和训练数据规模）可以带来可预测的性能提升。这一现象也启发了推荐系统中的相关研究。在特征交互方面，Wukong 通过堆叠因子分解机模块并结合线性压缩来建模高阶特征交互，并建立了扩展规律；RankMixer 通过硬件友好的 token 混合机制以及 token 特定的前馈网络（FFN）实现了良好的规模扩展能力。在序列建模方面，LONGER 采用因果 Transformer 建模长用户行为历史，并证明随着深度和宽度的增加，性能呈单调提升趋势。
尽管上述方法在实践中有效，但将序列建模与特征交互作为独立模块会带来两个主要局限。第一，“先编码后交互”的流程限制了双向信息流，使静态或上下文特征难以充分影响序列表示的建模。第二，模块分离导致执行过程割裂并增加系统延迟；相比之下，统一的 Transformer 主干结构可以复用 LLM 的成熟优化技术，如 KV 缓存、内存高效注意力机制和混合精度训练，从而实现更高效的规模扩展。
为此，本文提出 OneTrans，一种创新性的架构范式，通过统一的 Transformer 主干网络同时完成用户行为序列建模与特征交互。如图 1(b) 所示，OneTrans 在统一主干内部实现了双向信息交互。其核心在于一个统一的 tokenizer，将序列特征（多样化行为序列）和非序列特征（用户、物品及上下文静态特征）共同转换为单一的 token 序列，然后送入由多层堆叠的 OneTrans 模块组成的金字塔结构中。该结构是针对工业推荐系统定制的 Transformer 变体。
考虑到推荐系统中 token 来源多样、语义异构（不同于 LLM 中单一文本 token），每个 OneTrans 模块采用类似 HiFormer 的混合参数化策略。具体而言，所有来自序列特征的 token 共享同一组 Q/K/V 和 FFN 参数，而每个非序列 token 则分配独立的特定参数，以保留其独特语义。
不同于传统的“先编码后交互”框架，OneTrans 通过统一的因果 Transformer 主干消除了序列与非序列特征之间的结构性隔离，使推荐系统的扩展方式与 LLM 实践保持一致：通过调整主干网络的深度和宽度即可扩展整体模型规模，同时可无缝继承成熟的 LLM 优化技术，如 FlashAttention 和混合精度训练。尤其是跨候选与跨请求的 KV 缓存机制，可将包含 C 个候选的会话时间复杂度从

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！