← 所有文章

影响力算法:X (xAI) 推荐系统架构与机制的深度分析

一、 引言:代码中的真理——从黑箱到透明的范式转移

一、 引言:代码中的真理——从黑箱到透明的范式转移

长期以来,社交媒体的推荐算法被视为数字时代的黑盒——一种不透明、不可知且似乎具有某种神性的力量,决定着信息的生死与舆论的走向。对于数以亿计的用户而言,为何某些内容能瞬间引爆全网,而另一些看似优质的内容却石沉大海,往往被归结为“运气”或“玄学”。然而,随着 xAI 正式开源驱动 X(前 Twitter)“For You”信息流的 x-algorithm 代码库,这一黑箱被彻底打破。我们不再需要依赖轶事证据或外部推测,而是可以直接审视决定全球信息分发的底层逻辑 。

本次开源不仅仅是一次代码展示,它揭示了社交推荐系统的一次根本性范式转移:从基于人工规则(Heuristics)的传统排序,向完全基于大语言模型(LLM)架构的端到端神经系统的演进。在这个新世界中,你以为你在刷 X,实则是 Grok 模型在通过复杂的注意力机制“喂养”你的认知 。

本报告将基于 xai-org/x-algorithm 仓库的源码分析,严格对照系统架构、核心算法、评分公式及工程决策,提供一份详尽的技术审计。报告旨在回答一个核心问题:为什么有些人的帖子总能上 For You?答案不在于运气,而在于代码中定义的“相关性”——这是一种由 Rust 和 Python 编写,由点积相似度和注意力掩码(Attention Mask)共同维系的数学概率 。

二、 系统全貌:For You 信息流的生成管线

在毫秒级的时间窗口内为用户生成一个既具相关性又具新鲜感的信息流,是一项巨大的工程挑战。X 的推荐系统并未采用单一的整体式架构,而是采用了经典的双管道漏斗设计,旨在解决推荐系统中最核心的“探索与利用”(Exploration-Exploitation)权衡问题。

该系统将内容来源严格划分为两个异构的蓄水池:Thunder 与 Phoenix 。这两者在架构设计、检索逻辑及服务目标上截然不同,共同构成了信息流的基础 2。

  1. 两个核心内容池的二元对立

Thunder:基于图关系的“利用”引擎

Thunder 代表了“In-Network”(网络内)内容,即用户明确关注的账号所发布的信息。

工程逻辑:Thunder 的核心在于低延迟与高吞吐。它本质上是一个基于消息队列(如 Kafka)的实时处理系统。当用户关注某人时,实际上是订阅了该生产者的内容流。

算法权重:由于“关注”这一行为本身就是极强的显性信号,Thunder 并不需要复杂的向量检索来猜测用户喜好。它的主要任务是按时间衰减和亲密度进行初步排序。

局限性:Thunder 是流量的基石,但不是爆发的引擎。如果内容在 Thunder 阶段(即在现有粉丝群中)表现平平,产生不了足够的互动信号(Velocity),它几乎不可能跨越到 Phoenix 管道中去 。

Phoenix:基于向量检索的“探索”引擎

Phoenix 代表了“Out-of-Network”(网络外)内容,即用户未关注但可能感兴趣的“发现”内容。这是 Grok 模型发挥核心作用的战场,也是实现“病毒式传播”的关键路径。

工程逻辑:Phoenix 面对的是全网数十亿的实时帖子。由于无法对所有帖子进行逐一评分,它采用了近似最近邻搜索(ANN)技术,从海量语料库中召回候选集。

核心驱动:Phoenix 并不依赖社交图谱(谁关注了谁),而是依赖语义图谱(谁在讨论什么)。它通过嵌入向量(Embeddings)来理解用户兴趣与帖子内容之间的深层语义关联 。

  1. 四个核心处理阶段:从召回到最终呈现

无论是来自 Thunder 还是 Phoenix 的候选内容,都必须经过一个标准化的四阶段处理管线(Pipeline)。这四个阶段的设计体现了从粗糙筛选到精细排序的计算资源分配逻辑。

图1

深度洞察:值得注意的是,过滤阶段发生在打分阶段之前。这意味着,如果一条内容触发了系统的“硬性过滤规则”(如包含被屏蔽的关键词、被标记为不安全的外链等),无论其潜在的互动率(Grok 评分)有多高,它甚至没有机会进入神经网络进行评估。这解释了为何某些看似热门的话题会突然从时间线上消失——它们在 Stage 3 就被截断了 。

三、 Phoenix:Grok 驱动的推荐核心

本次开源中最引人注目的技术突破,在于 X 将 Grok-1 的大语言模型架构深度集成到了推荐系统的核心——Phoenix 中。这标志着推荐算法从传统的逻辑回归(Logistic Regression)或梯度提升树(GBDT)时代,正式迈入了 Transformer 时代 。

  1. 召回:双塔模型 (Two-Tower) 的几何学

在进入昂贵的 Transformer 排序之前,系统首先利用双塔模型(Two-Tower Model)进行高效的初筛。这是一种在工业界(如 YouTube, Netflix)广泛应用的架构,但 X 对其进行了针对实时性的改良。

用户塔 (User Tower):该神经网络负责处理用户的历史行为序列、人口统计学特征及当前上下文。它将这些复杂且稀疏的数据压缩为一个低维稠密向量(User Embedding)。

候选塔 (Candidate Tower):与此同时,另一个神经网络独立处理帖子内容(文本语义、媒体特征、作者嵌入)。它输出候选内容的向量(Candidate Embedding)。

点积相似度 (Dot Product Similarity):系统通过计算两个向量的点积来衡量相关性。由于候选塔的向量可以预先计算并存储在向量数据库中,系统能够在毫秒级时间内,在几何空间中找到与用户向量距离最近的 K 个帖子 。

技术解读:这种架构意味着关键词匹配已成过去式。如果双塔模型学习到“自行车”与“环法大赛”在向量空间中距离极近,即使用户从未搜索过“环法”,系统也会通过向量相似性将其召回。这实现了从“字面检索”到“语义理解”的跨越 。

  1. 排序:Transformer 与 候选隔离 (Candidate Isolation)

当初筛后的 1,500 条帖子进入精排阶段(Ranking)时,系统采用了一种特殊的 Transformer 架构。与用于聊天机器人的标准 Transformer(如 GPT)不同,Phoenix Ranker 引入了 Candidate Isolation(候选隔离)机制。

传统 Transformer 的问题:在标准自注意力机制(Self-Attention)中,输入序列中的每个 Token 都会关注其他所有 Token。如果将 100 个候选帖子作为一个 Batch 输入,帖子 A 的评分可能会受到帖子 B 存在的影响(例如,一个高质量帖子可能会让旁边的低质量帖子显得更差,或者反之)。这种“上下文干扰”会导致评分的不稳定性。

候选隔离机制:X 通过定制的 Attention Mask(注意力掩码)解决了这个问题。用户上下文(User Context)可以关注自身。

每个候选帖子(Candidate Post)可以关注用户上下文。

关键点:候选帖子之间被强制“不可见”。帖子 A 无法“看到”帖子 B。

输出结果:这确保了模型输出的是“用户对帖子”的互动概率,而完全独立于该批次中的其他内容。

工程价值:这种独立性使得评分结果可缓存。如果用户在 10 秒后刷新 Feed,对于未变化的帖子,系统无需重新进行昂贵的 GPU 推理,直接读取缓存分数即可。这是支撑亿级用户实时推荐的关键性能优化 。

四、 打分公式:量化影响力的数学本质

算法的“价值观”并非通过自然语言描述,而是通过数学权重定义的。WeightedScorer 组件是整个推荐系统的终审法官,它将 Phoenix 模型输出的原始概率转化为最终的排序分数。

最终分数的计算逻辑是将模型预测的每种用户行为概率与相应的系统权重相乘后求和。通过分析 weighted_scorer.rs 源码及相关文档,我们可以重构出 X 平台的“互动价值层级” 。

互动权重分析表(估算,具体数值未开源)

图2

深入解读:为什么“让人想骂”的内容不一定被推?

许多人认为引发争议(Rage-baiting)是获取流量的捷径。然而,数学公式揭示了其中的巨大风险。虽然激烈的争吵会带来大量的 Reply (+13.5),但只要这种争议导致了少量的 Block (-74) 或 Report (-369),总分就会迅速转为负数。

例如:一条引发了 100 个回复但导致 20 人拉黑的帖子,尽管回复带来了 1350 分的正向得分,但拉黑会导致 1480 分的严重扣分,最终得分将为 -130 分。

尽管互动看似火爆,但算法判定该内容对平台生态具有净破坏性,从而将其降权。这解释了为何纯粹的恶意引战内容往往只能在小圈层传播,而难以进入全网热门 14。

五、 5 个关键设计决策:工程与算法的辩证统一

X 的推荐系统并非仅仅是算法的堆砌,其架构设计体现了对机器学习工程(MLOps)前沿问题的深刻思考。以下五个设计决策构成了新系统的技术护城河。

  1. 零人工特征 (Zero Hand-Engineered Features)

在旧版“Heavy Ranker”时代,工程师需要手动编写数千个特征提取器(例如:“如果包含图片且文字长度大于 50,则…”)。新系统彻底摒弃了这一做法,完全依赖 Grok Transformer 进行端到端的特征学习 2。

反直觉点:系统不再被告知“视频比文字好”,而是通过 User Tower 观察到用户在视频上的停留时间更长,从而自动学习到视频特征与该用户的高相关性。这使得算法具有了自我进化的能力,无需人工频繁调整规则。

  1. 候选隔离与缓存复用 (Candidate Isolation)

如前所述,通过在 Transformer 中屏蔽候选帖子间的注意力,X 牺牲了微小的上下文精度,换取了巨大的工程收益。

决策逻辑:在数亿日活的规模下,推理成本是核心约束。让评分可缓存(Cacheable)意味着对于热门内容,系统只需计算一次即可服务成千上万的用户,极大地降低了延迟。

  1. 哈希嵌入 (Hash Embedding)

面对数十亿的用户 ID 和推文 ID,传统的嵌入表(Embedding Table)会消耗 TB 级的显存,这在物理上几乎不可行。X 采用了哈希嵌入技术(可能结合了 Deep Hash Embedding)。

技术细节:系统不为每个 ID 分配唯一的向量,而是将 ID 映射到一个较小的哈希空间(或使用多个哈希函数的组合)。虽然这引入了轻微的哈希冲突(Collision),但它在将模型体积压缩数个数量级的同时,保留了绝大部分的表达能力,解决了“海量词表”的内存瓶颈 。

  1. 多目标预测 (Multi-Action Prediction)

模型并不直接输出一个“好/坏”的分数,而是输出 15+ 种具体行为的概率。

架构优势:这实现了模型层(Model)与策略层(Policy)的解耦。模型层负责客观预测:“用户有 20% 的概率点击视频。”

策略层负责主观判断:“我们现在想扶持视频业务,所以将视频点击的权重从 1.0 提升到 2.0。”

这种设计使得 X 可以在不重新训练昂贵模型的情况下,通过仅修改 weighted_scorer 的配置文件,灵活调整产品的运营方向 。

  1. 可组合管道 (Composable Pipeline)

整个系统基于 Rust 的 trait 系统构建了模块化的管线架构。新的数据源(Sources)、过滤器(Filters)或打分器(Scorers)可以像积木一样被插入或移除。

迭代速度:这使得算法团队可以并行开发。一个小组在优化“作者多样性过滤器”,另一个小组在开发“实时热点召回”,两者互不干扰。这种敏捷性是应对快速变化的社交舆论环境的必要条件 。

六、 对创作者的实操启示:算法视角下的生存指南

理解代码逻辑不仅仅是为了满足好奇心,更是为了指导内容创作的策略。基于上述审计,我们可以为创作者提炼出以下科学的运营法则。

  1. 互动类型的权重猜测与“对话流”策略

数据明确显示:回复 > 转发 > 点赞。更重要的是,回复 + 作者回应 (75.0) 是权重的核武器。

实操建议:创作者应放弃“广播式”发布,转向“社区式”运营。在发布内容后,积极回复评论区的留言,这不仅是礼貌,更是算法套利。每一次“用户评论-作者回复”的闭环,在算法眼中都等同于获得了 150 个点赞。建立深度的对话流是提升内容权重的最快路径 。

  1. 触发 block/mute 的严重惩罚

负面权重的非对称性(-74 vs +0.5)意味着“安全性”优于“热度”。

实操建议:避免发布极度极化或易引发生理厌恶的内容。虽然激进观点可能带来暂时的流量,但一旦核心受众开始使用“减少推荐”或“屏蔽”功能,账号的隐性声誉分(Reputation Score)将遭受长期不可逆的打击。算法会像隔离病毒一样隔离高屏蔽率的账号 。

  1. 外链真的被降权吗?(隐性机制揭秘)

在代码中,我们并未发现类似 if (has_link) score *= 0.5 的显式惩罚代码。然而,外链依然会导致流量下降。

原因分析:这是由 Dwell Time(停留时间) 的权重决定的。外链会将用户导向站外,导致用户在 X App 内的停留时间减少。既然停留概率是正向权重,那么引导用户离开的行为自然会导致该项得分为低。

实操建议:将外链放在评论区(Thread 的第二条),或者制作长图/视频概述链接内容,让用户留在平台内消费核心信息 。

  1. In-Network vs Out-of-Network 的流量差异与“逃逸速度”

现象:大多数帖子只能触达粉丝(Thunder),只有极少数能进入公域(Phoenix)。

机制:这取决于 Velocity Threshold(速度阈值)。内容发布后的最初 30-60 分钟至关重要。如果内容在 Thunder 阶段(粉丝内部)未能达到特定的互动速率(Engagement/Followers),系统就不会将其推入 Phoenix 的候选池。

实操建议:重视发布时间,确保在粉丝最活跃的时段发布,以获得最初的“助推燃料”,从而达到逃逸速度,被 Phoenix 系统捕获并分发给陌生人

注:本文部分内容基于AI提炼。

引用的来源

Repositories - xai-org - GitHub, 访问时间为 一月 20, 2026, https://github.com/orgs/xai-org/repositories

xai-org/x-algorithm: Algorithm powering the For You feed on X - GitHub, 访问时间为 一月 20, 2026, https://github.com/xai-org/x-algorithm

X has open-sourced their new X algorithm, powered by the same transformer architecture as xAI’s Grok model. : r/programming - Reddit, 访问时间为 一月 20, 2026, https://www.reddit.com/r/programming/comments/1qhunm9/x_has_opensourced_their_new_%F0%9D%95%8F_algorithm_powered/

X releases new open-source algorithm: What content should we really create to be more engaging? - 深潮TechFlow, 访问时间为 一月 20, 2026, https://m.techflowpost.com/en-US/article/30014

Social Media - Reddit, 访问时间为 一月 20, 2026, https://www.reddit.com/r/socialmedia/controversial/

Elon Musk Shocks with X’s Open-Sourced Recommendation Algorithm - 36氪, 访问时间为 一月 20, 2026, https://eu.36kr.com/en/p/3647519956717442

x-algorithm/phoenix/README.md at main - GitHub, 访问时间为 一月 20, 2026, https://github.com/xai-org/x-algorithm/blob/main/phoenix/README.md

twitter/the-algorithm: Source code for the X Recommendation Algorithm - GitHub, 访问时间为 一月 20, 2026, https://github.com/twitter/the-algorithm

The Two-Tower Model for Recommendation Systems: A Deep Dive | Shaped Blog, 访问时间为 一月 20, 2026, https://www.shaped.ai/blog/the-two-tower-model-for-recommendation-systems-a-deep-dive

X For You Feed Algorithm - Hacker News, 访问时间为 一月 20, 2026, https://news.ycombinator.com/item?id=46688173

X finally open-sourced its algorithm: Here are real tips to grow your reach in 2026, 访问时间为 一月 20, 2026, https://piunikaweb.com/2026/01/20/x-algorithm-open-source-tips-grow-reach-2026/

Search for the lepton flavour violating process 𝛕! in the CMS experiment at the LHC with Run-II data - Milano-Bicocca, 访问时间为 一月 20, 2026, https://boa.unimib.it/retrieve/e39773b8-f02d-35a3-e053-3a05fe0aac26/phd_unimib_763189.pdf

igorbrigadir/awesome-twitter-algo: The release of the Twitter algorithm, annotated for recsys, 访问时间为 一月 20, 2026, https://github.com/igorbrigadir/awesome-twitter-algo

Understanding the X Algorithm - Tweet Hunter - Optimized, 访问时间为 一月 20, 2026, https://tweethunter.io/blog/understanding-the-x-algorithm

x-algorithm/home-mixer/scorers/weighted_scorer.rs at main · xai-org/x-algorithm - GitHub, 访问时间为 一月 20, 2026, https://github.com/xai-org/x-algorithm/blob/main/home-mixer/scorers/weighted_scorer.rs

The Perfect X Post Layout: Boost Engagement and Views - My Helpful Hints®, 访问时间为 一月 20, 2026, https://myhelpfulhints.co.uk/guides-and-tips/guides/the-perfect-x-post-layout/

Hash-Embeddings/README.md at master - GitHub, 访问时间为 一月 20, 2026, https://github.com/YannDubs/Hash-Embeddings/blob/master/README.md

How the Twitter (X) Algorithm Works in 2025 - Hashmeta, 访问时间为 一月 20, 2026, https://hashmeta.com/insights/how-twitter-algorithm-works

X releases new open-source algorithm: What content should we really create to be more engaging? - 深潮TechFlow, 访问时间为 一月 20, 2026, https://www.techflowpost.com/en-US/article/30014

Inside X’s Recommendation Algorithm: How the “For You” Feed Really Works - Analytics Vidhya, 访问时间为 一月 20, 2026, https://www.analyticsvidhya.com/blog/2025/09/x-recommendation-algorithm/

原文发布于 X:https://x.com/vincemask/status/2013921997114462517

评论

加载评论…