来源丨算法进阶、赛博禅心
就在刚刚,马斯克正式宣布开源  𝕏(原 Twitter)平台的推荐算法代码。

开源地址:https://github.com/xai-org/x-algorithm

与此同时,𝕏工程团队(@XEng)确认,新版算法已完成底层重构,全面采用了与 xAI 的 Grok 模型相同的 Transformer 架构,这也标志着𝕏成为首个将核心流量分发逻辑完全透明化的主流社交平台。


马斯克在开源后表示:

我们知道这个算法很笨,需要大幅改进,但至少你可以看到我们实时且透明地努力让它变得更好。没有其他社交媒体公司这样做。

根据开源文档显示,新的推荐系统最核心的设计决策是「零人工特征工程」。

具体来说,𝕏摒弃了传统推荐系统中大量依赖人工编写规则和启发式算法的做法,完全依赖基于 Grok 的 Transformer 模型。

系统不再主观定义什么是好内容,而是让模型通过学习用户的交互历史(点赞、回复、转发等)来自动判断相关性。


具体到用户的「For You」时间线生成流程,主要分为「召回」与「评分」两个关键阶段。

在第一阶段的「召回」环节,内容首先来自两大源头:代号为「Thunder」的内部网络系统负责毫秒级检索用户关注账号的最新动态。

而代号为「Phoenix Retrieval」的外部网络系统则利用机器学习在全球语料库中挖掘用户未关注但可能感兴趣的潜在内容。

随后,这些通过海选、被成功「召回」的海量候选帖子,会被送入第二阶段的核心——Phoenix 评分器。


这是一个基于 Grok-1 修改版的大模型,它不依赖预设标签,而是通过「注意力机制」直接预测用户对某条帖子做出特定动作的概率,既包括点赞、回复、点击等正面行为,也涵盖拉黑、不感兴趣等负面反馈。

当模型计算出概率后,最终决定帖子能否出现在用户屏幕上的,是一套严密的加权计算公式。

系统会将模型预测出的各种动作概率乘以相应的权重——例如点赞和转发带来正收益,而拉黑和举报则导致负分——最后加总得出最终得分,高分者优先展示。


为了保障阅读体验与安全,系统在评分前后均设有严密的「过滤器」:评分前会移除重复、已读或来自拉黑账号的内容;评分后则会进行可见性过滤,剔除已删除或违规信息,并引入「作者多样性」机制,防止同一创作者的内容连续刷屏。

目前的开源版本包含核心推荐逻辑、Rust 编写的候选处理管道以及详细的架构文档。

值得一提的是,这仅仅是一个开始,马斯克此前还承诺,未来将根据社区反馈持续优化,并坚持每四周一次的开源更新节奏,附带全面的开发者说明,以帮助用户了解发生了哪些变化。



下面,是公众号赛博禅心整理的开源要点:

1. 被人拉黑、静音、举报,你的帖子会被压代码里 P(block_author)、P(mute_author)、P(report)、P(not_interested) 四个负向预测,权重为负,预测值越高得分越低

2. 连着发好几条,后面的曝光会变少Author Diversity Scorer 的作用是「Attenuate repeated author scores to ensure feed diversity」,同一作者连续出现会被衰减

3. 别人发了爆款,不会挤掉你的曝光Candidate Isolation 设计:「candidates cannot attend to each other—only to the user context」,每条帖子独立打分

4. 用户在你帖子上停多久,算法会预测P(dwell) 是独立预测项,停留时间直接影响得分

5. 视频只预测「会不会点开看」,不管看完没预测项是 P(video_view),不是完播率,和抖音逻辑不同

6.以前那些手工调的规则,全删了README 写的:「We have eliminated every single hand-engineered feature and most heuristics」,全靠 Grok 从互动历史学

7. 你看过的帖子不会再出现过滤器里有 PreviouslySeenPostsFilter 和 PreviouslyServedPostsFilter8. 不是你关注的人发的内容,有单独的调分逻辑OON Scorer:「Adjust scores for out-of-network content」,具体怎么调没公开