马斯克开源?最新算法！全网开发者逐行拆解

新智元报道 编辑：好困 【新智元导读】 马斯克又搞大事！?把社交平台绝对不会公开的两样东西「广告」和「审查」，连同一个能直接跑的推荐模型，一口气全推上了GitHub。6亿人每天刷到什么，现在是Grok说了算。 就在刚刚，马斯克把?最新版的算法给开源了！ 老马的官宣只有一句话，但瞬间就引来了超2700万网友的围观。 之所以这么炸，是因为社交平台有两样东西是绝不能给外人看的： 第一， 广告注入 系统，也就是「印钞机」。 第二， 内容审查 管线，也就是「生死簿」。 而?把这两样的源码，连同一个 3GB大小 的推荐模型，一口气全放到了GitHub上！ 仓库地址： https://github.com/xai-org/x-algorithm 不是，?连广告代码都给了？ 1月19日，?第一次把推荐算法开源。 当时公开的是Phoenix排名模型和Thunder信息流引擎，也就是是「你打开For You看到什么」的决策逻辑。 但广告系统的代码，一个字都没有。 这回，全给了。 新增的home-mixer/ads/目录里，有四个相关的Rust文件。 partition_organic_blender.rs ，负责把广告和自然内容混在一起 safe_gap_blender.rs ，负责控制两条广告之间至少隔几条自然帖子 ads_brand_safety_hydrator.rs + ads_brand_safety_vf_hydrator.rs ，负责管品牌安全，确保广告不会出现在暴力或色情内容旁边 注意这里的关键词， blender，混合器 。 也就是说，广告不是硬插的，是跟你发的帖子、你关注的人发的帖子一起排队、一起打分、然后按规则混合的。 你刷到的每一条广告，都是「赢」了旁边那几条自然内容才出现在那个位置的。 有个审帖工具，名字叫「deluxe」 另一个从未公开过的组件是 grox/ 目录。 它专管帖子发出之后、进入推荐之前的那道「审查流水线」。 六个分类器各管一摊： spam.py ，负责垃圾内容检测 post_safety_screen_deluxe.py ，负责安全审查（「豪华版」这个命名，很?） safety_ptos.py ，负责平台服务条款策略检查 banger_initial_screen.py ，负责爆款初筛，判断一条帖子是否「够炸」 reply_ranking.py ，负责回复排序 classifier.py ，负责通用内容分类 这里最有意思的是banger_initial_screen。 banger，爆款。 也就是说，?的算法里专门有一个分类器在判断「这条帖子炸不炸」，炸的优先往前排。 整套Grox管线用Python写成，跟Rust写的推荐系统主体形成了分层。 其中，Rust跑毫秒级排序，Python管「这条内容该不该存在」。 配套的还有Kafka数据加载器、ASR语音识别处理、帖子摘要生成器，以及一个调度引擎把这些任务编排成不同的「plan」跑起来。 3GB模型给你，拿去直接跑 技术圈最兴奋的可能是第三个变化。 以前开源推荐算法，你看得到逻辑但跑不起来。没有模型权重，代码就是一堆空壳。 这回?直接塞了一个预训练好的 mini Phoenix模型 ： Mini Phoenix Model ├── 嵌入维度: 256 ├── 注意力头: 4 ├── Transformer层数: 2 ├── 模型体积: ~ 3 GB（Git LFS分发） └── 推理入口: python run_pipeline.py（检索→排序，一行跑通） 一行命令，从检索到排序的完整推理流程就能跑通，pipeline结构跟生产环境一模一样。 当然，mini模型的参数规模远小于线上那个。 但这已经是社交平台历史上，第一次有人把「能跑的模型」和「生产级代码」打包在一起给出来。 一条帖子的生死，15个概率说了算 广告、审查、模型是这次最炸的三个新组件。但它们各自填进了推荐pipeline的具体位置。 1月那一版，pipeline六步里大部分只有骨架代码。 这次补全之后，每一步都有了完整的Rust或Python实现。 Pipeline 六步 1 月有的 5 月 15 日新增的 ───────────────────────────────────────────────────────────── [1] 用户画像 无 17 个query_hydrator (Query Hydration) （关注/屏蔽/话题/互关/IP/ Bloom过滤器/历史时间戳……） [2] 候选召回 Thunder +Ads Source （广告） (Candidate Sources) Phoenix +Phoenix MoE（混合专家） +Phoenix Topics（话题） +Who To Follow（推荐关注） +Prompts Source （Grok提示） [3] 特征填充 基础版 +互动数/品牌安全/语言检测/ (Hydration) 媒体类型/视频时长/引用展开 [4] 打分前过滤 基础版 +屏蔽词/已看过/付费权限/ (Pre-Scoring Filter ) 社交关系图谱过滤 [5] 打分 + 排序 Phoenix Scorer 不变（下面展开） [6] 打分后过滤 + 广告混排 基础版 +VF可见性检查 +会话去重 +完整ads blending模块 从2个候选源到7个以上，从0个用户画像hydrator到17个。 直接把整条pipeline从「能看」变成了「能跑」。 整条pipeline的灵魂在第5步打分。 Phoenix的Grok Transformer给每条帖子打分时，会同时预测15种用户行为的概率。 正向（ 11 种） 负向（ 4 种） ────────────────────── ────────────────── P (favorite) 点赞 P (not_interested) 不感兴趣 P (reply) 回复 P (block_author) 拉黑 P (repost) 转发 P (mute_author) 静音 P ( quote ) 引用 P (report) 举报 P (click) 点击 P (profile_click) 查看主页 P (video_view) 看视频 P (photo_expand) 展开图片 P (share) 分享 P (dwell) 停留浏览 P (follow_author) 关注作者 最终得分的评判如下： Final Score = Σ (weight_i × P (action_i) ) 正向行为 → 正权重（加分） 负向行为 → 负权重（重扣） 15道考试，11道加分题，4道送命题。 你的帖子每一条都要走这么一遍。 We have eliminated every single hand-engineered feature and most heuristics from the system。 所有手工规则全砍了，100%靠Transformer端到端学出来。 打分机制里还有一个设计叫Candidate Isolation，候选隔离。 Transform