42章经

• 一堂「强化学习」大师课｜对谈清华叉院助理教授吴翼

  当 AI 预训练的 scaling law 开始放缓，强化学习 (RL) 接过接力棒，拉出了一条漂亮的第二曲线。在当下的 Agent 热里，有 RL 能力的团队，也是最被看好和押注的。但很多人对 RL 都没有一个足够清晰的理解，包括我自己。所以这期我们请到了国内 RL 领域的专家、清华大学交叉信息研究院助理教授吴翼，来讲讲 RL 的原理到底是啥、RL+LLM 的路径是怎么发展起来的、目前存在哪些非共识、未来还会怎么演变等等（聊完感觉像上了一堂免费大师课）。而且聊着聊着，我们发现，人生就是一个 RL 的过程，区别是 RL 有明确的奖励函数，但是人生没有。可能如吴翼教授所说，我们首先都要以一种「最大熵」的方式去主动和不确定的世界交互，才能找到自己的奖励函数，优化自己的人生曲线。最后，吴翼教授的团队最近开源了一个 RL 框架 AReaL-boba，在 SOTA 7B 上跑出了 AIME24 61.9 的分数，也欢迎大家去 GitHub 关注。【人类博物馆】导游：曲凯，42章经创始人32 号珍藏：吴翼，清华大学交叉信息研究院助理教授，蚂蚁集团强化学习实验室首席科学家，前 OpenAI 研究员。【时光机】 1:51 到底什么是 RL？ 4:25 人生就是一个强化学习的过程 6:22 RL 和 LLM 是怎么结合起来的？ 7:01 强强联手第一步：InstructGPT，实现指令遵从 10:07 过程中衍生出了 RLHF 11:41「慢思考」的需求催生了 RL 的应用 16:10 为什么说 Anthropic RL 做得特别好？ 21:17 行业对 RL+LLM 的最优路径形成共识了吗？ 25:11 RL 起来之后，对 Agent 的影响是什么？ 32:11 Intelligence = LLM (理解) × RL (决策)，二者缺一不可 34:14 Scaling law 的未来 34:33 Pretraining 的两个发展方向 36:43 RL 还处于早期，进入深水区后可能会走向分化 40:02 大模型团队的组织架构要如何设计？ 43:21 一个反常识：对 AI 来说，理解比生成更难，token 消耗更大 47:38 现在做 Agent 一定需要一个懂 RL 的人吗？ 49:32 为什么 RL 人才这么稀缺？ 56:10 RL 目前三大分支：泛化 (DeepSeek)、代码 (Anthropic)、Agent (OpenAI) 58:55 框架对 RL 意味着什么？ 1:02:51 RL 在海内外进展还有明显差距 1:04:42 想做好 RL，基建≫数据＞算法 1:06:05 研究 RL 收获的一些人生启发【Reference】 吴翼的 PhD 毕业论文：On Building Generalizable Learning Agents 吴翼获机器学习顶级会议 NIPS2016 最佳论文奖的论文： Value Iteration Network 吴翼提到的他非常喜欢的一篇论文：Diversity-Driven Exploration Strategy for Deep Reinforcement Learning 吴翼团队和蚂蚁研究院开源的强化学习训练框架：AReaL-boba【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescaleros

  --------  

  1:12:49
• 世界怎么就「东升西落」了？聊聊二级市场与 DeepSeek+Manus 的热潮｜对谈莫傑麟

  我又来美国了。这次来，我发现市场真的变化太快，这边很多人都开始相信一个所谓「东升西落」的叙事。于是我再次请来了莫傑麟，和他聊聊二级市场自 DeepSeek 发布以来有哪些新变化、新趋势。在这期播客里，我们推演了「东升西落」的演绎过程和底层逻辑，谈了我们各自对 DeepSeek 和 Manus 这两个热门产品的感受，也聊了宏观的市场环境和股市的未来。最近两年很多人都在说，这波 AI 中的最赚钱的方式是炒股。但真的是这样吗？二级市场真的才是大家最终的归宿吗？【人类博物馆】导游：曲凯，42章经创始人九号珍藏：莫傑麟，家族办公室资深从业者【时光机】Part1 「东升西落」的叙事 00:30 为什么二级市场突然流行「东升西落」的叙事？ 1:00 推演一下演绎过程和底层逻辑 5:19 之前大家过于低估国内 AI 了 6:47 中美对 AI 的叙事重点完全不同 7:27 简评 DeepSeek 9:48 简评 Manus 10:15 Manus 是最典型的中国式 AI 产品 11:58 Manus 爆火背后的两个核心原因 14:35 为什么后来风评急转直下？ 16:01 未来的 AI 产品可能要先在海外宣发，再杀回国内 Part2 二级市场的宏观环境 22:04 二级市场 = 预期 + 趋势 23:12 关于预期——大家对中国的预期是什么？ 24:39 为什么阿里加大对 AI 的 Capex 投入后，股价大涨？ 26:17 腾讯是 DeepSeek 这波的最大受益者 31:11 25 年的中国在重演 23-24 年的美国 33:48 芯片「卡脖子」还会是问题吗？ 35:42 关于趋势 35:52 暗线 (宏观环境)：稳中向好 37:30 明线 (产业趋势)：AI+专精特新+消费多点开花 Part3 股市的未来 38:44 今年 A 股会不会继续涨，美股会不会继续跌？ 41:13 二级市场在变得越来越卷，共识的达成和演绎速度越来越快 43:57 这波 AI 最赚钱的方式真的是炒股吗？ 46:44「大起大落的高频波动」可能是未来股市的常态 48:14「做时间的朋友」还行得通吗？ 49:54 分享一些 25 年的个人观察 50:18 AI 领域我会重点关注三个问题 52:53 很多非 AI 公司也很值得研究 54:56 二级市场是所有人的最终归宿吗？【Reference】为什么我们开始乐观？关于经济发展的明线暗线、AI 与最佳实践 | 对谈莫傑麟【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescaleros

  --------  

  56:18
• 信念感与硅谷顶尖孵化器的奇遇：赴美三月，实现千万刀 ARR｜对谈 ACE Studio 创始人 Joe

  如果有人问你，给你三个月的时间，你能把目前手上负责的业务数据翻十倍吗？相信大多数人都会觉得这是痴人说梦，但这件事 ACE Studio 做到了。而他们做到的原因不是他们本来就能，而是有人让他们相信了这件事。这就是我们今天要讲的故事，这就是信念感这三个字的力量。去年 5 月份我们做过一期 PMF 主题的节目，ACE Studio 的创始人 Joe 聊了很多他们的产品是如何在美国市场找到 PMF 的。当时他们刚刚开启付费半年，就已经做到了很不错的月收入。这次我们又把他请来，是因为才刚过去了大半年，他们的收入竟然就增长了 10 倍，已经成功跻身千万美金 ARR 第一梯队。能做到这点，是因为他们去了硅谷一家很有名的孵化器 HF0，并在那边搞了 3 个月的封闭式开发。这期播客中，Joe 就毫无保留地分享了 HF0 到底是怎么奏效的、他们在 HF0 的实际体验与收获，和实现 10 倍增长的具体经验（比如他们是怎么一招就让公司一夜之间收入翻倍的？）。如果你对 Joe 的参加孵化器的经验，或者对去美国参加类似的组织感兴趣，可以添加我的微信 qukai42，42章经今年也会组织更多中美连接的活动和事情，欢迎你用各种方式加入进来。【人类博物馆】导游：曲凯，42章经创始人20 号珍藏：Joe，ACE Studio 创始人。ACE Studio 是一款面向专业音乐制作人和创作者的 AI 音乐工作站，致力于用 AI 重新定义音乐创作，自 2023 年 10 月上线以来发展迅猛，月收入已达 80 万美金。【时光机】Part1 HF0 为什么有效 01:23 先回顾下入选这家美国知名孵化器的过程 03:48 英语不好会是阻力吗？ 05:34 3000 进 10 的概率下，HF0 为什么选中了你们？ 07:19 HF0 和其它孵化器不太一样 08:46 HF0 没教我们怎么做业务，这事也不该别人来教 10:35 最关键的第一步：HF0 给我们注入了「一定能猛涨」的信念感 12:23 这种信念感很难自我激发 14:23 开营后，HF0 营造了一个专注于增长的氛围 16:25 最大的压力和最深的恐惧就是「别丢脸」… 17:44 这种氛围本质上改变了我想问题的方式 19:17 也让我们涌起了「别让大家觉得华人不行」的责任感 21:38 一直 build「憋大招」可能并不成立 22:40 从 HF0 出来后，还能保持在其中的状态吗？ 23:55 我们马上要复刻 HF0 的体验 Part2 3 个月涨 10 倍的具体实践 26:50 五周过去都没怎么增长的时候，信念感崩塌了吗？ 27:43 绝境逢生的戏剧化转折：我们试了一招，第二天日收入直接 double 28:51 Quora 创始人教会了我们一种思考方法 30:00 之前没想到这么干，是因为我们没悟到一件事 31:18 要问这招是啥？——答案乍一听可能有点搞笑哈 31:29 但搞笑背后是一种硅谷的方法论 32:57 在硅谷的几个经历也启发了我们 33:53 后面我们还试了很多招数，最终达成了 10 倍的增长 34:01 我们在价格模型上做了很多文章 34:24 Blake Anderson（千万美金 ARR 产品 Cal AI 的创始人）让我意识到，我们之前联系 influencer 的方式都不对 36:33 我们把付费广告的 ROI 提高到了 2 倍 36:59 产品功能升级和老用户也没落下 37:30 但前六周的苦工是省不掉的Part3 一些观察 39:02 美国投资人的工作方式和提的问题有什么不同？ 40:31 美国机构真的很不喜欢中国团队吗？ 42:51 肉身到硅谷去很重要 43:12 我越来越坚信，AI 产品化大有可为 44:44 Perplexity 的 pitch deck 上有两句话，合起来看很妙 45:13 我的壁垒就是我的「人日」 46:47 硅谷的做事风格越来越回归本质了【Reference】 ACE Studio 产品界面 关于 HF0：HF0 是由 Dave Fontenot（世界上最大的黑客松 MHacks 创始人）、Evan Stites- Clayton 和 Emily Liu 共同创立的常驻创业孵化器，有着严苛的筛选标准，由包括 Marc Andreessen、Chris Dixon 在内的多位知名投资者支持，创办第一年就孵化出了 3 家独角兽公司，也孵化过包括 ComfyUI、Story.com 等在内的多家优秀的 AI 公司。【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescaleros

  --------  

  48:32
• 第一个出 ICU 的 AI 创业者｜对谈心影随形 CEO Binson

  Binson literally 进了 ICU，一场严重的车祸让他对这个世界和创业这件事有了不同的认识。这期播客中我们先聊了他的这场车祸，和他是如何度过在 ICU 的六个日夜的，相信这种经历是绝大多数人没有机会尝试甚至是听说的，而 Binson 恢复了四个月后已经可以比较正常地坐在我的对面回顾这段经历，他讲了在这个过程中他心态的一些变化，以及在事故之后他是如何改变他对待人生和经营公司的方式的。Binson 在此之前是知名的大厂高管，他从百度副总监、360 助理总裁，一路做到了 bilibili 副总裁，所以我们也聊了他打工和换工作的很多经验，以及就是他为什么创业，现在又是如何看待 AI 和自己的心影随形（逗逗游戏伙伴）这个公司和产品的。最后，我们的 AI 私董会也在持续报名中，目前已经聚集了一批市场上最好的 AI 创始人，欢迎点击链接报名（里面也有目前已加入的成员名单，可点击查看）【人类博物馆】导游：曲凯，42章经创始人31 号珍藏：Binson，心影随形 CEO。心影随形成立至今已获得多轮融资。逗逗游戏伙伴是其推出的一款陪用户玩游戏的 AI 桌宠软件，已有 600 万的用户规模。此前，Binson 曾先后担任百度副总监、360 助理总裁、bilibili 副总裁等职位。【时光机】Part1 车祸后的感悟 1:52 我是怎么差点挂了的？ 2:19 死里逃生的过程 7:56 更痛苦的是躺进 ICU 后的精神煎熬 12:01 我们活着的意义到底是啥？ 13:58 这件事教会了我「停下来」和「放手」的重要性 17:35 我创业的心态和行动有些具体的变化Part2 大厂打工 V.S. 创业的体悟 22:38 如果真的只为了赚钱，不要创业 23:04 复盘三段大厂经历 23:20 我应该更早离开百度 25:09 为什么不应该为了两三倍工资而跳槽？ 27:15 为什么 20 年我选择去 B 站，而不是字节、快手、拼多多或者小红书？ 29:43 原本没想去 360，但周鸿祎给了我一个新的视角 35:12 作为一个如此有创业精神的人，为什么没有更早出来？ 37:33 创业首先要摒弃大厂思维 42:46 创业总是焦虑？多半是因为事先思考得不够充分 44:42 不要回避大厂竞争的问题 45:25 创业最难的是招人和统一大家的思路 46:22 成长最快的是工作两三年的 47:31「有爱」可以后天培养吗？ 47:57 一个残酷的现实是，大厂已经不育人了 49:13 分享一个有效训练决策能力的方法Part3 聊聊 AI 51:12 桌宠形态产品的留存高是一个值得炫耀的事么？ 52:06 为什么逗逗游戏伙伴很难被 copy？ 53:46 一些 AI 观察 54:10 今年会陆续有一批 AI 公司被淘汰 55:08 LLM 的进展超出预期，多模态则不及预期 55:53 Chatbot 这种模式可能就不对 56:17 我们不看对话轮数、不看留存、不看时长 58:49 一个值得思考的未来方向【Reference】 Binson 交通事故的完整经历和更多感悟，可以看他之前写的公众号mp.weixin.qq.com 逗逗游戏伙伴桌宠形态的示意图： 逗逗游戏伙伴陪玩《黑神话：悟空》的示意视频【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescalero

  --------  

  1:03:10
• 我是这样用 RL + LLM 做 Agent 的｜对谈 Pokee AI 创始人朱哲清 Bill

  新年正式第一期，来点新东西。大家都说 Agent 热，那 Agent 到底是啥、到底为啥热、到底咋做、到底长啥样？大家都说 RL 是新方向，那 RL 到底是啥，和 LLM 的关系是什么，又能怎么和 Agent 结合？这期我们就请到了在 Meta 工作了七年的应用强化学习组负责人朱哲清 Bill，讲一讲他是怎么用一种很新的技术路线来做一种很新的 Agent，并且在电商等领域是如何落地的。最后，我们的 AI 私董会也在持续报名中，目前已经聚集了一批市场上最好的 AI 创始人，欢迎点击链接报名（里面也有目前已加入的成员名单，可点击查看）【人类博物馆】导游：曲凯，42章经创始人30 号珍藏：朱哲清 Bill，Pokee AI 创始人兼 CEO，此前 7 年在 Meta AI 做应用强化学习组负责人，并攻读了斯坦福大学强化学习专业博士学位【时光机】Part1 强化学习 3:06 我们思考方式已经全面 RL 化 —— from OpenAI 研究员 4:36 Transformer 和 RL 到底是什么关系？又要如何结合？ 10:15 RL 解答的是平行宇宙问题 12:35 RL+LLM，就是公认最好的技术路线吗？ 14:02 RL 的算法原理类似于「多巴胺刺激」 14:42 在无法清晰定义 Reward 的场景下，RL 还好用吗？ 15:12 RL 最强的三个能力Part2 给 Agent 用上强化学习 18:42 为什么直接用 LLM 做不出规划型 Agent？ 20:17 一个有效的 Agent 架构：RL 做核心，LLM 做翻译 23:35 我们做出了一个电商领域的通用型 Agent 24:39 体验相当于一个资深的网站负责人 26:05 原理是让 Agent 通过 self-play 学会使用上千个底层 API 29:43 Agent 当前市场格局: 29:52 Coding Agent 是皇冠上的明珠 30:26 Vertical Agent 遍地开花，但准确性仍是大难题 30:46 通用型 Agent 尚不存在，但 RL 或可迎战 31:17 万物皆可 call API 34:07 一个具体的应用示例：Agent 是怎么帮商家省钱提效的？ 39:08 训练成本和推理成本都低得令人发指... 40:33 先定一个小目标：做各行各业的 API 杀手 42:57 对 25 年硅谷 AI 市场的观察和预判 43:11 垂类 Agent 是绝对的热点赛道，融资并不困难 45:29 25 年是 Agent 真正落地的一年 【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescalero

  --------  

  45:57

Más podcasts de Tecnología

Podcasts a la moda de Tecnología

Acerca de 42章经