梦晨 发自 凹非寺

量子位 | 公众号 QbitAI

神话确认，微软机器学习表面万引大佬，官宣跳槽加入OpenAI。

入职第一天，他便发出如斯感叹：

这个地方的东说念主才密度，几乎是疯了！

话一说出去就获取印证，他口中的东说念主才们都来驳倒区列队海涵了。

他是Sebastien Bubeck，微软前AI副总裁和隆起科学家，在微软责任10年。

2021年，他曾用一篇表面筹备展示扩大AI模子范围的症结性，匡助劝服微软CEO纳德拉在AI基础枢纽上增多数十亿好意思元的投资。

他的事业活命前15年都插足在猜测机表面和机器学习表面，筹备的是凸优化、在线学习和起义正经性这些问题，直到——

微软行为OpenAI联接伙伴，派他参与了未安全对都版GPT-4早期测试，时刻他来了一场戏剧性的转型。

全面转向AGI筹备。

在那时外界还只搏斗过GPT-3.5的布景下，看起来就像“表面学者转型筹备科幻了”，而他本东说念主是这样证明的：

刻下我更关爱大型谈话模子中智能是怎样酿成，怎样愚弄这种领悟普及模子性能，并可能迈向构建AGI。

咱们的时势称作“AGI的物理学”（Physics of AGI）。

之后他便率领微软团队发布一篇154页的GPT-4实践讨教《AGI的火花》，一时引起全业界震撼，成为东说念主们对AI过高期待的症结推手。

自后他承认过那时的实践时势并不算严格，但并不后悔，并坚合手“莫得左证抵赖GPT-4还是具有一定推理才气”。

在转型时刻的一次演讲中，他共享了我方对“Transformer到底有什么脱落之处”的念念考，指出好多东说念主容易忽略的少量：Transformer不是序列模子。

与RNN等模子环节别离在于Transformer一次责罚一个掂量，而不是序列中的单个输入。

掂量是一种广泛的详细眉目，让模子能看到元素之间的联系，从“完全机器”变成相对机器。

此次他加入OpenAI的时机绝顶巧妙，本东说念主强调是在“修复安全AGI的环节时刻加入”。

微软发言东说念主的声明中也提到，“Sebastien已决定离开微软，以进一步修复AGI”。

同期，刻下亦然OpenAI和微软定约渐渐突破的时刻，奥特曼和OpenAI首席财务官近期对职工改悔，微软行动速率不够快，莫得提供富足的劳动器。

两家运行互相视对方为备胎，OpenAI找了甲骨文作念特别的云猜测供应商，微软也运行在旗下居品中接入谷歌和Anthropic模子。

不得不说，很耐东说念主寻味。

一篇论文影响微软对AI的数十亿好意思元插足

Sebastien Bubeck，2010博士毕业于法国里尔第一大学数学专科。

在普林斯顿大学作念三年助理栽种后，于2014年加入微软，从正常筹备员一起作念到VP。

在2023年转型AGI筹备之前，就凭表面筹备成绩上万被引，刻下总被引数来到23475。

2021年他与斯坦福博士生Mark Sellke合著论文《A Universal Law of Robustness via Isoperimetry》，不仅入选NeurIPS2021隆起论文，也对微软和整个这个词东说念主工智能业界产生影响。

这篇论文证明了为什么扩充中教师模子需要的参数比表面提出的要多得多，匡助劝服微软CEO纳德拉和微软筹备院院长Peter Lee等，在AI基础枢纽上增多数十亿好意思元的投资。

随后这些对数据中心和先进GPU的投资为OpenAI提供了教师和部署大模子的复古。

Peter Lee自后默示“这是整个这个词东说念主工智能之旅中绝顶症结的时刻，不仅关于微软，而是关于整个大型科技公司”。

在转型筹备AGI后，他在筹备中证明了我方的新地点：AGI的物理学。

他合计Transformer和当然界相似都是复杂系统，需要用物理的时势去筹备。

物理学的中枢在于将一个系统进行理会，辩认生产生所不雅察到的行动的着实环节成分。

第一步从通过可控的实践，筹备小范围“玩物模子”运行。

随后他就在微软开启了Phi系列小模子筹备，落拓教师数据中惟有教科书级别的高质地数据和合成数据，并发表论文《Textbook is all you need》。

到刻下Phi系列小模子已迭代到phi-3.5版块，在土产货大模子推理用具ollma上，开源模子中受海涵程度排第5。

One More Thing

Bubeck在《AGI的火花》论文中，展示了满血版GPT-4通过代码画独角兽的才气，随教师程度增长赶紧。

他合计改日这是考验大模子本事的一个敬爱的锻练时势，也成了这个meme的代言东说念主。

但简略出乎他意象的是，今天的主流模子不仅能胜任绘制，致使能组团玩你画我猜了。

参考相接：

[1]https://x.com/SebastienBubeck/status/1851762399491375592[2]https://www.youtube.com/watch?v=XLNmgviQHPA&t=643s[3]https://nips.cc/virtual/2021/oral/27814[4]https://www.geekwire.com/2024/ai-dreams-microsoft-50-chapter-1/

— 完 —

量子位 QbitAI · 头条号签约

关爱咱们，第一时刻获知前沿科技动态