效力十年的核心开发者修改社交简介确认离开,将聚焦神经科学启发的人工智能方法,其开发的底层代码曾是训练大模型的关键基础设施。
OpenAI核心工程师Scott Gray通过更新个人社交平台简介的方式确认离开该公司。这位在组织内服务长达十年的技术人员,将其账号描述从“OpenAI的GPU专家”更改为“前OpenAI GPU专家”,并新增目前处于独立状态、致力于探索神经科学启发式人工智能方法的说明。该变动发生在其最后一条原创推文发布于2023年11月20日之后,被业界解读为其离职的确切信号。截至目前,OpenAI官方未发布任何正式声明,Gray本人也未就离职的具体时间、去向或后续安排发表详细言论。
Scott Gray的技术贡献贯穿OpenAI多个里程碑项目,包括GPT-3和DALL·E。他在早期Nervana Systems时期便展现出卓越的底层优化能力,曾绕过NVIDIA官方库直接编写针对Maxwell架构的汇编代码,开发的maxas工具使自定义SGEMM内核性能达到硬件理论峰值的98%,超越官方库约5%。加入OpenAI后,他主导开发了块稀疏GPU内核,通过切割权重矩阵并跳过零值块计算,实现比传统方法快数个数量级的处理速度,该技术成为稀疏注意力机制发展的基础。其编写的名为“the Bob kernel”的高性能注意力模块,每日在数十万张GPU上运行数万亿次,构成了训练大型模型的关键基础设施。
此次离职正值OpenAI十年后的关键节点。2016年8月,Gray与Dario Amodei、Jack Clark等四人同期加入。如今Amodei已出任Anthropic首席执行官,Clark负责该机构的政策工作,而Gray则选择以独立研究者身份开启新阶段。作为大模型训练领域的底层技术权威,他的离开可能对OpenAI后续的基础设施优化效率产生潜在影响,同时也反映出人工智能领域核心人才向独立研究或竞争对手流动的持续性趋势。