该模型由德国人工智能协会协调，基于Mamba-2与注意力混合架构，在4万token长文本场景下吞吐量达传统稠密模型的8倍，训练依托512块Nvidia B200 GPU且在可再生能源驱动下完成。
由德国人工智能协会协调的研究联盟正式推出名为Soofi S30B-A3B的开源大语言模型。该模型总参数量为316亿，采用混合专家架构，结合Mamba-2层与标准注意力机制，使得每个token生成时仅激活约32亿参数。这一设计在降低计算成本的同时，显著提升了高负载场景下的处理效率，特别是在长文本处理方面表现出明显优势。在4万token的上下文长度下，其生成吞吐量达到同规模传统稠密模型的8倍左右，且随上下文增加保持稳定。模型训练累计使用27万亿token数据，德语数据占比从第一阶段的7.2%提升至第二阶段的15.3%，语料涵盖报纸文章、维基百科条目及专业技术文档。基准测试显示，Soofi S在代码生成、专业推理及德国区域知识任务中表现优于OLMo332B和Apertus70B等同类开源模型。尽管在超长上下文信息提取及德语数学推理方面仍有优化空间，但其在多语言技术文档处理与工业应用探索上已展现潜力。
该模型的训练依托慕尼黑德国电信工业人工智能云完成，使用了512块Nvidia B200 GPU集群，并作为欧洲IPCEI-CIS项目的一部分，全程采用可再生能源供电。研究团队承诺将开源模型权重、训练评估代码及详细数据清单，以推动开放透明的研发理念，为欧洲工业界提供可验证的技术框架。目前团队正与多家企业开展合作，重点探索技术文档自动化处理与多语言代码生成等应用场景。
此发布被视为欧洲在构建主权AI基础设施方面的重要进展，旨在减少对非本土技术的依赖，同时通过开源模式促进区域生态建设。相较于全球范围内其他百亿级参数模型，Soofi S在德语优化与长文本效率上的平衡为特定语言环境下的应用提供了新路径，也为后续工业级部署奠定了技术基础。