乌克兰开发者Slava S利用分层嵌入技术与4-bit量化方案，在仅512KB SRAM与16MB闪存的低成本硬件上突破百万级参数运行极限，探索离线场景应用。
乌克兰独立开发者Slava S于2026年7月发布开源项目ESP32-AI，成功在乐鑫ESP32-S3微控制器上本地部署参数量达2890万的语言模型。该硬件方案售价约8美元，此前同类芯片仅能支持数十万参数规模的模型运行。此次突破标志着物联网设备在极低内存资源下执行复杂推理任务的能力获得实质性提升。
项目针对ESP32-S3的硬件特性进行了深度优化，该芯片配备512KB SRAM、8MB PSRAM及16MB闪存。为解决大模型参数载入导致的内存溢出问题，开发者采用Google Gemma架构的分层嵌入技术，并对模型实施4-bit量化处理，将文件压缩至14.9MB。在存储分配策略上，约2500万参数的嵌入表被置于读取速度较慢但容量更大的16MB闪存中，而高速512KB SRAM则专用于核心推理权重的运算。这种设计使得模型在生成每个Token时仅需从闪存调取少量数据，有效规避了带宽瓶颈与系统拥堵，从而在维持硬件稳定性的前提下实现了千万级参数的运行。
尽管模型已突破参数规模限制，但受限于芯片算力与内存带宽，当前版本尚不支持实时对话或代码生成等复杂交互任务。开发者规划的应用场景聚焦于离线环境下的特定功能，例如通过本地数据分析辅助咖啡机根据豆种、研磨度及水温推荐最佳调配方案。此前该开发板的AI模型部署上限由Dave Bennett记录为26万参数，此次项目将这一数值提升了两个数量级，为低成本物联网终端引入边缘智能提供了新的技术路径，引发了行业对微型设备智能化潜力的重新评估。