快科技 7 月 28 日消息，乌克兰独立开发者 Slava S 近日发布开源项目 "ESP32-AI"，在售价仅约 8 美元（约 54 元人民币）的 ESP32-S3 微控制器上，本地运行了参数规模达 2890 万的语言模型，打破了同级别芯片此前仅能运行数十万参数模型的纪录。

ESP32-S3 是物联网领域常见的高性价比微控制器，硬件资源极为有限，仅配备 512KB SRAM、8MB PSRAM 和 16MB 闪存。

大型语言模型推理时需要将所有参数载入高速内存完成矩阵运算，此前在该类芯片上的模型纪录约为 26 万参数，强行载入千万级模型，内存会瞬间耗尽。

为突破硬件瓶颈，Slava 参考 Google Gemma 的 " 逐层嵌入 " 架构，对 2890 万参数的语言模型进行 4-bit 量化处理，文件大小压缩至 14.9MB，并采用分层内存配置。

占用空间最大的嵌入表（约 2500 万参数）存放在读取速度较慢但容量更大的 16MB 闪存中，高速的 512KB SRAM 完全留给核心推理权重运算。

该模型在生成每个 Token 时只需从闪存调取少数几行数据，不会造成系统性能拥堵，由此达成了结构运算的最优化。

目前该项目仍属于概念验证阶段，只能生成简单短篇虚构故事，不具备通用问答、写代码或执行复杂指令的能力。

但开发者举例指出，微型 AI 未来可应用于特定领域的智能家电，比如一台无需联网却能精确掌握各类咖啡豆特性、研磨度和最佳冲煮水温的独立智能咖啡机。

【本文结束】如需转载请务必注明出处：快科技

责任编辑：黑白