NVIDIA 发布 Nemotron-Mini 开源模型

Nemotron-Mini

NVIDIA 发布 Nemotron-Mini 系列开源大语言模型，专为边缘设备与实时应用场景设计，兼顾性能与效率。这是 NVIDIA 在开源大模型领域的重要布局。

模型规格

关键特性

边缘优化 - 专为边缘设备优化设计 - 低延迟与低功耗 - 支持本地推理

高性能 - 在边缘设备上实现高性能推理 - 优化的计算效率 - 减少内存占用

多模态支持 - 支持文本与图像 - 轻量化多模态处理 - 适合实时应用

开源协议 - 完全开源，免费使用 - 支持商业应用 - 鼓励社区贡献

部署方案

嵌入式设备 - 支持 NVIDIA Jetson 系列 - 手机与平板设备 - IoT 设备

边缘服务器 - 边缘计算节点 - 本地服务器部署 - 隐私保护与数据安全

云边协同 - 支持云边协同架构 - 灵活的部署策略 - 自适应计算资源

应用场景

智能终端 - 智能手机 AI 助手 - 智能音箱与智能家居 - 车载智能系统

工业应用 - 工业检测与监控 - 智能机器人 - 自动化生产线

医疗健康 - 便携式医疗设备 - 辅助诊断系统 - 健康监测设备

零售与服务 - 智能客服终端 - 自助服务设备 - 个性化推荐

性能对比

在 NVIDIA Jetson AGX Orin 上的性能表现： - Nemotron-Mini-3B：约 50 tokens/秒 - Nemotron-Mini-7B：约 30 tokens/秒 - Nemotron-Mini-13B：约 15 tokens/秒

NVIDIA 表示，Nemotron-Mini 的发布旨在推动 AI 技术向边缘设备普及，让更多用户能够在本地享受 AI 能力。随着边缘 AI 的发展，预计将涌现出更多创新应用。