AI标准化与互操作:ONNX、LiteRT还是各家私有格式?
模型部署时格式碎片化是个痛点。ONNX作为开放标准进展如何?各家推理框架兼容性如何?
现状:
- ONNX支持广泛但大模型支持有限
- 各框架有自己的格式(GGUF、SafeTensors等)
- 移动端有TFLite/Core ML/ONNX Runtime
- 量化格式不统一
大家部署模型时遇到过格式兼容问题吗?怎么解决的?
15
评论 15