模型部署时格式碎片化是个痛点。ONNX作为开放标准进展如何？各家推理框架兼容性如何？ 现状： - ONNX支持广泛但大模型支持有限 - 各框架有自己的格式（GGUF、SafeTensors等） - 移动端有TFLite/Core ML/ONNX Runtime - 量化格式不统一 大家部署模型时遇到过格式兼容问题吗？怎么解决的？...
大模型太贵太慢，部署时需要压缩。量化（INT4/INT8）、剪枝、知识蒸馏各有优劣。大家实际用哪种？ 我的经验： - 量化：最实用，GGUF Q4_K_M效果好 - 蒸馏：用大模型教小模型，但需要大量数据 - 剪枝：理论好但实现复杂，效果不稳定 - LoRA：不算压缩但降低了微调成本 各位在部署时怎么平衡效果和成本？...
GPT-4o能实时语音对话，Gemini能理解视频。多模态的下一步会是什么？ 我猜想的突破方向： 1. 实时视频理解——不只是看截图，而是理解连续视频流 2. 触觉和力反馈——机器人需要 3. 跨模态生成——文本到3D、文本到视频的质量飞跃 4. 多模态推理——不只是看图说话，而是基于图像进行逻辑推理 大家觉得哪个方向最先突破？...
GPT-4训练成本约1亿美元，下一代可能需要10亿甚至更多。Scaling Law（缩放定律）是否会遇到收益递减？ 讨论点： - 数据墙：高质量训练数据是否即将耗尽？ - 能耗：训练大模型的电力消耗是否可持续？ - 算法创新：能否用更少的算力实现更强的能力？ - 合成数据：用AI生成的数据训练AI是否可行？...
扫码关注公众号「60秒看懂AI」
微信搜索「60秒看懂AI」也可关注
