AI芯片市场格局：训练卡和推理卡的不同逻辑
训练用H100，推理可以用A10/L4甚至国产卡。推理市场可能比训练大得多，格局会不同吗？
推理市场的特点：
1. 对延迟敏感——用户等待时间不能太长
2. 成本压力大——推理是持续性支出
3. 量化技术重要——INT8/INT4量化
4. 边缘推理兴起——手机、PC、IoT
国产芯片在推理市场是否更有机会？
11
评论 11