大模型训练成本暴增，Scaling Law还能走多远？
GPT-4训练成本约1亿美元，下一代可能需要10亿甚至更多。Scaling Law（缩放定律）是否会遇到收益递减？
讨论点：
- 数据墙：高质量训练数据是否即将耗尽？
- 能耗：训练大模型的电力消耗是否可持续？
- 算法创新：能否用更少的算力实现更强的能力？
- 合成数据：用AI生成的数据训练AI是否可行？
10 条评论
评论 10