AI安全背后的哲学思想，有效利他主义如何影响硅谷？（上篇）

在近期提交的招股书中，Anthropic披露了近100页风险因素，除常见金融和市场风险外，还包括前沿AI可能带来灾难性甚至威胁人类生存的风险，并承认无法保证自身安全措施一定有效。招股书还显示，上市后七位联合创始人将通过特殊股份掌握一般表决事项50.1%的投票权；“长期利益信托”有权选举董事会多数成员，目标是让公司在追求商业利益时兼顾人类长远利益。但创始人可提前指定失去履职能力后的投票权接替人，人选需内部批准且名单保密，公众目前不知未来谁可能参与Anthropic决策。

这再次凸显AI安全对Anthropic的重要性。但若其警告成真，公众是否有权知道谁代表人类做决定？理解Anthropic对安全的重视及围绕它的信任与权力争议，需提到“有效利他主义”（EA）。本月《经济学人》将EA放上封面，称其为“本世纪最重要的思想”。有报道称，围绕AI安全政策，EA支持者与科技右翼发生冲突，特朗普政府也加入争论，美国国防部在社交媒体喊出“美国主义，而非有效利他主义”。

本期《硅谷101》邀请与EA圈关系密切的以太坊创始人Vitalik Buterin及科技记者Afra。Afra介绍，EA发展大致分四阶段：第一阶段是“蚊帐时期”，用可量化证据提升慈善效率；第二阶段约2015年起转向“长远规划”，不成比例地研究存在风险和未来世代问题，大量资金进入社区，SBF是极端象征；第三阶段社群声誉崩盘、信任危机出现，ChatGPT诞生使AI风险从小圈子议题变成更多人关心的问题，EA也获得更大曝光；第四阶段是AI安全时代，EA成员进入前沿实验室，大量资金资助AI安全，使EA圈与政策圈、国家安全圈和华盛顿交汇。

针对Anthropic与安全审计机构、EA关系的质疑，Afra认为所谓“独立评估”与商业利益绑定的说法是阴谋论。她表示，EA的议程就是不让AI变得不可控、造成人类无法承受的后果，没有隐藏议程。但她认为最大问题是：当一个思想运动拥有大量资金后，它是在发现最重要的问题，还是也开始参与决定什么问题被认为重要。她提到，华盛顿传统智库难招合格AI政策分析员，因为年轻人才流入EA赞助的智库和组织；不少年轻人因资源、职位和社群影响被“safety-pilled”。她还介绍，伯克利已形成AI安全机构聚集的生态，Lighthaven由六到七栋独栋房子组成，被视为AI安全、EA和理性主义的大本营。