AI科研平台如何破解4亿文献跨学科检索难题

同样的问题在不同学科中表达各异。例如流体在多孔介质中的输运规律，石油工程称“渗流力学”，水文地质学称“地下水动力学”，化学工程归为“固定床流体力学”，生物医学工程则关注“孔隙内流体剪切应力分布”。如何找到因关键词差异而被遗漏的论文，是科研人员寻找文献时的常见困扰，也是AI科研平台Consensus提升研究质量的重要环节。

在Consensus的产品设计中，答案不能直接来自模型自身知识，每项论断都必须追溯到实际检索到的论文。为此，Consensus在覆盖4亿多条学术资源的检索体系中引入Zilliz Cloud，提供按语义查找文献的能力。基于该能力，Consensus已服务12,500多所高校的1,000多万名研究人员、学生和临床医生，累计处理超1.5亿个科研问题。

此前，Consensus采用稀疏检索和BM25关键词检索，但科研提问的表达未必与论文术语一致，跨学科问题尤其容易被遗漏。随着文献综述功能转向Agent架构，一个研究问题不再只对应一次搜索，Agent需拆解问题、多角度查找论文并补充证据，每次检索都要准且快。为此，Consensus升级为稀疏检索、BM25关键词检索和稠密向量语义检索并行的三路混合检索架构。查询时，智能体先制定策略，调用不同检索能力，再融合与rerank形成统一证据集，交由模型生成答案，每项结论对应具体文献。该流程支撑了文献综述Agent和Consensus Meter能力。

升级中，Consensus曾尝试Elasticsearch，但遇到三个问题：向量达数亿时检索质量下降，需二进制量化压缩，降低排名质量；全量重建耗时超一天，新研究上架慢，评估embedding模型也需约一天；向量维度从256升至1024后成本增4倍。为此，Consensus对比了Elasticsearch、FAISS自运维、Pinecone和Zilliz Cloud，最终选择Zilliz Cloud。

Zilliz Cloud优势明显。其一，冷热双集合加每日全量重建，耗时从逾一天缩短至约一小时。Consensus在Zilliz Cloud存两份超4亿条向量副本，一份在线查询，一份离线待命，每天从零重建离线副本后切换上线。在线集合无写入操作，无需处理数据积压和一致性；文献库每日最新；试新模型和策略无需等待。技术负责人希思·霍瓦尔德表示，重建速度快到可从零重新导入整份集合，每天都能全量重建，极大放开了实验空间。

其二，上亿条1024维向量无需压缩也能控制成本。加入语义检索后，搜索精度提升14%。过去用256维向量，升维至1024维成本和延迟会线性上涨，实测Zilliz Cloud后，维度翻四倍，集群规模仅扩大约2.5倍，延迟几乎不涨。内部基准测试显示，1024维比256维检索到的文献质量提升27%。

其三，托管式服务开发者体验更优。Agent常需多次调用检索，要求每次都快且准。Consensus曾基于FAISS完成原型，但生产环境需自行运维。Zilliz Cloud作为托管服务，SDK文档清晰，控制台易用，在4亿多条向量规模下，语义检索P99延迟仅45毫秒，能帮智能体挖到单次查询找不到的小众文献。

后续，Consensus将持续加深对Zilliz Cloud的依赖，方向包括：业务场景扩容，语义检索接入更多智能体场景，Zilliz Cloud一小时全量重建能力支撑新embedding模型每日迭代；功能架构下沉，将元数据过滤从应用层下沉至Zilliz Cloud执行，减少链路损耗；全文索引升级，当前仅索引标题和摘要，已通过出版商合作拿到全文授权，下一步将论文正文纳入稠密集合建索引，实现更细粒度匹配。