谷歌EG2实测：740M参数统一多模态检索

传统多模态检索通常需要维护多套embedding模型，文本、图片、音频各用一套链路，再合并排序。Google最近开源的EmbeddingGemma 2（EG2）提供了更便捷的方案：740M参数，可将文本、图片、视频和音频编码到同一向量空间。相比ImageBind等统一多模态模型，EG2的特点在于模型规模和资源配置：完整模型仅740M参数，编码器可按模态加载，默认768维向量可裁剪到256维甚至128维。

EG2采用Apache 2.0协议，可单独或交错编码多种模态，生成统一embedding。在Milvus中，各类数据可共用一个collection和FLOAT_VECTOR字段，通过modality字段区分类型。其视觉和音频编码器可按需加载，线上文字查询服务可只加载270M文本部分，参数减少约63.5%。EG2支持MRL，可用768、512、256或128维向量。官方模型卡显示，256维综合得分与768维接近，128维多模态指标下降明显。本轮实验重点比较768维和256维。

实验选取Nomic、qwen3.7-text-embedding-flash和Qwen3-VL-Embedding作为对照。前两者为文本模型，不能直接接收图片或音频；Qwen3-VL-Embedding可处理文本和图片，但不接收音频，其2B版本规模约为EG2的2.7倍。测试使用Flickr8k和ESC-50部分数据，环境为Milvus 2.6.23、FLAT索引和COSINE距离，图文任务用Recall@K，音频任务用Hit@K。

接入演示中，使用本地Ollama调用embeddinggemma-2:740m，通过PyMilvus连接Milvus。文本、图片和音频放入同一collection，每条数据保存模态、素材标识和向量。搜索时可加模态过滤，也可去掉过滤让多模态共同参与排序。向量裁剪方面，可直接截取768维前256维并做L2归一化，无需重新编码原始素材。

评测结果显示：文本检索中，EG2高于Nomic和qwen3.7-text-embedding-flash，略低于Qwen-VL，说明其在覆盖视觉和音频能力的同时保持了良好的短文本语义匹配效果。图文检索中，EG2略低于Qwen-VL但差距不大，而参数量仅为后者的约37%。音频部分仅测试EG2，因对照模型接口不接收音频。音频链路可跑通，但排序不稳定，例如中文查询“狗叫”时猫叫音频排第一，换成英文后狗叫才回到第一。