3.4B参数OCR模型发布：低成本GPU上实现2.57页/秒

我们正式发布 Jina-OCR-v1，一个总参数 3.4B、解码时每 Token 仅激活 570M 的紧凑型端到端文档解析模型。在 OmniDocBench v1.6（91.14）与 olmOCR-Bench（83.4）两大基准上，它均刷新同级别最佳成绩；在 14 款主流端到端系统吞吐实测中，以 2.57 页/秒领跑。在单张 NVIDIA L4 上，通过专门设计的推测解码草稿头，生成速度几乎翻倍，且输出序列与标准自回归解码严格一致，完全无损。

模型延续 DeepSeek-OCR 的紧凑视觉编码与 MoE 解码路线，重点做两处改动：FastMTP 用单个共享 dense block 递归前向 K=3 步生成候选 token，草稿参数量与前瞻深度解耦，不再随 lookahead 增长；Dense Verifiable Rewards（GRPO）中每项奖励由确定性代码对照参考真值计算，并按部分正确程度分级给分，而非简单 0/1 判定。仅靠后训练改进，模型在 olmOCR-Bench 上就涨了 7.4 分，OmniDocBench 各细分维度也全面提升。

DeepEncoder 将 1024×1024 画面从 4,096 个 Patch 压缩至 256 个 Token，平均单 Token 承载 3,887 像素；主流编码器单 Token 仅覆盖 783~1,022 像素。前置压缩比越高，多模态 Prefill 阶段计算与自回归期间视觉上下文占用的 KV Cache 就越低。在单张 A100、并发 32 下，Surya OCR 2 每秒输出 3,760 token，但单页需 3,568 token，实际吞吐仅 1.05 页/秒；jina-ocr-v1 输出 1,085 tokens/页，配合 2,792 tokens/s 生成速度，端到端吞吐达 2.57 页/秒。

文档解析生产中最烧钱的环节是长序列逐 token 生成。DeepSeek-OCR 已用高压缩视觉编码器配紧凑 MoE 解码器砍掉前置开销，jina-ocr-v1 继承该底座，将优化重点对准自回归生成瓶颈。架构上，单页先生成 1024x1024 全局视图（压缩为 256 个视觉 token），再切出 n 个局部 tile（每个 tile 100 个 token）。FastMTP 头通过单个共享稠密块递归前向，一次提出 K=3 个候选 token 交主解码器验证。文档 OCR 排版局部结构高度确定，天生适合推测解码。传统多 token 预测每多看一步就要多挂一个独立 draft head，前瞻越远参数越膨胀；FastMTP 只用一个共享 dense block，靠 hidden state 反馈递归执行 K=3 步前向预测，参数量与 lookahead 解耦，因此推测解码产出与主模型直接自回归贪心生成完全一样，只提速不降质。

输出格式统一为 Markdown，表格用 HTML 结构，公式用 LaTeX 语法。预训练语料混合主流公开 OCR 数据集（olmOCR-mix、FinePDFs、LightOnOCR、MMTab、UniMER 等），并补充 Europeana 历史报纸、美国国会图书馆缩微文献和 NARA 档案等高难度真实排版源。清洗时先用规则过滤死循环与重复退化内容，再用高精度视觉大模型做单次前向重打标。引入合成数据 JinaOCRSynth 是因为真实文档复杂公式和深层表格分布太稀疏，RL 阶段自然页面 rollout 绝大多数样本碰不到几个结构奖励项，梯度停滞；JinaOCRSynth 在合成页面中高密度塞入结构化表格和公式，并自带单元测试断言，提供充足信号。

后训练由 SFT、长尾劣化页面鲁棒性微调及 GRPO 强化学习交替迭代。GRPO 奖励函数由多个确定性可验证项相乘得出，任何一项零分则整页梯度清零；对文本、公式、表格等检查项设置底线分，允许局部扰动；唯独重复惩罚不设下限，防止自回归模型靠死循环复读投机刷高局部文本重合度。每轮迭代产生候选检查点，用自动化 agent 在固定评测预算下搜索最佳 checkpoint merge 配比，优胜模型错误案例驱动下一轮数据采集。FastMTP 草稿头放在训练循环最后，在最终定型验证器上拟合。

olmOCR-Bench 上，jina-ocr-v1 得 83.4 分，比基座 DeepSeek-OCR 高 7.4 分，也超过 8B 规模的 olmOCR-2。该基准 Hdr/Ftr 列偏向剔除边角杂质，越主动省略页眉页脚得分越高，整页转录系统反而扣分。OmniDocBench v1.6 中，jina-ocr-v1 以 570M 激活参数得 91.14 分，全面领先 DeepSeek-OCR-2，也超过参数大得多的 Qwen3-VL-235B。

L4 推测解码实测环境为 olmOCR-Bench、单卡 NVIDIA L4、vLLM 0.20.1、并发 batch size=1。τ 为单次推测平均接受 token 数（含验证带出的 bonus token