一个目标很明确的验证脚本:单次执行的命令行工具,增量解析分块的字节流,用 Pydantic 做类型校验,再安全地聚合结果,全程不把整个载荷读进内存。理想的数据流是把从网络套接字或文件读到的字节块直接送进 ijson.items,把内存占用压到最低。
开发团队按这个思路写了第一版。生成器产出字节块,交给 ijson 解析,逐条取出 JSON 项,再交给校验器和聚合引擎。按设计,字节块从生成器流向解析器,解析器把增量提取出的字典交给 Pydantic,校验通过的记录进入聚合环节,累加总量与计数。
运行时,这套流程直接崩了。异常信息是 ValueError: not enough values to unpack ( excepted 3, got 2 ) ,抛出位置在 ijson 的 coros2gen 函数里,也就是 ijson/utils.py 第 55 行的 f.send ( value ) 。调用栈从主函数一路走到 process_stream 里的 for item in items,执行就此完全中止。
根因是一次协议层面的错配。ijson 的内部实现,无论是默认的 C 加速后端(例如 yajl2)还是纯 Python 后端,都不把原始的字节可迭代对象当作直接的解析目标。它用带 send ( ) 方法的协程结构管理流控制,并依赖特定的元组结构(期望解包出 3 个元素)来衔接内部的事件驱动解析器与 Python 生成器。
把一个产出字节块的标准生成器直接作为第一个参数传给 ijson.items ( ) ,满足不了它内部期望的类文件对象接口——那种维护内部状态、暴露 read ( n ) 方法的对象。于是 coros2gen 协程桥接里的解包逻辑抛出 ValueError。文档里 "ijson.items 可以接受字节可迭代对象 " 的解读,与实际实现之间存在落差。
为了绕开这个错误,团队评估并测试了两条补救路径。
方案 A:用 io.BytesIO 全量缓冲。把生成器产出的所有字节块一次性拼接进内存,再作为类文件对象传入。错误完全消失,聚合结果也准确。但这是反模式,直接违背项目核心目标——防止巨大 JSON 响应在内存中膨胀导致 OOM 崩溃,因此必须否决。
方案 B:实现自定义类文件读取器。继承 io.RawIOBase 构建适配器类 StreamIteratorReader,从生成器增量拉取字节块,并对外暴露 read ( size ) 。这个类维护一个 bytearray 缓冲区,实现 readable ( ) 返回 True,read ( ) 在 size 为 0 时返回空字节,其余情况从生成器持续取块填充缓冲区。
两条路径的分野很清楚:一条用内存换省事,一条用适配层换内存。前者能让脚本跑通,却让整个验证失去意义;后者要写的代码更多,但保住了流式处理的初衷。对任何要在有限内存里处理大 JSON 的场景,这个选择没有中间地带。

