ContextGem icon

ContextGem

ContextGem 是免费的开源 Python 框架,借助 LLM 和决策模型从文档文本与图像中提取结构化数据和洞见,支持可复用流程、类型化输出、来源引用及可选说明。

ContextGem

借助 LLM 和决策模型进行文档提取

ContextGem 是免费的开源 Python 框架,借助大型语言模型和决策模型从文档中提取结构化数据和洞见。它将提示词生成、数据模型验证、来源映射、说明和多步骤编排封装为声明式流程,可重复使用并进行序列化。

用户可以描述希望从文档文本或图像中提取的方面和概念。LLM 可以生成类型化答案和面向推理的值,而决策模型则处理受支持的封闭式问题,例如是/否、标签和评级,并返回可能答案的概率。提取的项目可以链接回源段落或句子,帮助读者查看结果的来源。

主要功能

声明式提取

在代码中描述方面和概念;框架会生成提取提示词,无需用户手动编写。

类型化输出

以类型化且经过验证的项目返回文本、数字、日期、布尔值、标签、评级和 JSON 对象。

来源引用与说明

将提取项目映射到支持它们的段落或句子,并可选择为结果提供说明。

嵌套文档上下文

围绕方面、子方面和概念组织提取,使模型处理能够聚焦于文档的相关部分。

模型路由

将每个方面或概念路由到合适的 LLM 或决策模型,并可通过模型组使用模型回退。

基于概率的决策

对支持的封闭式问题使用决策模型,并接收可能答案的概率,同时支持配置决策阈值。

使用场景

  • 合同分析

    定义付款条款、费用、异常、实体或其他合同概念,并返回相关段落,同时可选择提供用于审查的说明。

  • 大规模文档分类

    使用布尔值、标签或评级等封闭式问题处理重复的文档批次,适用于快速且成本较低的决策模型答案足以满足需求的场景。

  • 结构化数据流程

    从业务文档中提取日期、数字、标签和 JSON 对象等结构化字段,用于下游 Python 工作流。

  • 可审计的文档审查

    通过追踪每个提取项目在报告或协议中出现的段落或句子,调查文档中的发现。

  • 混合模型提取

    在一个流程中组合不同类型的模型:对开放式或推理要求较高的问题使用 LLM,对适合的封闭式问题使用决策模型。

Pros and Cons

Pros

  • 声明式描述减少了手动编写和维护提取提示词的需求。
  • 类型化验证和来源引用让提取结果更易于检查,并便于在下游流程中使用。
  • 同时支持面向推理的 LLM 提取和基于概率的决策模型流程。
  • 可以使用云端或本地模型提供商,但需遵循提供商配置和受支持的接口。

Cons

  • 该框架依赖于兼容的云端或本地模型配置,模型质量可能会影响提取结果。
  • 项目建议在样本文档上测试较小的本地 LLM,因为它们可能无法始终遵循详细的提取指令。
  • 当前软件包元数据要求 Python 3.11 或更高版本;不再支持 Python 3.10。

FAQ

如何开始使用 ContextGem?

使用 `uv add contextgem` 或 `pip install -U contextgem` 安装软件包。若要通过 Docling 转换 PDF、DOCX 和其他文件,项目文档提供了 `uv add "contextgem[docling]"`。然后创建一个 `Document`,描述要提取的方面或概念,配置模型,并调用提取流程。

提取流程是如何工作的?

你只需描述要提取的信息,而不是直接编写提示词。ContextGem 会生成提示词,将结果验证为类型化项目,并可附加指向源段落或句子的引用。示例流程使用 `DocumentLLM.extract_all(doc)` 执行提取。

什么时候应该使用 LLM,什么时候应该使用决策模型?

LLM 可以提取开放式值以及需要推理的答案,包括从文本和图像中提取方面与概念类型。决策模型适用于文本中的布尔值、标签和评级等封闭式问题;它们会返回可能答案的概率,而不是生成文本。

ContextGem 可以使用哪些模型提供商?

该项目通过 LiteLLM 支持云端或本地 LLM,示例包括 OpenAI、Anthropic、Google、Azure OpenAI、xAI、Ollama 和 LM Studio。项目还记录了对决策模型的支持,包括 TypeSafe Jev、OpenAI Decisions API 和 Microsoft Foundry。具体可用性和配置取决于所选提供商。

用户应注意哪些运行环境和模型限制?

当前项目元数据要求 Python 3.11 或更高版本且低于 3.15。仓库在 1.0 迁移指南中指出,不再支持 Python 3.10。本地较小的 LLM 可能无法可靠地遵循详细的提取指令,因此文档建议先在部分样本文档上进行测试。

Quick Facts

类别
开发者工具;文档智能
许可证
Apache-2.0
语言
Python
支持的运行环境
Python 3.11 至低于 3.15
输入类型
文档文本,以及用于 LLM 提取的图像
分发方式
GitHub 上的开源软件包