ContextGem icon

ContextGem

ContextGemは、LLMと判定モデルで文書や画像から構造化データと洞察を抽出する無料・オープンソースのPythonフレームワーク。型付き出力、出典参照、任意の根拠説明を備え、再利用可能な抽出パイプラインを開発できます。

ContextGem

LLM と判定モデルによる文書抽出

ContextGem は、大規模言語モデルと判定モデルを使用して、文書から構造化データと洞察を抽出する無料・オープンソースの Python フレームワークです。プロンプト生成、データモデル検証、出典マッピング、根拠説明、複数ステップのオーケストレーションを、再利用およびシリアライズ可能な宣言的パイプラインにまとめています。

ユーザーは、文書テキストや画像から抽出したいアスペクトと概念を記述します。LLM は型付きの回答や推論指向の値を生成でき、判定モデルは、はい/いいえ、ラベル、評価など、対応するクローズドな質問を処理し、考えられる回答の確率を返します。抽出項目は元の段落や文に紐付けられるため、結果がどこから得られたのかを確認できます。

主な機能

宣言的な抽出

コード内でアスペクトと概念を記述すると、ユーザーが手動でプロンプトを作成しなくても、フレームワークが抽出プロンプトを生成します。

型付き出力

テキスト、数値、日付、真偽値、ラベル、評価、JSON オブジェクトを、型付きで検証済みの項目として返します。

出典参照と根拠説明

抽出項目を、それを裏付ける段落や文に対応付け、結果に対する任意の根拠説明を付加できます。

階層化された文書コンテキスト

アスペクト、サブアスペクト、概念を中心に抽出を構成し、モデル処理を文書内の関連部分に集中させます。

モデルルーティング

各アスペクトまたは概念を適切な LLM または判定モデルに振り分けます。モデルグループを通じたモデルのフォールバックも利用できます。

確率に基づく判定

対応するクローズドな質問に判定モデルを使用し、設定可能な判定しきい値とともに、考えられる回答の確率を受け取ります。

ユースケース

  • 契約分析

    支払条件、手数料、異常、エンティティ、その他の契約上の概念を定義し、レビュー用に関連箇所を任意の根拠説明付きで返します。

  • 大規模な文書分類

    高速かつ低コストな判定モデルの回答で十分な場合に、Boolean、ラベル、評価などのクローズドな質問を使って、繰り返し発生する文書バッチを処理します。

  • 構造化データパイプライン

    業務文書から日付、数値、ラベル、JSON オブジェクトなどの構造化フィールドを抽出し、後続の Python ワークフローで利用します。

  • 監査可能な文書レビュー

    抽出項目を、それが記載されている段落または文までたどることで、レポートや契約書の調査結果を検証します。

  • 混合モデルによる抽出

    1 つのパイプラインでモデルの種類を組み合わせます。自由回答型または推論の比重が大きい質問には LLM を使用し、適切なクローズドな質問には判定モデルを使用します。

Pros and Cons

Pros

  • 宣言的な記述により、抽出プロンプトを手動で作成・保守する必要性を減らせます。
  • 型付き検証と出典参照により、抽出結果を確認しやすくなり、後続のワークフローでも利用しやすくなります。
  • 推論指向の LLM 抽出と、確率に基づく判定モデルのワークフローの両方に対応しています。
  • プロバイダーの設定と対応インターフェースの範囲内で、クラウドまたはローカルのモデルプロバイダーを利用できます。

Cons

  • 互換性のあるクラウドまたはローカルモデルの設定が必要であり、モデルの品質が抽出結果に影響する場合があります。
  • プロジェクトでは、小規模なローカル LLM は詳細な抽出指示に常に従えるとは限らないため、サンプル文書でテストすることを推奨しています。
  • 現在のパッケージメタデータでは Python 3.11 以降が必要であり、Python 3.10 はサポート対象外です。

FAQ

ContextGem を使い始めるにはどうすればよいですか?

`uv add contextgem` または `pip install -U contextgem` でパッケージをインストールします。Docling を通じて PDF、DOCX、その他のファイルを変換する場合、プロジェクトでは `uv add "contextgem[docling]"` が案内されています。その後、`Document` を作成し、抽出するアスペクトまたは概念を記述してモデルを設定し、抽出ワークフローを呼び出します。

抽出ワークフローはどのように機能しますか?

プロンプトを直接記述する代わりに、抽出する情報を記述します。ContextGem はプロンプトを生成し、結果を型付き項目として検証し、元の段落や文への参照を付加できます。サンプルのワークフローでは、`DocumentLLM.extract_all(doc)` を使って抽出を実行します。

LLM と判定モデルはいつ使い分けるべきですか?

LLM は、テキストや画像からアスペクトや概念の種類を抽出する場合を含め、推論を必要とするオープンな値や回答を抽出できます。判定モデルは、テキストから Boolean、ラベル、評価などのクローズドな質問に対応することを目的としており、生成テキストではなく、考えられる回答の確率を返します。

ContextGem はどのモデルプロバイダーを利用できますか?

LiteLLM を通じてクラウドまたはローカルの LLM を利用でき、OpenAI、Anthropic、Google、Azure OpenAI、xAI、Ollama、LM Studio などが例として挙げられています。また、TypeSafe Jev、OpenAI Decisions API、Microsoft Foundry などの判定モデルにも対応しています。利用可能性と設定の詳細は、選択したプロバイダーによって異なります。

ユーザーが確認すべき実行環境とモデルの制限は何ですか?

現在のプロジェクトメタデータでは、Python 3.11 以上かつ 3.15 未満が必要です。リポジトリの 1.0 移行ガイダンスでは、Python 3.10 はサポート対象外になったと記載されています。小規模なローカル LLM は詳細な抽出指示に確実に従えない場合があるため、ドキュメントではサンプル文書でテストすることを推奨しています。

Quick Facts

カテゴリー
開発者向けツール;文書インテリジェンス
ライセンス
Apache-2.0
言語
Python
対応ランタイム
Python 3.11 以上、3.15 未満
入力タイプ
文書テキスト、および LLM 抽出の場合は画像
配布形態
GitHub 上のオープンソースパッケージ

ContextGemの代替品

nolainocr icon

nolainocr

nolainocrは、PDFの請求書・領収書・フォーム・契約書・銀行取引明細から構造化データを抽出するAI OCRツール。Excel、Google Sheets、JSON、CSVへ手入力なしで出力できます。

Clairic icon

Clairic

Clairicは、非構造化テキストと任意の画像から型付き値、計算フィールド、推定値、予測を抽出するCloudflareのSystem Oneモデルです。Workers AIで提供され、構造化データやAIワークフローを構築する開発者向けです。

司马阅 icon

司马阅

司马阅は、企業向けAI文書エージェントプラットフォーム。文書内の知識を、問答・検索・作成・審査に使える構造化能力へ変換し、精度とデータ安全性を重視する企業に最適です。

Capso icon

Capso

Capsoは、macOS向けのネイティブなスクリーンショット・画面録画アプリ。キャプチャ、注釈、録画、OCRまで1つでこなす無料・オープンソースのCleanShot X代替です。

Extend icon

Extend

Extendは、PDFなどの文書を構造化データに変換する文書処理プラットフォームです。API、Studio、Evals、Composer、Workflowsで解析、抽出、分割、分類、ルーティングを支援します。

Invited icon

Invited

Invitedは請求書、領収書、招待状、更新案内などの日付をリマインダーに変換。iPhone・Androidの画像、スクリーンショット、PDF、共有ファイルに対応し、保存前の確認とアカウント不要で安心です。