宣言的な抽出
コード内でアスペクトと概念を記述すると、ユーザーが手動でプロンプトを作成しなくても、フレームワークが抽出プロンプトを生成します。
ContextGemは、LLMと判定モデルで文書や画像から構造化データと洞察を抽出する無料・オープンソースのPythonフレームワーク。型付き出力、出典参照、任意の根拠説明を備え、再利用可能な抽出パイプラインを開発できます。
ContextGem は、大規模言語モデルと判定モデルを使用して、文書から構造化データと洞察を抽出する無料・オープンソースの Python フレームワークです。プロンプト生成、データモデル検証、出典マッピング、根拠説明、複数ステップのオーケストレーションを、再利用およびシリアライズ可能な宣言的パイプラインにまとめています。
ユーザーは、文書テキストや画像から抽出したいアスペクトと概念を記述します。LLM は型付きの回答や推論指向の値を生成でき、判定モデルは、はい/いいえ、ラベル、評価など、対応するクローズドな質問を処理し、考えられる回答の確率を返します。抽出項目は元の段落や文に紐付けられるため、結果がどこから得られたのかを確認できます。
コード内でアスペクトと概念を記述すると、ユーザーが手動でプロンプトを作成しなくても、フレームワークが抽出プロンプトを生成します。
テキスト、数値、日付、真偽値、ラベル、評価、JSON オブジェクトを、型付きで検証済みの項目として返します。
抽出項目を、それを裏付ける段落や文に対応付け、結果に対する任意の根拠説明を付加できます。
アスペクト、サブアスペクト、概念を中心に抽出を構成し、モデル処理を文書内の関連部分に集中させます。
各アスペクトまたは概念を適切な LLM または判定モデルに振り分けます。モデルグループを通じたモデルのフォールバックも利用できます。
対応するクローズドな質問に判定モデルを使用し、設定可能な判定しきい値とともに、考えられる回答の確率を受け取ります。
支払条件、手数料、異常、エンティティ、その他の契約上の概念を定義し、レビュー用に関連箇所を任意の根拠説明付きで返します。
高速かつ低コストな判定モデルの回答で十分な場合に、Boolean、ラベル、評価などのクローズドな質問を使って、繰り返し発生する文書バッチを処理します。
業務文書から日付、数値、ラベル、JSON オブジェクトなどの構造化フィールドを抽出し、後続の Python ワークフローで利用します。
抽出項目を、それが記載されている段落または文までたどることで、レポートや契約書の調査結果を検証します。
1 つのパイプラインでモデルの種類を組み合わせます。自由回答型または推論の比重が大きい質問には LLM を使用し、適切なクローズドな質問には判定モデルを使用します。
`uv add contextgem` または `pip install -U contextgem` でパッケージをインストールします。Docling を通じて PDF、DOCX、その他のファイルを変換する場合、プロジェクトでは `uv add "contextgem[docling]"` が案内されています。その後、`Document` を作成し、抽出するアスペクトまたは概念を記述してモデルを設定し、抽出ワークフローを呼び出します。
プロンプトを直接記述する代わりに、抽出する情報を記述します。ContextGem はプロンプトを生成し、結果を型付き項目として検証し、元の段落や文への参照を付加できます。サンプルのワークフローでは、`DocumentLLM.extract_all(doc)` を使って抽出を実行します。
LLM は、テキストや画像からアスペクトや概念の種類を抽出する場合を含め、推論を必要とするオープンな値や回答を抽出できます。判定モデルは、テキストから Boolean、ラベル、評価などのクローズドな質問に対応することを目的としており、生成テキストではなく、考えられる回答の確率を返します。
LiteLLM を通じてクラウドまたはローカルの LLM を利用でき、OpenAI、Anthropic、Google、Azure OpenAI、xAI、Ollama、LM Studio などが例として挙げられています。また、TypeSafe Jev、OpenAI Decisions API、Microsoft Foundry などの判定モデルにも対応しています。利用可能性と設定の詳細は、選択したプロバイダーによって異なります。
現在のプロジェクトメタデータでは、Python 3.11 以上かつ 3.15 未満が必要です。リポジトリの 1.0 移行ガイダンスでは、Python 3.10 はサポート対象外になったと記載されています。小規模なローカル LLM は詳細な抽出指示に確実に従えない場合があるため、ドキュメントではサンプル文書でテストすることを推奨しています。
nolainocrは、PDFの請求書・領収書・フォーム・契約書・銀行取引明細から構造化データを抽出するAI OCRツール。Excel、Google Sheets、JSON、CSVへ手入力なしで出力できます。
Clairicは、非構造化テキストと任意の画像から型付き値、計算フィールド、推定値、予測を抽出するCloudflareのSystem Oneモデルです。Workers AIで提供され、構造化データやAIワークフローを構築する開発者向けです。
司马阅は、企業向けAI文書エージェントプラットフォーム。文書内の知識を、問答・検索・作成・審査に使える構造化能力へ変換し、精度とデータ安全性を重視する企業に最適です。
Capsoは、macOS向けのネイティブなスクリーンショット・画面録画アプリ。キャプチャ、注釈、録画、OCRまで1つでこなす無料・オープンソースのCleanShot X代替です。
Extendは、PDFなどの文書を構造化データに変換する文書処理プラットフォームです。API、Studio、Evals、Composer、Workflowsで解析、抽出、分割、分類、ルーティングを支援します。
Invitedは請求書、領収書、招待状、更新案内などの日付をリマインダーに変換。iPhone・Androidの画像、スクリーンショット、PDF、共有ファイルに対応し、保存前の確認とアカウント不要で安心です。