Social Fetch
Social Fetchは複数SNSの公開データを1つのエンドポイントで取得できるスクレイピングAPI。プロフィール、投稿、動画/字幕、指標に対応。
Social Fetchとは?
Social Fetchは、複数プラットフォームの公開ソーシャルデータを1つの統一された方法で取得できるソーシャルメディアスクレイピングAPIです。開発者やチーム向けに設計されており、各サイトごとに個別のスクレイパーを構築・メンテナンスせずに、プロフィール、投稿/メディア、コメント、動画/字幕、関連メトリクスへのプログラムアクセスを実現します。
APIは単一のエンドポイント(プラットフォームごとのルート付き)経由でアクセスでき、正規化されたJSONレスポンスを返します。CRMエングリッチメント、コンテンツパイプライン、監視/検索ツール、データ形状が一貫したアナリティクスダッシュボードなどのワークフローを駆動できます。
主な機能
- 複数プラットフォーム対応の統一API: カスタムプラットフォーム固有パーサーではなく、単一のAPIサーフェス経由でプロフィール、投稿/メディア、コメント、動画、字幕を取得。
- 正規化されたプロフィール・投稿データ: レスポンスに共通フィールド(例: ユーザー名/ハンドル、フォロワー/購読者数、認証ステータス、アバター; メディア項目ではキャプション、サムネイル、エンゲージメントメトリクス、タイムスタンプ)を含み、下流処理を一貫。
- リアルタイム/ライブ更新: 現在の公開データを取得するサービスで、ページに「~1s avg」のライブデータ指標を表示。
- 検索・発見機能: APIはネットワーク横断のキーワード/ハッシュタグ・ユーザー発見をサポート(「Search & discovery」参照)。
- 開発者向け統合: HTTPリクエストでAPIキー ヘッダー(例:
x-api-key)を使用して、/v1/tiktok/...や/v1/instagram/...などのプラットフォームルートにアクセス。 - チームのスクレイピングメンテ不要: ページに「No scraping. No maintenance」と明記。独自のスクレイピングロジックを実行せず、APIコールで統合。
Social Fetchの使い方
- APIキーを取得し、
x-api-keyヘッダーでリクエストに含める。 - 必要なリソースのプラットフォームエンドポイントをコール(例: ハンドル指定のTikTokプロフィール、Instagramプロフィール、YouTubeチャンネル、Twitter/Xプロフィール)。
- JSONレスポンスをアプリケーションで処理。エンドポイントによりプロフィール識別子、数値、メディア/字幕関連項目を含む。
ページの使用例:
GET https://api.socialfetch.dev/v1/tiktok/profile?handle=charlidamelioGET https://api.socialfetch.dev/v1/instagram/profile?handle=instagramGET https://api.socialfetch.dev/v1/youtube/channel?handle=MrBeastGET https://api.socialfetch.dev/v1/twitter/profile?handle=elonmusk
ユースケース
- クリエイター・インフルエンサーロックアップ: ハンドル/チャンネル名を入力し、正規化されたプロフィールフィールド(表示名、バイオ/説明、フォロワー/購読者数、認証、アバターURL)を返すツール構築。
- 競合コンテンツ追跡: 対象アカウントの投稿・メディアを定期取得し、キャプション/サムネイル、エンゲージメントメトリクス、公開タイムスタンプを保存・比較。
- アカウントヘルスダッシュボード: プロフィール・メトリクスデータを用いて、フォロワー/購読者数、認証ステータス、関連メタデータを時系列追跡するダッシュボード作成。
- 公開コンテンツシグナルの監視・アラート: 更新された公開投稿/メディアを取得し、変更検知でアラート(例: コンテンツやエンゲージメントメトリクスの更新)。
- 字幕付きコンテンツパイプライン: 動画コンテンツ向けに動画・字幕データを取得し、下流のインデキシング、サマリゼーション、検索をサポート。
FAQ
Social Fetchがサポートするプラットフォームは?
ページにTikTok、Instagram、YouTube、X (Twitter)を記載。さらにLinkedIn、Reddit、Facebook、Google Threads、Bluesky、Pinterest、Snapchat、Twitch、Kick、Linktree、Truth Socialを含む。
取得できるデータ種別は?
ページによると、Profiles、Posts & media、Comments、Videos、Transcripts、metrics、検索/発見(キーワード、ハッシュタグ、ユーザー発見)へアクセス可能。
スクレイピングロジックの実装が必要?
不要。ページに「No scraping. No maintenance」と記載。実行するスクレイパーではなく、コールするAPIとして位置づけ。
リクエスト認証方法は?
x-api-keyヘッダー経由のAPIキー(ページに例示)。
APIが返すデータは?
ページのサンプルJSONレスポンスにプロフィールフィールド(例: 数値、認証、バイオ、アバターURL)とチャンネル/動画関連フィールド(例: 購読者/動画数、説明、メディア/字幕フィールド、エンドポイント依存)を表示。
代替案
- 利用可能なプラットフォーム固有API: 対応エンドポイントで公式または準公式のプラットフォームAPIを使用。通常はプラットフォームごとのセットアップと異なるレスポンス形式。
- カスタムスクレイピングサービスまたはヘッドレスブラウザスクレイパー: 公開データを直接収集する独自スクレイパーを実行。メンテナンス負担と脆弱性のトレードオフで、管理APIを使用。
- エクスポートまたはAPIアクセス付きソーシャル分析プラットフォーム: アナリティクス/インサイト向けツールを使用。ダッシュボードを簡素化する可能性があるが、ここで説明する低レベルで正規化されたJSONワークフローを提供しない場合あり。
- 汎用データ抽出ツール: ETL/データクローリングフレームワークを使用してウェブデータをデータセットに取得・変換。ただし、プラットフォームごとの抽出・正規化ロジックを構築する必要あり。
代替品
Happenstance
HappenstanceはAI搭載のネットワーク検索。GmailやGoogleカレンダー、LinkedInなどつながりを基に人を調査し、営業・採用に活用。
Geekflare Web Scraping API
Geekflare Web Scraping APIは動的ページからHTML/Markdown/JSON/テキストを抽出。CAPTCHA対応、プロキシローテーション、JavaScriptレンダリングでAI向け出力。
Claro
ClaroのResearch Agentsが、ネイティブなテーブル上で手作業の調査を自動化。リスト強化、文書から構造化データ抽出、価格変化の監視に対応。
Monid
MonidはAIエージェントがRedditやTikTok、LinkedIn、Google Reviews、Amazon等の外部情報を読み取りタスクに活用できる基盤です。
DataSieve: Text to Data
DataSieve: Text to Dataは、iPhone/iPad/Macでオフライン動作。テキストや各種ファイルからメール・日付・URLなどを抽出します。
Bardeen
Bardeenは、ユーザーがリードを効率的にソース、資格付け、連絡するのを助けるAI駆動のウェブスクレイパーです。