This skill should be used when the user asks to "fetch all data", "データ全件取得", "全ソース取得", "データ取得", "fetch drive", "fetch discord", "fetch slack", "fetch linear", "fetch github", "Drive取得", "Discord取得", "Slack取得", "Linear取得", "GitHub取得", or mentions bulk data fetching from multiple external sources.
Drive / Discord / Slack / Linear / GitHub 各ソースからデータを一括取得し、table_database.db + context_kv.db に投入するパイプラインを実行する。
全ソース一括取得 or ソース個別取得 + bridge (KV変換) をまとめて実行する統合パイプライン。
cd /Users/sennin/Documents/GitHub/8888_AGI5
# 全ソース実行 (drive → discord → slack → linear → github → bridge)
bash claude/80_tools/fetch_and_bridge.sh
# 特定ソースのみ
bash claude/80_tools/fetch_and_bridge.sh drive bridge
bash claude/80_tools/fetch_and_bridge.sh discord linear bridge
| ソース名 | 内容 | 個別スクリプト |
|---|---|---|
drive | Google Drive全件スキャン | fetch_all_drive.sh |
discord| Discord全チャンネルエクスポート |
fetch_all_discord.sh |
discord_server | 参加サーバー全チャンネル→DB投入 | fetch_all_discord_server.sh |
slack | Slackバックフィル | fetch_all_slack.sh |
slack_workspace | ワークスペース全チャンネル→DB投入 | fetch_all_slack_workspace.sh |
linear | Linear Issue全件 | fetch_all_linear.sh |
github | GitHubリポジトリ全件 | fetch_all_github.sh |
bridge | table_db → context_kv ブリッジのみ | bridge_to_context.sh |
links | 外部リンク抽出・格納 | fetch_links.sh |
cd /Users/sennin/Documents/GitHub/8888_AGI5
bash claude/80_tools/fetch_all_drive.sh [--dry-run] [--reset-progress]
cd /Users/sennin/Documents/GitHub/8888_AGI5
bash claude/80_tools/fetch_all_discord.sh [--company <name>] [--project <name>] [--upload-drive]
cd /Users/sennin/Documents/GitHub/8888_AGI5
bash claude/80_tools/fetch_all_discord_server.sh [--guild-id <id>] [--channel-id <id>] [--purge]
cd /Users/sennin/Documents/GitHub/8888_AGI5
bash claude/80_tools/fetch_all_slack.sh [--company <name>] [--channel-ids <ids>] [--include-thread-replies]
cd /Users/sennin/Documents/GitHub/8888_AGI5
bash claude/80_tools/fetch_all_linear.sh [--company <name>] [--project <name>] [--only-changed]
cd /Users/sennin/Documents/GitHub/8888_AGI5
bash claude/80_tools/fetch_all_github.sh [--company <name>] [--project <name>] [--per-page <n>]
claude/10_raw/table_database.db + claude/10_raw/context_kv.db/Users/sennin/Documents/GitHub/8888_AGI5/claude/80_tools/fetch_and_bridge.sh/Users/sennin/Documents/GitHub/8888_AGI5/claude/80_tools/fetch_all_drive.sh/Users/sennin/Documents/GitHub/8888_AGI5/claude/80_tools/fetch_all_discord.sh/Users/sennin/Documents/GitHub/8888_AGI5/claude/80_tools/fetch_all_discord_server.sh/Users/sennin/Documents/GitHub/8888_AGI5/claude/80_tools/fetch_all_slack.sh/Users/sennin/Documents/GitHub/8888_AGI5/claude/80_tools/fetch_all_slack_workspace.sh/Users/sennin/Documents/GitHub/8888_AGI5/claude/80_tools/fetch_all_linear.sh/Users/sennin/Documents/GitHub/8888_AGI5/claude/80_tools/fetch_all_github.sh.env に各サービスの API トークン / 認証情報設定済みroute_config.json に対象チャンネル/プロジェクト登録済みDiscord DM と LINE は別スキル (fetch-discord-dm, fetch-line) で個別に扱う。本スキルはチャンネルメッセージの一括取得向け。
このスキルはデータ取得後、自動的に全ソースのリンクを自動抽出し、external_links.db の external_links テーブルと context_kv.db に格納する。
# データ取得後に自動実行される (fetch_and_bridge.sh の links ステップ)
bash claude/80_tools/fetch_links.sh
# 手動で特定ソースのリンクのみ抽出
bash claude/80_tools/fetch_links.sh --skip-fetch
詳細は fetch-links スキルを参照。
| DB | 用途 | 主なテーブル |
|---|---|---|
table_database.db | ソースレコード (Discord/Slack/LINE等) | records, holders, persons |
external_links.db | 外部リンク専用 (独立DB) | external_links, page_content, source_refs |
context_kv.db | KV ナレッジストア | context_kv (ext_link_id でリンク) |
knowledge_kv.db | 統合ナレッジ | knowledge_kv |
各DBは ext_link_id / source_record_id でIDリンクし、外部データは必ず external_links.db に分離する。