ChromeでWebページを操作します。URL遷移、要素クリック、フォーム入力、スクロール、キーボード操作に対応。URLを開く・要素をクリック・フォームに入力するなどの指示で起動します。
tabs_context(createIfEmpty: true) を呼び出して tabId を取得する。navigate(tabId, url) を実行。テキストなら操作タスクとして解釈する。page_outline(tabId) — ページのランドマーク構造を取得(大規模ページでは最初にこれを使用)read_page(tabId, filter: "interactive") — 構造化された要素参照を取得。section パラメータでランドマーク領域に絞り込み可能(例: section: "main")。query パラメータで自然言語によるコンテンツ領域特定(例: query: "商品一覧")。section + query 併用でランドマーク不在時の自動フォールバック。includeMedia: false で画像/動画を省略してトークン節約find(tabId, query, maxResults?) — 自然言語で要素を検索(トークンマッチング + ML セマンティックリランキング)。maxResults で返却件数を制御(1〜50、デフォルト 25)screenshot(tabId) — 目視確認が必要な場合のみ使用form_input(ref, value) をすべてのフォーム要素に使用(input/select/checkbox/radio を自動判別)。submit: true で Enter 送信まで 1 操作で完了。複数フィールドの一括入力は form_fill(fields[]) を使用bulk_action(refs[], action) で複数要素への同一操作(check/uncheck/click)を一括実行read_table(ref) でテーブルを構造化データ(headers + rows)として取得wait_for(navigation: true) をページ遷移が発生する操作の後に実行handle_dialog(accept/dismiss) でダイアログがブロックしている場合に対処まず sm_capabilities(tabId) を確認。ページに登録済みアクション/フェッチがあれば、手動操作の代わりに sm_invoke/sm_fetch を使用 — より高速で信頼性が高い。
Google Sheets ページ(docs.google.com/spreadsheets/)では専用ツールが利用可能:
sheets_info(tabId) — シート一覧・メタデータ取得sheets_read(tabId, range?, query?) — データ読み取り(tq クエリ対応)sheets_write(tabId, cell, value/values) — データ書き込みsheets_navigate(tabId, cell?, sheet?) — セル/シート移動read_console_messages(tabId) — JavaScript エラーの確認read_network_requests(tabId) — API 呼び出しの検査(ヘッダー、postData、MIME タイプ付き)read_network_requests(clear: true) → UI 操作 → read_network_requests(include_body: true) でリクエスト差分とレスポンスボディを取得batch_fetch(tabId, url, requests, ...) — ブラウザセッションで AJAX バッチ収集