Claude Code Managed Settingsで実現するゼロセットアップのAI利活用計測基盤

Claude Code AI Managed Settings

https://cdn-ak.f.st-hatena.com/images/fotolife/c/cloudbase_tech/20260402/20260402142855.png

はじめに

こんにちは、CloudbaseでPlatformチームのKeke (@_k_e_k_e)です。

Cloudbaseではほぼ全エンジニアがClaude Codeを日常的に利用しています。しかし、「本当に全員が使いこなせているのか？」「どのツールがよく使われているのか？」「コストは適切か？」──こうした問いに答えるため、以下のようなClaude Codeの利用状況を可視化するダッシュボードを構築しました。

この記事では、Claude CodeのManaged SettingsとHTTP Hooksを活用して、エンジニアに一切の負担をかけずにデータを収集し、利活用を可視化する仕組みについて紹介します。

なお、本記事で紹介するManaged Settingsは、執筆時点（2026年4月2日）ではプレビュー機能である点にご留意ください。

なぜ「可視化」が必要なのか

AIセントラルマインドとアウトカムへの責任

Cloudbaseでは組織全体でAIセントラルマインドを持ち、一丸となって取り組んでいます。

AIセントラルマインドについては、代表の岩佐によるこちらの記事をご覧ください。

note.com

AIを既存業務の延長にある「効率化ツール」とだけ捉えず、あらゆる業務プロセスで「AIをどう実現するか」を前提に考え、意思決定する文化です。

しかし、AIセントラルマインドで動いていくためには、いくつかの疑問を解消する必要があります。

  • 何がAI利活用を阻害しているのか？ — ツールは導入したが、活用を妨げるボトルネックはどこにあるのか
  • 実際にアウトカムは増えているのか？ — 「AIを使っている」と「AIで成果が出ている」は別の話。導入前後で事業価値や競争優位性に繋がるデリバリー速度やコード品質に変化はあるのか。
  • どの機能を、どう使っているのか？ — 全員に同じツールを渡しても、活用度には必ず差が生まれる

これらの問いに主観や感覚ではなくデータで答えたい。そこで、Claude Codeの利用状況を可視化するダッシュボードの構築に踏み切りました。本記事では、それを実現するうえで非常に有用だったManaged settingsを紹介します。

Claude Code Managed Settings とは

Claude Codeには Managed Settings という機能があります。これは組織の管理者がエンジニア全員のClaude Code設定を一元管理できる仕組みです。いわゆる設定ファイル~/.claude/settings.json を、 claude.ai の組織ページで設定するだけです。

重要なのは、この設定にHooksを含められる点です。Hooksとは、Claude Codeの特定のイベント（セッション開始、ツール使用、エラー発生など）が発生したときに自動的に実行されるアクションを定義する仕組みです。

HTTP Hooks の利点

Hooksには command（シェルスクリプト実行）と http（HTTPリクエスト送信）の2種類があります。先ほどのManaged Settingsと組み合わせると、以下のような利点があります。

  1. シェルスクリプトの配布が不要 — command タイプではスクリプトファイルの存在を前提とするため、リポジトリのcloneやPATH設定が必要です。HTTP Hooksなら設定ファイルだけで完結します
  2. 環境差異の排除 — jq や curl の有無、シェルの違いなど、command タイプでは環境依存の問題が起きがちです
  3. Managed Settingsとの親和性 — JSON設定ファイルだけで全設定が完結するため、MDM配布に適しています

施策を進める過程で、エンジニアにセットアップなどの工数が発生し、それがブロッカーとなって推進できなかったり、効果が薄れてしまったりすることがよくあります。今回のソリューションは、エンジニアの工数や認知負荷を増やすことなく、透過的に導入できる方法となっています。

HTTP Hooks の欠点

HTTP Hooks は便利な一方で、スクリプト等を実行できないため、トランスクリプト（JSONL）を取得できず、トークン使用量などの情報を収集できません。そのため、Anthropic APIなどを使って代替する必要があります。

HTTP Hookの設定

実際の設定ファイルを見てみましょう。以下はManaged Settingsとして配布しているHTTP Hook設定の一部です。

{
  "hooks": {
    ...
    "PostToolUse": [
      {
        "hooks": [
          {
            "type": "http",
            "url": "https://example.com/v1/hook/anthropic/http-event",
          }
        ]
      }
    ]
    ...
  }
}

この設定はユーザーやプロジェクトレベルの設定に追記を行います。そのため、ユーザーやプロジェクトレベルのフックなどの設定を維持したまま、今回のHTTPフックをすべてのエンジニアに配布できます。

収集しているイベント

全22種類のイベントをフックしています。

カテゴリ イベント
セッション SessionStart, SessionEnd
ユーザー操作 UserPromptSubmit, Elicitation, ElicitationResult
ツール利用 PreToolUse, PostToolUse, PostToolUseFailure
権限 PermissionRequest
エージェント SubagentStart, SubagentStop, TeammateIdle
タスク TaskCompleted
システム Notification, InstructionsLoaded, ConfigChange
ファイル・ワークスペース CwdChanged, FileChanged, WorktreeCreate, WorktreeRemove
コンテキスト PreCompact, PostCompact
終了 Stop, StopFailure

Anthropic Organization API によるコスト・トークンデータの収集

HTTP Hooksは「何が使われたか」を捕捉しますが、「どれだけコストがかかったか」「どのモデルが使われたか」といった正確な課金データは含まれません。そこで、Anthropicが提供する Organization API を併用しています。

3つのAPIエンドポイント

API 取得データ 用途
Messages Usage Report モデル別トークン数、サービスティア、スピード トークン使用量の分析、standard/fastの使い分け
Cost Report モデル別・トークン種別・サービスティア別コスト 正確な課金額の把握、コスト最適化
Claude Code Usage Report ユーザー別セッション数・commit数・PR数・行数 アウトカム計測（PR数・コード量）

特に Claude Code Usage Report は強力です。ユーザーごとの commits_by_claude_code, pull_requests_by_claude_code, lines_of_code といった アウトカムに直結する指標 が取得できます。 Cloud Run Jobを使って毎日取得し、BigQueryに格納しています。

HooksとAPIの併用が鍵

HTTP HooksとAnthropic APIはそれぞれ役割が異なります。

HTTP Hooks Anthropic Organization API
データ粒度 イベント単位（リアルタイム） 日別集計
ツール利用 Skill/Subagent/MCPの詳細 tool_actionsの集計のみ
コスト 推定値のみ 正確な課金額
モデル別内訳 - モデル別トークン・コスト
セットアップ Managed Settingsのみ Admin API Keyの発行

両方を BigQuery に集約することで、「どのツールがどれだけのコストを生んでいるか」「スキルを活用しているエンジニアは PR 数も多いのか」といった Hooks 単体では見えない洞察 が得られます。

Cloud Schedulerで日次バッチを実行し、削除→再挿入の冪等性を保証しています。

ダッシュボードで可視化していること

フロントエンドはReact + Vite + shadcn/ui + Rechartsで構築し、Auth0で認証、Apollo ClientでGraphQL APIと通信しています。主にページで構成されています。

1. Overview（概要）

利活用サマリーを表示します。

  • アクティブユーザー数・セッション数の日別推移（前期間比較付き）
  • 時間帯別の利用分布 — いつClaude Codeが使われているかがわかる
  • パーミッションモード分布 — auto / default / plan の使い分け状況
  • エラーイベント推移 — PostToolUseFailure や StopFailure の発生頻度
  • PR数とリードタイム — Claude Code利用とデリバリー速度の相関

2. Tools（ツール分析）

最も力を入れているページです。

  • カテゴリ別の円グラフ — Skill / Subagent / MCP / Builtin の利用比率
  • MCP / Subagent / Skill それぞれの内訳 — カテゴリでフィルタすると詳細な円グラフに切り替わる
  • トップツールランキング — 実行回数順・ユニークユーザー順（前期間との比較バー付き）
  • 日別カテゴリ別スタック面グラフ — ツール種別ごとの利用トレンド
  • 詳細テーブル — 全ツールの利用回数・ユニークセッション数・平均利用回数をソート可能に表示

3. Events（イベント詳細）

  • イベント種別ごとの集計 — 22種のフックイベントそれぞれの発生回数
  • 日別イベントトレンド — カテゴリ別のスタック面グラフ
  • 生イベント一覧 — デバッグ用の詳細テーブル

導入で見えてきたこと

1. AIがアウトカムに繋がっているか・何がアウトカムを阻害しているか議論しやすくなった

ダッシュボード導入によって最も変わったのは、AI利活用に関する議論の質です。

運用開始からまだ日が浅いものの、以前は「Claude Code を使っていますか？」「便利ですか？」といった主観的な問いしかできませんでした。返ってくるのも「使っています」「便利です」という曖昧な回答で、それが本当にプロダクトのアウトカムに繋がっているのかは誰にも判断できませんでした。

今は違います。リリースの数とAI使用状況を見比べながら議論ができるようになりました。Claudeの利用でエラーが出ていたら、何が問題なのかがすぐ分かります。

「感覚的にAIは役立っている気がする」という状態から、「このデータを見る限り、スキル活用率と PR 数には正の相関がある。次は Claude Code のスキルの認知を広げる施策を打とう」といった、具体的なアクションに繋げられるようになりました。

2. 量だけでなく「質」の差が見える

セッション数やトークン量だけでなく、Skill や Subagent をどれだけ活用しているかも重要な指標になりました。社内でClaude Marketplaceを運用していることで、どれだけ認知されているか、どのスキルが有効かが分かります。さらに、どのようなスキルが必要になりそうかも、標準スキルなどの利用状況を見ながら、ある程度予測できるようになりました。

3. 権限モード・使用モデル・Git Worktreeなどの細かな利用状況が見える

パーミッションモード分布を見ると、auto モード（自律的実行）の利用率が低く、デフォルトモードで実行しているメンバーが多いです。ユーザーの入力待ちHook回数と照らし合わせながら、Autoモードの方が有能なのではないか、と提案しようと思っています。

また、モデルは Opus を使っている人が圧倒的に多いです。新しく複雑なタスクに強いモデルへ偏ることが、常に正しいとは限りません。現時点ではPR数や使用ツールランキングなどと見比べることで、コストを下げる施策（ガイドライン整備や権限設計）と 生産性を上げる施策（スキル整備や教育）のどちらを優先すべきかを、根拠を持って判断できるようになりました。

まとめ

Claude Code の Managed Settings と HTTP Hooks を活用することで、以下を実現しました。

  1. ゼロセットアップのデータ収集 — エンジニアは何も意識せず、Claude Codeを使うだけで利用データが自動的に蓄積される
  2. プライバシーを守りつつ利活用を可視化 — プロンプト内容やコード内容は一切収集せず、メタデータのみで有意義な分析が可能
  3. 行動変容の促進 — 「みんながどう使っているか」が見えることで、スキルやサブエージェントの利用が自然と広がった
  4. アウトカムの計測 — 単なる導入率ではなく、利活用の質とデリバリー速度の相関を追跡できる基盤が整った

AIツールの導入は、「入れて終わり」ではなく、あくまでスタート地点に過ぎません。大切なのは、ツールを入れたという事実に満足（自己陶酔）せず、「本当に価値を出せているのか？」を問い続けることです。

Managed Settingsによる計測基盤を「鏡」として、自分たちの現在地を正しく把握し、泥臭く改善サイクルを回し続ける。こうした積み重ねこそが、Cloudbaseが掲げる「AIセントラルマインド」を本質的なアウトカムへと繋げる唯一の道だと確信しています。

Cloudbase では、AIセントラルマインドでセキュリティプロダクトの開発を一緒に推進してくれるエンジニアを募集しています。もしご興味がありましたら、ぜひお気軽にお問い合わせください。

cloudbase.co.jp/careers