Notion のセキュリティカスタムエージェント Scruff のポスト紹介 : hkob の雑記録 (400)

Notion 雑記録 Notion Notion AI

はじめに

hkob の雑記録の第400回目(通算797日目)は、Notion が投稿した Scruff というカスタムエージェントに関する連続ポストを解説します。

Scruff という名の Custom Agent

基本、ポストとその翻訳を並べて、適当にツッコミします。

1st post

2か月前、午前2時にセキュリティアラートが発火しました。

検知・対応チームの誰かが、次の1時間をツール間を飛び回って過ごし、これが本物の脅威か偽陽性かを判断するだけでした。

今日、同じコールは数分で済みます（Scruffのおかげで）。

Scruffは私たちのセキュリティチームのカスタムエージェントです。

完全にNotion + MCPで構築されています。

2ヶ月前までは人力だったものが、今はカスタムエージェントである Scruff が数分で対応してしまうとのこと。定型的なタスクにはカスタムエージェントは本当に有効ですね。何より、トリガで動作してくれるのが助かりますね。

2nd post

ScruffはセキュリティチームのCustom Agentです。Notion + MCPで完全に構築されています。

アラートが発火すると、Scruffはセキュリティスタックからデータを引き出し、関連するrunbookを実行し、初期の調査結果をまとめます。人間がレビューして判断を下します。

週に6時間以上節約。95%の脅威分類精度。

カスタムエージェントには MCP サーバをはじめ、さまざまなものが接続できます。初期の切り分けだけでも本当に助かりますよね。

3rd post

私たちのDARTチーム（Detection & Response）は、Notionを安全に保つために、脅威の監視、インシデントの調査、ユーザー データの常時保護を行っています。

しかし、彼らの時間の多くはメカニクスに費やされていました：ログの検索、ツール間の相関付け、レポートのフォーマット。

このポストには画像が添付されていました。

What DART Does

この画像を解説してもらいました。

この画像の解説

画像解説: DART チームの課題

What DART Does (And Why It Matters)

DART の役割

Detection and Response Team が Notion のセキュリティを維持:

  • 脅威監視
  • インシデント調査
  • 24時間体制のセキュリティイベント対応
  • ユーザーデータ保護と信頼維持

時間消費の問題

必要だが煩雑な作業に週何時間も浪費:

  • ログ検索
  • 複数ソースからのデータ相関付け
  • レポートフォーマット

解決すべき課題

戦略的業務に時間を振り向けたい:

  • 新検知ルール作成
  • セキュリティ態勢改善
  • 重要脅威調査

核心の問い: 「散在するソースから迅速にコンテキストを収集し、全員のベースラインを確保するには?」

→ この課題に対する解が Scruff (カスタムエージェント)

4th post

私たちはセキュリティ自動化ベンダーを評価しました。一部のベンダーは、調査時間を半分に短縮すると約束していました。しかし、深く掘り下げていく中で、私たちは考えました：これをNotionで作れないでしょうか？

そこで、私たちはカスタムエージェントを直接対決させました。Scruff対ベンダー、4週間かけて。

Scruffが勝った点：

セキュリティ自動化ベンダーの専用ソフトと Scruff と比較したそうです。比較結果も図になっていました。

比較結果

そのまま翻訳して表にしてもらいました。Scruff の圧勝ですね。

評価基準 Scruff on Notion ベンダーソリューション
既存ワークフローとの統合 ✅ ワークスペースにネイティブ ❌ 別プラットフォームが必要
カスタマイズ柔軟性 ✅ プロンプト更新のみ、開発サイクル不要 ❌ ベンダーサポートが必要
データソース接続性 ✅ MCP統合で既存スタックと連携 ⚠️ 事前構築コネクタに制限
調査品質 ✅ 脅威分類95%の精度 ⚠️ ベンダー間で精度にばらつき
チーム採用 ✅ 即座に利用可能(日常的にNotion使用) ❌ 新プラットフォームのトレーニング必要

5th post

内部では、Scruff は Notion のビルディングブロックです：

  • アラートが着信するデータベース（これが Scruff をトリガーします）
  • ページとして保存された Runbook（アラート タイプ = Runbook）
  • Scruff が過去の調査から学べるようにするためのノート ページ
  • セキュリティ ツールからデータを取得するための MCP 統合
  • ドメイン固有の指示を持つカスタム エージェント

別個のプラットフォームや統合の混乱はありません。

作成されたページも Notion のデータになるので、過去の調査結果がうまく学習できるのがいいですよね。

6th post

人々は概念的には、この種の自動化が可能だと理解しています。でも、構築するまでの惰性は高く、特にツールが馴染みがないと感じるとなおさらです。それを解き放ったのは、小さくスコープを絞ることでした。一つのアラートタイプ、一つのランブック、一つのテスト。それからそこから広げていく。

私たちはScruffの役割を平易な英語で定義しました。Notion AIを使ってプロンプトのドラフトを助けてもらい、チームと一緒に反復しました。

ほとんどの作業は技術的なものではありませんでした。ただ、調査がすでにどのように機能しているかを書き留めて、Scruffにそのプロセスに従ってもらうだけでした。

私もカスタムエージェントを作成しましたが、Notion AI を使って日本語で指示するだけで、エージェントを構築してくれたのは楽でしたね。カスタムエージェント自体も Notion のページなので、どんどん AI で更新できるのが助かります。こちらにも画像が添付されていました。

処理フロー

7th post

Scruff導入後：

アラート発火 → Scruffがコンテキスト収集 + 分析実行 → 人間レビュー → 決定。

作業量が大幅に削減。

情報の収集や分析のような作業については、人間よりも AI の方がよっぽど速いし正確ですよね。ここにも画像が添付されていました。

アラートからの手順

こちらも AI に翻訳してもらいました。調査は AI、その調査結果を人間が判断という分業がうまくできているということですね。

この図の翻訳は以下の通りです。

  1. アラート発火 - 監視システムから
  2. アラート前処理 - DNS解決などのデータを追加
  3. コンテキスト収集 - Wiz、Crowdstrike、SIEM（セキュリティ情報・イベント管理）などの異なるプラットフォーム上の複数データソース（ログ、ユーザー活動、システムイベント）から
  4. 相関付けと分析 - アラートが信頼できるかどうかを判断
  5. 決定とアクション - 調査結果に基づく
  6. 文書化 - 将来の参照とコンプライアンスのため

問題点: ステップ3～6は従来、人間のアナリストによる手作業が必要でした。アラートが偽陽性だった場合でも（多くの場合そうなる）同様です。そこで Scruff が登場し、調査作業を自動化することで、チームは人間の判断が必要な意思決定に集中できるようになりました。

8th post

結果

結果も長いので図でした。

結果

効果は数値で表現されるけど、その数値以上に働き方に余裕ができたというのが大きいのだと思いますね。

この図の翻訳は以下の通りです。

定量的成果

  • 週6時間以上の節約 - DARTチーム全体での雑務削減
  • 84%削減 - 偽陽性アラートの調査時間中央値
  • 93%高速化 - 偽陽性アラートの解決時間中央値
  • 一貫した調査品質 - 担当者が誰であっても品質を維持
  • 自動スケーリング - 会社の成長に応じて拡張可能。以前は複数のアナリストのローテーションが必要だった作業をScruffが処理

定性的効果

しかし、影響は数値を超えています。「実は今、週末明けに出社するのが楽しみになっています」とBritton Hayes（検知・対応エンジニア）は語ります。「月曜の朝にアラートの山を掘り返すのではなく、Scruffの調査結果をレビューして、本当に注意が必要な作業にすぐ取り掛かれます」

Scruff導入後の四半期でチームの仕事満足度スコアは30%向上し、セキュリティアナリストの燃え尽き指標は25%減少しました。

9th post

これがエージェントの進む方向です。チームメイトとして、全体のワークフローを実行するもの—コンテキストを集め、プロセスに従い、意思決定を表面化する—ので、あなたは本当にあなたが必要とされる仕事に集中できます。

Scruffは始まりにすぎません🐕

人間が判断するための材料をかき集める部分の自動化が重要ですね。やはりコンテキストをどう Notion から見える形で用意できるかというところが重要ですね。

おわりに

私の分野だとまだそこまで定型的な作業を見つけられていないですね。なんとかカスタムエージェントを構築していきたいと思っています。

hkob.notion.site