Amazon SageMaker HyperPodで推論ワークロードのデータキャプチャに対応

概要

Amazon SageMaker HyperPodが推論リクエスト・レスポンスペイロードを記録するデータキャプチャ機能をサポートしました。SageMakerエンドポイント、ロードバランサー、またはモデルポッドのいずれかのレベルでキャプチャを選択でき、複数オプションの組み合わせで階層化された可視性を実現できます。キャプチャされたデータはAmazon S3に非同期で配信され、カスタマー管理のAWS KMSキーによる暗号化とサンプリング設定に対応しています。

何が変わったか

• ・SageMakerエンドポイント、ロードバランサー、モデルポッドのいずれかのレベルでデータキャプチャを選択可能
• ・キャプチャデータをAmazon S3に非同期配信し、カスタマー管理KMSキーによる暗号化をサポート
• ・推論ブロッキングなしの設計で本番環境の可用性を保証し、HyperPod Inference OperatorまたはSageMaker JumpStartで設定可能
• ・EKSオーケストレータを使用するSageMaker HyperPodクラスタで利用可能（全サポート対象リージョン）

影響

既存ユーザーは推論エンドポイント設定時にデータキャプチャを有効化することで機能を利用でき、有効化は任意です。推論ブロッキングなしの設計のため、既存のワークロード可用性に影響はありません。

対象ユーザー

SageMaker HyperPod上でジェネレーティブAIおよび機械学習モデルをデプロイする組織のMLエンジニアおよびデータサイエンティスト

原文タイトル

Amazon SageMaker HyperPod now supports data capture for inference workloads