Amazon SageMaker Unified Studioがデータ処理ジョブでAWS Glue 5.1をサポート

概要

Amazon SageMaker Unified StudioがAWS Glue 5.1に対応し、Apache Spark 3.5.6やPython 3.11、Apache Iceberg、Apache Hudi、Delta Lakeなどの最新ライブラリが利用できるようになりました。ジョブ設定のバージョンドロップダウンからGlue 5.1を選択するだけで、Visual ETLやノートブック、コードベースのすべてのデータ処理ジョブで最新のランタイム環境を活用できます。これにより、データエンジニアとデータサイエンティストは統一された最新環境で効率的かつスケーラブルなデータ処理を実行でき、データ処理ワークフロー全体の現代化が実現します。

何が変わったか

• ・AWS Glue 5.1のサポート追加
• ・Apache Spark 3.5.6、Python 3.11、Scala 2.12.18への対応
• ・Apache Iceberg 1.10.0、Apache Hudi 1.0.2、Delta Lake 3.3.2などのオープンテーブルフォーマットライブラリの利用可能化

影響

データエンジニアとデータサイエンティストは、Visual ETL、ノートブック、コードベースのジョブ全てで最新のSparkランタイムを活用でき、データ処理の効率性と拡張性が向上します。ジョブ設定のドロップダウンからGlue 5.1を選択するだけで、統一された最新環境でのデータ処理ワークフロー実行が可能になります。

対象ユーザー

データエンジニアデータサイエンティストMLエンジニア

原文タイトル

Amazon SageMaker Unified Studio now supports AWS Glue 5.1 for data processing jobs