AWSがNIXLとEFAのサポートを追加し、大規模LLM推論を加速

概要

AWSはNVIDIA Inference Xfer Library（NIXL）とElastic Fabric Adapter（EFA）の統合サポートを発表しました。この統合により、Amazon EC2上で分散型の大規模言語モデル推論を高速化できます。KVキャッシュのスループット向上、トークン間遅延の削減、メモリ利用の最適化が実現され、追加費用なく利用可能です。

何が変わったか

• ・NIXLとEFAの統合サポートにより、KVキャッシュのスループット向上を実現
• ・トークン間遅延を削減し、推論レイテンシを改善
• ・複数ストレージレイヤー間のKVキャッシュメモリ利用を最適化

影響

LLM推論を提供する企業や開発チームは、インフラコストを削減しながら推論性能を向上させることができます。既存のvLLMやSGLangなどのフレームワークユーザーは、追加実装なくすぐに恩恵を受けられます。

対象ユーザー

MLエンジニアAI/LLM開発者データサイエンティストクラウドアーキテクト

原文タイトル

AWS adds support for NIXL with EFA to accelerate LLM inference at scale