2024/9/10 9:00:00 ~ 2024/9/11 9:00:00 (JST)

最近の発表

Amazon EKS support in Amazon SageMaker HyperPod to scale foundation model development

SageMaker HyperPodでAmazon EKSサポートが一般提供されることを発表できることを嬉しく思います。これにより、お客様は基盤モデル（FM）開発専用のインフラストラクチャであるSageMaker HyperPodでKubernetesワークロードを実行および管理できるようになり、モデルのトレーニングにかかる時間を最大 40% 短縮できます。\n Kubernetes は移植性、スケーラビリティ、豊富なツールエコシステムを備えているため、多くのお客様が ML ワークフローのオーケストレーションに Kubernetes を使用しています。こうした顧客は、Kubernetes の使い慣れたインターフェースを引き続き使用したいと同時に、ハードウェア障害を自動的に管理する方法も望んでいます。HyperPod での EKS サポートは、自己修復型の高性能クラスターを提供する SageMaker HyperPod の利点と、マネージド Kubernetes サービスである Amazon EKS のコンテナ化機能を組み合わせたものです。今回の発表により、お客様はクラスターの作成中に詳細なヘルスチェックを実行して、トレーニング中の障害を減らすことができます。さらに、HyperPod は障害のあるノードを自動的に交換し、最後のチェックポイントから AWS Trainium と Nvidia GPU の両方で 1000 を超えるアクセラレーターの規模でトレーニングを再開します。お客様は、新しい HyperPod CLI またはお好みのツールを柔軟に使用して、ワークロードの送信、管理、監視を行うことができます。永続クラスター環境では SSM にアクセスでき、クラスターをカスタマイズできます。また、EKS のオーケストレーションされた HyperPod クラスターは CloudWatch Container Insights と統合され、HyperPod ノードのヘルスステータスを自動検出して精選されたダッシュボードで視覚化することで、すぐに使えるオブザーバビリティを実現します。 このリリースは通常、ヨーロッパ (ロンドン) 以外の SageMaker HyperPod が利用可能な AWS リージョンでご利用いただけます。 詳細については、ウェブページ、AWS ニュースブログ、ドキュメント、Github リポジトリのリソースリストを参照してください。

Amazon EMR on EC2 improves cluster launch experience with intelligent subnet selection

本日より、Amazon EMR on EC2 では、サブネット選択の強化により、インスタンスフリートクラスターの信頼性とクラスター起動エクスペリエンスが向上しました。この機能により、EC2 上の EMR は IP アドレス不足によるクラスター起動の失敗を減らします。\n Amazon EMR は、Apache Spark、Apache Hive、Presto などのオープンソースフレームワークを使用した、データ処理、インタラクティブな分析、機械学習のためのクラウドビッグデータプラットフォームです。以前は、EMR クラスターのサブネット選択では、コアインスタンスフリートで使用可能な IP アドレスのみが考慮されていました。Amazon EMR はクラスターの起動時にサブネットフィルタリングを採用し、すべてのインスタンスフリートを正常に起動するのに十分な IP アドレスを持つサブネットの 1 つを選択するようになりました。EMR は、クラスター全体を起動するのに十分な IP アドレスを持つサブネットを見つけられない場合、少なくともコアインスタンスとプライマリインスタンスフリートを起動できるサブネットを優先します。このシナリオでは、EMR は CloudWatch 警告イベントを発行してユーザーに通知します。設定したサブネットがどれもコアフリートとプライマリフリートのプロビジョニングに使用できない場合、EMR はクラスターの起動に失敗し、重大なエラーイベントが発生します。これらの CloudWatch イベントにより、クラスターをモニタリングし、必要に応じて是正措置を講じることができます。 お客様は、割り当て戦略を使用して EMR インスタンスフリートクラスターを起動すると、EMR 5.12.1 以降のすべてのリリースでこの機能を利用できます。お客様側でこれ以上のアクションを行う必要はありません。この機能は、Amazon EMR on EC2 が利用できる AWS GovCloud (米国) リージョンを含むすべての AWS リージョンで利用できます。詳細については、こちらのドキュメントを参照してください。

Container Insights now announces SageMaker HyperPod node health observability on EKS

Amazon CloudWatch Container Insights が EKS 上で稼働している SageMaker HyperPod ノードのヘルスステータスを自動検出し、精選されたダッシュボードで視覚化できるようになりました。これにより、ノードの可用性をモニタリングして運用効率を高めることができます。すぐに使えるダッシュボードを使用すれば、異常なノードを簡単に特定し、迅速に軽減して効率的なトレーニング期間を実現できます。\n Container Insights は SageMaker と連携して HyperPod ノードの詳細なヘルスチェックテスト結果を収集し、あらかじめ設定されたダッシュボードに表示します。これにより、ノードの状態とパフォーマンスを把握し、スケジュール作成の準備が整っているかどうかを確認できます。Container Insights は、障害が発生したノードを「再起動待ち」と「交換保留中」に分類することでトレーニング期間の最適化を支援します。また、自動ノード交換が無効になった場合にノードの状態を維持するためのガイダンスも提供します。自動回復が有効になっていると、ノードの変化やトレーニングジョブの遅延を把握でき、最後のチェックポイントからタスクがどのように再開されるかを把握できます。 コンテナインサイトを使い始めるのは簡単です。CloudWatch Observability EKS アドオンまたは最新の CloudWatch エージェントをクラスターにインストールするか、Helm チャートを最新バージョンの CloudWatch エージェントにアップグレードすることでオンボーディングできます。設定が完了すると、コンテナインサイトコンソールに移動して、SageMaker Hyperpod ノードのヘルスステータスをすぐに確認できます。 SageMaker HyperPod のノードヘルスオブザーバビリティが、SageMaker HyperPod がインストールされているすべての商用地域の EKS 用コンテナインサイトで利用できるようになりました。HyperPod ノードヘルスメトリクスは観測ベースの価格設定に従います。詳細については、Container Insights の料金表ページを参照してください。詳細については、『コンテナインサイトユーザーガイド』を参照してください。

Amazon MSK enhances cross-cluster replication with support for identical topic names

Amazon MSK Replicator は、Amazon マネージドストリーミングfor Apache Kafka (Amazon MSK) クラスター全体でストリーミングデータをレプリケートする際に、元の Kafka トピック名を保持できる新しい設定をサポートするようになりました。Amazon MSK Replicator は Amazon MSK の機能の 1 つで、数回クリックするだけで、同じまたは異なる AWS リージョンの MSK クラスター間でデータを確実にレプリケートできます。新しい構成では、セットアップ中にクライアントアプリケーションを再設定する必要がなくなり、MSK Replicator の信頼性を引き続き活用しながら、マルチクラスターストリーミングアーキテクチャの運用がさらに簡単になります。\n Amazon MSK Replicator を使用すると、事業継続のためのリージョンレジリエントなストリーミングアプリケーションの構築、パートナーとのデータ共有、複数のクラスターからのデータの集約、分析のためのデータ収集、世界中のクライアントへの低レイテンシーでのサービスの提供を簡単に行うことができます。新しい構成では、レプリケーション中にトピック名を保持しながら、レプリケーションにサードパーティまたはオープンソースのツールを使用する場合に発生する無限レプリケーションループのリスクを自動的に回避できます。アクティブ/パッシブのクラスターアーキテクチャを設定して、1 つのクラスターがライブトラフィックを処理し、もう 1 つのクラスターがスタンバイの役割を果たすような、地域のレジリエントなストリーミングアプリケーションを構築すると、新しい構成ではフェイルオーバープロセスも効率化されます。トピック名はそのまま残るため、アプリケーションは再構成しなくてもスタンバイクラスターにシームレスにフェイルオーバーできます。 新しい設定は Amazon MSK Replicator を利用できるすべてのリージョンでサポートされています。Amazon MSK Replicator が利用できるすべてのリージョンを確認するには、AWS リージョンの表を参照してください。詳細については、開発者ガイドまたは製品ページをご覧ください。

Amazon OpenSearch Service now supports OpenSearch version 2.15

Amazon OpenSearch サービスで OpenSearch バージョン 2.15 を実行できるようになりました。OpenSearch 2.15 では、検索パフォーマンスやクエリの最適化の分野でいくつかの改善が行われ、AI を活用したアプリケーションをより柔軟かつ簡単に構築できる機能が追加されました。\n 今回のリリースには、クエリポイントから指定された最大距離または最小スコア閾値内にあるベクトル空間内のポイントを検索できる放射状検索が含まれ、異常検知や地理空間検索などのさまざまなアプリケーションの柔軟性が高まります。さらに、このリリースには、ニューラルスパース検索用の二相プロセッサ、ハイブリッド検索用の条件付きスコアリングロジックと最適化されたデータ処理など、パフォーマンスの最適化が含まれています。こうしたパフォーマンスの向上により、大規模なデータセットに対して複雑なクエリをより効率的に実行できるようになりました。 OpenSearch がインデックスの再作成ワークフローをサポートするようになったため、ユーザーは既存のインデックスでベクター検索とハイブリッド検索を有効にして、ソースインデックスからの再インデックスに費やす時間とリソースを削減できます。さらに、有害なコンテンツ、攻撃的なコンテンツ、または不適切なコンテンツ (毒性) をより正確に検出するためのガードレールとしてリモートモデルを構成できます。最後に、新しい ML 推論プロセッサにより、ユーザーは OpenSearch が提供する事前トレーニング済みモデルからの推論を使用してインジェストパイプラインを強化できます。 OpenSearch 2.15 へのアップグレードに関する情報は、ドキュメンテーションを参照してください。OpenSearch 2.15 は、Amazon OpenSearch サービスが利用できるすべての AWS リージョンで利用できるようになりました。

AWS Blogs

Amazon Web Services ブログ (日本語)

AWS News Blog

AWS Cloud Operations Blog

AWS Big Data Blog

AWS Database Blog

AWS HPC Blog

AWS for Industries

AWS for M&E Blog

AWS Storage Blog

Open Source Project

AWS CLI

AWS CDK

Amplify for Android

Karpenter