AI関連サービストップ GPUクラウドサービス メールお問い合わせ

生成AIに最適なパフォーマンスGPU

NVIDIA HGX™ H200

東北電力のGPUクラウドサービスでご利用いただけます。

NVIDIA HGX H200

LLama2 70B 推論

1.9倍の高速化

GPT3-175B 推論

1.6倍の高速化

高性能コンピューティング

110倍の高速化

NVIDIA HGX TM H200

大容量で高速なメモリによる高いパフォーマンス

NVIDIA Hopper™ アーキテクチャをベースとする NVIDIA H200 は、毎秒 4.8 テラバイト (TB/s) で
141 ギガバイト (GB) の HBM3e メモリを提供する初の GPU です。
これは、NVIDIA H100 Tensor コア GPU の約 2 倍の容量で、メモリ帯域幅は 1.4 倍です。
H200 の大容量かつ高速なメモリは、生成 AI と LLM を加速し、エネルギー効率を向上させ、総所有コストを低減し、HPC ワーク ロードのための科学コンピューティングを前進させます。

特徴1高性能なLLM推論でインサイトを引き出す+
進化し続けるAIの世界では、企業はさまざまな推論のニーズに対応するためにLLMを利用しています。AI推論アクセラレータは、大規模なユーザーベース向けにデプロイする場合、最小のTCOで最高のスループットを実現する必要があります。 H200は、Llama2のようなLLMを扱う場合、H100 GPUと比較して推論速度を最大2倍向上します。
特徴2ハイパフォーマンスコンピューティングを強化+
メモリ帯域幅は、より高速なデータ転送を実現することで、ボトルネックとなる複雑な処理を削減するため、ハイパフォーマンスコンピューティングアプリケーションにとって極めて重要です。シミュレーション、科学研究、人工知能のようなメモリを大量に使用するHPCアプリケーションでは、 H200の高いメモリ帯域幅が、データへのアクセスと操作を効率化し、CPUと比較して110倍の早さで結果を得ることができます。
特徴3エネルギーとTCOの削減+
H200の導入により、エネルギー効率とTCOが新たなレベルに到達します。この最先端のテクノロジは、すべてH100 TensorコアGPUと同じ電力プロファイル内で、かつてないパフォーマンスを提供します。AIファクトリーとスーパーコンピューティングシステムは、高速なだけでなく、環境にも優しく、AIと科学のコミュニティを推進する経済的優位性を提供します。

GPUのスペック・仕様

画面をスワイプ

← 左右にスクロールできます →
項目 NVIDIA H200 （SXM※1）
CPUメモリ 141 GB
GPU メモリ帯域幅 4.8 TB/秒
FP64 34 TFLOPS
FP64 Tensorコア 67 TFLOPS
FP32 67 TFLOPS
T32 Tensorコア※2 989 TFLOPS
BFLOAT16 Tensorコア※2 1,979 TFLOPS
FP16 Tensorコア※2 1,979 TFLOPS
FP8 Tensorコア※2 3,958 TFLOPS
INT8 Tensorコア※2 3,958 TFLOPS

※1仕様は変更される場合があります

※2疎性あり

日単位でご利用の場合

画面をスワイプ

← 左右にスクロールできます →
項目 性能
GPU NVIDIA H200 4基
GPU間通信 900Gbps（NVLink・NVSwitch）
CPU 2〜3.8GHz相当
システムメモリ 最大1TB
ストレージ 2TB
外部ネットワーク 1Gbps（100Mbps帯域保証）

※仕様は変更される場合があります

お問い合わせ