NVIDIA H100

Training IA trasformazionale

La H100 è dotata di Tensor Core di quarta generazione e del Transformer Engine con precisione FP8 che offre un training fino a 9 volte più veloce rispetto alla generazione precedente per i modelli MoE (Mix-of-Experts). La combinazione di NVlink di quarta generazione, che offre 900 gigabyte al secondo (GB/s) di interconnessione GPU-GPU, NVSwitch Switch System, che accelera la comunicazione da ogni GPU su più nodi, PCIe Gen5 e il software NVIDIA Magnum IO offre scalabilità efficiente da cluster di piccole imprese a cluster GPU massicci e unificati.

Inferenza su deep learning in tempo reale

L'IA risolve una vasta gamma di sfide aziendali, utilizzando una gamma ugualmente ampia di reti neurali. Un ottimo acceleratore di inferenza IA non deve garantire solo le massime prestazioni ma anche la versatilità per accelerare tali reti. H100 espande ulteriormente la leadership di NVIDIA nell'inferenza sul mercato con diversi progressi che accelerano l'inferenza fino a 30 volte e offrono la latenza più bassa. I Tensor Core di quarta generazione accelerano tutte le precisioni, tra cui FP64, TF32, FP32, FP16 e INT8, mentre il Transformer Engine utilizza FP8 e FP16 insieme per ridurre l'utilizzo della memoria e aumentare le prestazioni, mantenendo comunque l'accuratezza per i modelli linguistici di grandi dimensioni.

Calcolo ad alte prestazioni exascale

La piattaforma per data center NVIDIA offre guadagni in termini di prestazioni oltre la legge di Moore. Le nuove e rivoluzionarie funzionalità IA di H100 aumentano ulteriormente la potenza dell'HPC+IA per accelerare i tempi delle scoperte per scienziati e ricercatori che lavorano per risolvere le sfide più importanti del mondo. La H100 triplica le operazioni in virgola mobile al secondo (FLOPS) dei Tensor Core a doppia precisione, offrendo 60 teraFLOPS di calcolo a FP64 per HPC. Le applicazioni HPC con IA integrata possono sfruttare la precisione TF32 di H100 per ottenere un petaFLOP di throughput per operazioni di moltiplicazione a matrici a precisione singola, senza alcuna modifica del codice.

Analisi dei dati accelerata

L'analisi dei dati spesso consuma la maggior parte del tempo nello sviluppo di applicazioni IA. Poiché i set di dati di grandi dimensioni sono disseminati su più server, le soluzioni scale-out con server commodity basati solo su CPU sono rallentati dalla carenza di prestazioni di calcolo scalabili. I server accelerati con H100 offrono la potenza di calcolo, oltre a 3 terabyte al secondo (TB/s) di banda di memoria per GPU e scalabilità con NVLink e NVSwitch, per affrontare l'analisi dei dati con prestazioni elevate e scalabilità per supportare set di dati di grandi dimensioni. Insieme a NVIDIA Quantum-2 InfiniBand, il software Magnum IO, Spark 3. 0 accelerato da GPU e NVIDIA RAPIDS, la piattaforma per data center NVIDIA è in grado di accelerare questi enormi carichi di lavoro a livelli mai visti prima in termini di prestazioni ed efficienza.

Pronta per l'uso aziendale

I responsabili IT cercano di massimizzare l'utilizzo (sia di picco che medio) delle risorse di calcolo nel data center. Spesso utilizzano la riconfigurazione dinamica del calcolo per dimensionare correttamente le risorse per i carichi di lavoro in uso. Multi-Instance GPU (MIG) di seconda generazione in H100 massimizza l'utilizzo di ciascuna GPU partizionandola in modo sicuro in ben sette istanze separate. Con il supporto per il computing riservato, H100 consente un utilizzo sicuro end-to-end e multi-tenant, ideale per gli ambienti CSP.

Calcolo riservato integrato

Le attuali soluzioni di computing riservato sono basate su CPU, troppo limitate per i carichi di lavoro ad alta intensità di calcolo come IA e HPC. NVIDIA Confidential Computing è una funzionalità di sicurezza integrata dell'architettura NVIDIA Hopper che rende la H100 il primo acceleratore al mondo con funzionalità di elaborazione riservate. Gli utenti possono tutelare la riservatezza e l'integrità dei dati e delle applicazioni durante l'elaborazione, ottenendo al contempo l'accelerazione senza pari delle GPU H100. La soluzione crea un ambiente di esecuzione affidabile (TEE) basato su hardware che protegge e isola l'intero carico di lavoro in esecuzione su una singola GPU H100, più GPU H100 all'interno di un nodo o singole istanze MIG. Le applicazioni accelerate da GPU possono essere eseguite invariate in ambienti TEE e non devono essere partizionate. Gli utenti possono combinare la potenza del software NVIDIA per IA e HPC con la sicurezza di un hardware comprovato offerto da NVIDIA Confidential Computing.