Microsoft mempromosikan upayanya untuk membuat superkomputer menggunakan program komputasi awan Azure untuk membantu OpenAI dengan chatbot ChatGPT-nya. Pada saat yang sama, ia juga mengumumkan mesin virtual AI baru yang menggunakan GPU NVIDIA yang diperbarui.
ND H100 v5 VM baru dari Microsoft menggunakan GPU NVIDIA H100, peningkatan dari GPU A100 sebelumnya. Perusahaan yang perlu menambahkan kemampuan AI dapat mengakses layanan mesin virtual ini yang memiliki fitur berikut:
- 8x NVIDIA H100 Tensor Core GPU saling terhubung melalui NVSwitch generasi berikutnya dan NVLink 4.0
- NVIDIA Quantum-2 CX7 InfiniBand 400 Gb/s per GPU dengan 3,2 Tb/s per VM pada jaringan fat-tree non-blocking
- NVSwitch dan NVLink 4.0 dengan bisectional bandwidth 3,6TB/s antara 8 GPU lokal di setiap VM
- Prosesor Intel Xeon yang Dapat Diskalakan generasi ke-4
- Host PCIE Gen5 untuk interkoneksi GPU dengan bandwidth 64 GB/dtk per GPU
- 16 saluran DIMM DDR5 4800MHz
Ini merupakan tambahan untuk ChatGPT yang diumumkan sebelumnya oleh Microsoft pada Layanan OpenAI Azure, yang memungkinkan pihak ketiga untuk mengakses teknologi chatbot melalui Azure.
Dalam posting blog terpisah, Microsoft berbicara tentang bagaimana perusahaan mulai bekerja dengan OpenAI untuk membantu membuat superkomputer yang diperlukan untuk model bahasa besar ChatGPT (dan untuk Bing Chat milik Microsoft). Ini berarti menghubungkan ribuan GPU dengan cara yang benar-benar baru. Blog tersebut menawarkan penjelasan dari Nidhi Chappell, Kepala Produk Microsoft untuk Komputasi Kinerja Tinggi dan Azure AI:
Untuk melatih model bahasa yang besar, jelasnya, beban kerja komputasi dipartisi di ribuan GPU dalam sebuah cluster. Dalam fase tertentu dari perhitungan ini – disebut allreduce – GPU bertukar informasi tentang pekerjaan yang telah mereka lakukan. Jaringan InfiniBand mempercepat fase ini, yang harus diselesaikan sebelum GPU dapat memulai bagian perhitungan selanjutnya.
Perangkat keras ini digabungkan dengan perangkat lunak untuk membantu mengoptimalkan penggunaan GPU NVIDIA dan jaringan yang membuat semuanya bekerja bersama. Microsoft mengatakan terus menambah GPU dan memperluas jaringannya, sambil mencoba membuatnya tetap berjalan 24/7 melalui sistem pendingin, generator cadangan, dan sistem catu daya yang tidak pernah terputus.
