Google Cloud, LLM’lere güç sağlamak için oluşturulmuş yeni A3 süper bilgisayar sanal makinelerini duyurdu

Son aylarda LLM’lerin ve üretici yapay zekanın çığlık çığlığa bilincimize girdiğini gördüğümüz gibi, bu modellerin eğitilmesi ve çalıştırılması için muazzam miktarda bilgi işlem gücü gerektiği açıktır. Bunu fark eden Google Cloud, bugün Google I/O’da yeni bir A3 süper bilgisayar sanal makinesini duyurdu.

A3, bu kaynağa aç kullanım durumlarının önemli taleplerini karşılamak için özel olarak üretilmiştir.

Şirket bir duyuruda “A3 GPU VM’leri, modern CPU, iyileştirilmiş ana bilgisayar belleği, yeni nesil NVIDIA GPU’lar ve büyük ağ yükseltmeleri ile eksiksiz olarak günümüzün makine öğrenimi iş yükleri için en yüksek performanslı eğitimi sağlamak üzere özel olarak oluşturuldu” diye yazdı.

Spesifik olarak, şirket bu makineleri NVIDIA’nın H100 GPU’ları ile donatıyor ve bunu özel bir veri merkeziyle birleştirerek yüksek işlem hacmi ve düşük gecikme ile muazzam bilgi işlem gücü elde ediyor; bunların tümü, önerdikleri şey, genellikle böyle bir makine için ödeyeceğinizden daha makul bir fiyat noktasında. bir paket.

Spesifikasyon arıyorsanız, 8 NVIDIA H100 GPU, 4. Nesil Intel Xeon Ölçeklenebilir işlemciler, 2 TB ana bilgisayar belleği ve 8 GPU arasında 3,6 TB/sn iki bölümlü bant genişliği tarafından desteklendiğini göz önünde bulundurun. NVSwitch ve NVLink 4.0bu üründekiler gibi birden çok GPU arasındaki verimi en üst düzeye çıkarmaya yardımcı olmak için tasarlanmış iki NVIDIA teknolojisi.

Bu makineler 26 adede kadar exaFlop’lar Bu, daha büyük makine öğrenimi modellerinin eğitimiyle ilgili süreyi ve maliyeti iyileştirmeye yardımcı olmalıdır. Ayrıca, bu sanal makinelerdeki iş yükleri Google’ın özel Jüpiter veri merkezi şirketin “26.000 yüksek düzeyde birbirine bağlı GPU” olarak tanımladığı ağ yapısı. Bu, “talep üzerine topolojiyi ayarlayabilen tam bant genişliğine sahip yeniden yapılandırılabilir optik bağlantılar” sağlar. Şirket, bu yaklaşımın aynı zamanda bu iş yüklerini çalıştırma maliyetinin düşürülmesine de katkıda bulunması gerektiğini söylüyor.

Fikir, müşterilere karmaşık makine öğrenimi modelleri veya üretken yapay zeka uygulamalarını çalıştıran LLM’ler dahil olmak üzere daha zorlu iş yüklerini eğitmek ve bunu daha uygun maliyetli bir şekilde yapmak için tasarlanmış muazzam miktarda güç vermektir.

Google, A3’ü birkaç şekilde sunacak: Müşteriler bunu kendileri çalıştırabilir veya isterlerse, Google’ın onlar için ağır işlerin çoğunu üstlendiği yönetilen bir hizmet olarak çalıştırabilir. Kendin yap yaklaşımı, A3 VM’lerini Google Kubernetes Engine (GKE) ve Google Compute Engine (GCE) üzerinde çalıştırırken, yönetilen hizmet A3 VM’lerini şu platformda çalıştırır: Vertex AIşirketin yönetilen makine öğrenimi platformu.

Yeni A3 VM’ler bugün Google I/O’da duyurulsa da şimdilik yalnızca kaydolarak kullanılabilirler. önizleme bekleme listesi.