GPU sıkıntısı için AI projelerini optimize etmenin ve önceliklendirmenin yeni bir yolu

GPT-4 gibi büyük dil modelleri (LLM’ler) tarafından etkinleştirilen üretken yapay zeka, teknoloji dünyasında şok dalgalarına neden oldu. ChatGPT’nin hızlı yükselişi, küresel teknoloji endüstrisini yeniden değerlendirme ve önceliklendirme konusunda tetikledi nesil yapay zekaürün stratejilerini gerçek zamanlı olarak yeniden şekillendiriyoruz.

Yüksek Lisans’ların entegrasyonu, ürün geliştiricilere yapay zeka destekli özellikleri ürünlerine dahil etmenin kolay bir yolunu sağladı. Ama her şey yolunda gitmiyor. Ürün liderleri için göze çarpan bir zorluk büyük görünüyor: GPU kıtlığı ve giderek artan maliyetler.

LLM’lerin yükselişi ve GPU sıkıntısı

Yapay zeka girişimlerinin ve hizmetlerinin sayısının artması, A100’ler ve H100’ler gibi üst düzey GPU’lara olan talebin artmasına neden oldu ve bu nedenle her ikisi de arzı karşılamakta zorlanan Nvidia ve üretim ortağı TSMC’yi bunalttı. Reddit gibi çevrimiçi forumlar, GPU’nun kullanılabilirliği konusundaki hayal kırıklıklarıyla dolup taşıyor ve bu durum teknoloji topluluğunun duyarlılığını yansıtıyor. Durum o kadar vahim hale geldi ki hem AWS hem de Azure’un kota sistemlerini uygulamaktan başka seçeneği kalmadı.

Bu darboğaz sadece start-up’ları sıkıştırmakla kalmıyor; OpenAI gibi teknoloji devleri için bu bir engel. Yakın zamanda Londra’da yapılan kayıt dışı bir toplantıda OpenAI’nin CEO’su Sam Altman açıkça kabul edildi bilgisayar çipi sıkıntısının ChatGPT’nin ilerlemesini engellediğini. Altman’ın, bilgi işlem gücü eksikliğinin ortalamanın altında API kullanılabilirliğine yol açtığından ve OpenAI’nin ChatGPT için daha büyük “bağlam pencereleri” sunmasını engellediğinden yakındığı bildirildi.

Yapay zeka özelliklerine öncelik verme

Bir yandan, ürün liderleri kendilerini amansız bir yenilik çabasının ortasında buluyorlar ve en ileri özellikleri sunma beklentileriyle karşı karşıya kalıyorlar. AI geninin gücü. Öte yandan GPU kapasitesi kısıtlamalarının sert gerçekleriyle boğuşuyorlar. Bu, acımasız önceliklendirmenin sadece stratejik bir karar değil aynı zamanda bir zorunluluk haline geldiği karmaşık bir hokkabazlık eylemidir.

GPU kullanılabilirliğinin öngörülebilir gelecekte de sorun olmaya devam edeceği göz önüne alındığında, ürün liderlerinin GPU tahsisi konusunda stratejik düşünmesi gerekiyor. Geleneksel olarak ürün liderleri, Müşteri Değeri/İhtiyacı ve Çaba Matrisi gibi önceliklendirme tekniklerine yönelmiştir. Bu yöntem, hesaplama kaynaklarının bol olduğu bir dünyada ne kadar mantıklı olsa da, artık biraz yeniden değerlendirme gerektiriyor.

Kısıtlamanın yazılım yeteneği değil, bilgi işlem olduğu mevcut paradigmamızda, ürün liderleri, çeşitli ürünlere veya özelliklere nasıl öncelik vereceklerini yeniden tanımlamalı ve GPU sınırlamalarını stratejik karar almada ön plana çıkarmalıdır.

Kapasite kısıtlamalarına göre planlama yapmak teknoloji sektörü için alışılmadık görünebilir ancak diğer sektörlerde yaygın bir stratejidir. Temel kavram basittir: En değerli faktör, kısıtlı kaynak için harcanan zamandır ve amaç, bu kısıtlama için harcanan birim zaman başına değeri optimize etmektir.

Teknoloji başarı ölçümleri

Eski bir danışman olarak bu çerçeveyi çeşitli sektörlerde başarıyla uyguladım. Teknoloji ürün liderlerinin de GPU kısıtlamaları mevcutken ürün veya özelliklere öncelik vermek için benzer bir yaklaşım kullanabileceğine inanıyorum. Bu çerçeveyi uygularken değerin en basit ölçüsü karlılıktır.

Ancak teknolojide, özellikle yeni bir pazara veya ürüne girişirken karlılık her zaman uygun ölçü olmayabilir. Bu nedenle, dört adımlık basit bir sürecin ana hatlarını çizerek çerçeveyi teknolojide genel olarak kullanılan başarı ölçütleriyle uyumlu olacak şekilde uyarladım:

1. Katkı

Her şeyden önce, Kuzey Yıldızı metriğinizi tanımlayın. Bu, her ürünün veya özelliğin katkısıdır ve değerinin özünü özetleyen bir şeydir. Bazı somut örnekler şunları içerebilir:

• Gelir ve kârda artış
• Pazar payı kazanımları
• Günlük/aylık aktif kullanıcı sayısındaki artış

2. Gerekli GPU sayısı

Her ürün veya özellik için gereken GPU sayısını ölçün. Aşağıdakiler dahil temel faktörlere odaklanın:

• Kullanıcı başına günlük sorgu sayısı
• Günlük aktif kullanıcı sayısı
• Sorgunun karmaşıklığı (her sorgunun tükettiği jeton sayısı)

3. GPU başına katkıyı hesaplayın

Ayrıntılara ayırın. Her GPU genel hedefe nasıl katkıda bulunuyor? Bunu anlamak size GPU’larınızın en iyi nereye tahsis edildiğine dair net bir resim verecektir.

Ürünleri GPU başına katkıya göre önceliklendirin

Artık zor kararları verme zamanı geldi. Ürünlerinizi GPU başına katkılarına göre sıralayın ve ardından uygun şekilde sıralayın. Sınırlı kaynaklarınızın en fazla etki yaratacakları alanlara yönlendirilmesini sağlayarak öncelikle GPU başına en yüksek Katkıya sahip ürünlere odaklanın.

İle GPU kısıtlamaları Karar verme sürecinde artık kör bir nokta değil ölçülebilir bir faktör olduğundan, şirketiniz GPU eksikliğini daha stratejik bir şekilde giderebilir. Bu çerçeveyi hayata geçirmek için, bir ürün lideri olarak dört farklı ürün arasında öncelik verme zorluğuyla boğuştuğunuz bir senaryoyu gözümüzde canlandıralım:

Ürün A en yüksek gelir potansiyeline sahip olsa da GPU başına en yüksek katkıyı sağlayamıyor. Şaşırtıcı bir şekilde, en düşük gelir potansiyeline sahip Ürün D, GPU başına en önemli getiriyi sunuyor. Bu metriğe göre öncelik vererek toplam potansiyel geliri en üst düzeye çıkarabilirsiniz.

Diyelim ki emrinizde toplam 1.000 GPU var. Basit bir seçim, 100 milyon dolarlık bir gelir potansiyeli yaratan Ürün A’yı seçmenizi sağlayabilir. Ancak yukarıda açıklanan önceliklendirme stratejisini uygulayarak 155 milyon ABD doları gelir elde edebilirsiniz:

Aynı yöntem, pazar payı kazancı gibi diğer katkı ölçütlerine de uygulanabilir:

Benzer şekilde, Ürün A’yı seçmek %5’lik bir pazar payı kazancına yol açacaktı. Ancak yukarıda açıklanan önceliklendirme stratejisini uygulayarak %7,75 pazar payı kazancı elde edebilirsiniz:

Avantajlar ve sınırlamalar

Bu alternatif önceliklendirme çerçevesi daha incelikli ve stratejik bir yaklaşım getiriyor. GPU Başına Katkıyı sıfırlayarak, gelir, pazar payı veya diğer tanımlayıcı ölçümler açısından kaynakları en önemli farkı yaratabilecekleri yere stratejik olarak hizalamış olursunuz.

Ancak avantajlar burada bitmiyor. Bu yöntem aynı zamanda ürün ekipleri arasında daha büyük bir netlik ve nesnellik duygusunu da teşvik eder. İlk günlerimde bir sağlık şirketinde dijital dönüşüme öncülük etmem ve daha sonra çeşitli McKinsey müşterileriyle çalışmam da dahil olmak üzere deneyimlerime göre, bu yaklaşım, kapasite kısıtlamalarının kritik bir faktör olduğu senaryolarda oyunun kurallarını değiştiren bir yaklaşım oldu. Bu, aksi takdirde kararların odadaki en yüksek sese düşebileceği geleneksel politikaları bir kenara bırakarak, girişimleri daha veriye dayalı ve rasyonel bir şekilde önceliklendirmemize olanak sağladı.

Ancak herkese uyacak tek bir çözüm mevcut değildir ve bu yöntemin olası sınırlamalarını kabul etmeye değer. Örneğin bu yaklaşım her zaman belirli yatırımların stratejik önemini kapsamayabilir. Bu nedenle, çerçeveye ilişkin istisnalar yapılabilir ve yapılması gerekirken, bunların normdan ziyade dikkatle değerlendirilmesi gerekir. Bu, sürecin bütünlüğünü korur ve herhangi bir sapmanın daha geniş bir stratejik bağlam göz önünde bulundurularak yapılmasını sağlar.

Çözüm

Ürün liderleri benzeri görülmemiş bir durumla karşı karşıyadır. GPU sıkıntısıdolayısıyla kaynakları yönetmenin yeni yollarını bulmak gerekiyor. Büyük stratejist Sun Tzu’nun sözleriyle, “Kaosun ortasında fırsat da vardır.”

GPU eksikliği gerçekten de bir zorluktur, ancak doğru yaklaşımla aynı zamanda farklılaşma ve başarı için de bir katalizör olabilir. GPU Başına Katkı’ya odaklanan önerilen önceliklendirme çerçevesi, önceliklendirme için stratejik bir yol sunar. Şirketler GPU Başına Katkı’ya odaklanarak yatırım getirilerini en üst düzeye çıkarabilir, kaynakları en fazla etkiyi yaratacakları yere yönlendirebilir ve şirketlerinin uzun vadeli başarısı için en önemli olana odaklanabilir.

Prerak Garg, Microsoft’ta bulut ve yapay zeka kurumsal stratejisinin kıdemli yöneticisi ve eski bir McKinsey and Company etkileşim yöneticisidir..