Bankayı bozmadan büyük dil modellerinden nasıl yararlanılır

Üretken AI devam ediyor manşetlere hakim ol. Başlangıcında, hepimiz yeniliğe kapıldık. Ama artık eğlencenin ve oyunların çok ötesindeyiz – onun iş üzerinde gerçek etki. Ve herkes kafa kafaya dalıyor.

MSFT, AWS ve Google tam bir “AI silahlanma yarışı” hakimiyet peşinde. İşletmeler, geride kalma veya büyük bir fırsatı kaçırma korkusuyla aceleyle dönüşler yapıyor. tarafından desteklenen yeni şirketler büyük dil modelleri (LLM’ler), bir sonraki bahislerinin peşinde koşan VC’ler tarafından körüklenen dakikalar içinde ortaya çıkıyor.

Ancak her yeni teknoloji beraberinde zorluklar getirir. Model doğruluğu ve önyargı ve eğitim maliyeti günlük konular arasındadır. Kimlik ve güvenlik, teknolojinin doğasında olan sorunlardan çok modellerin kötüye kullanılmasıyla ilgili olsa da, manşetlere çıkmaya başlıyor.

Çalışan modellerin maliyeti inovasyon için büyük bir tehdit

Üretken yapay zeka aynı zamanda eski açık kaynak ve kapalı kaynak tartışmasını da geri getiriyor. Her ikisinin de kuruluşta yeri olsa da, açık kaynak, dağıtım ve üretime geçiş için daha düşük maliyetler sunar. Ayrıca mükemmel erişilebilirlik ve seçenek sunarlar. Bununla birlikte, şu anda çok sayıda açık kaynak modeli görüyoruz, ancak teknolojide bunları uygulanabilir bir şekilde dağıtmak için yeterli ilerleme yok.

Bütün bunlar bir yana, hala çok daha fazla dikkat gerektiren bir konu var: Bu büyük modelleri üretimde çalıştırmanın maliyeti (çıkarım maliyetleri) yenilik için büyük bir tehdit oluşturmaktadır. Üretken modeller son derece büyük, karmaşık ve hesaplama açısından yoğundur, bu da onları çalıştırmayı diğer makine öğrenimi modellerine göre çok daha pahalı hale getirir.

Müşterilerin odalarını farklı tasarım stillerinde hayal etmelerine yardımcı olan bir ev dekorasyonu uygulaması oluşturduğunuzu hayal edin. Bazı ince ayarlarla, Kararlı Difüzyon modeli bunu nispeten kolayca yapabilir. 1.000 görüntü için 1,50 ABD doları talep eden bir hizmete karar verdiniz, bu kulağa pek hoş gelmeyebilir, ancak uygulama viral olursa ne olur? Diyelim ki her gün on resim yapan 1 milyon aktif kullanıcınız var. Çıkarım maliyetleriniz artık yılda 5,4 milyon dolardır.

LLM maliyeti: Çıkarım sonsuza kadar sürer

Şimdi, eğer bir üretken model veya uygulamanızın bel kemiği olarak bir LLM, tüm fiyatlandırma yapınız, büyüme planınız ve iş modeliniz bu maliyetleri dikkate almalıdır. AI uygulamanız başlatıldığında, eğitim aşağı yukarı bir batık maliyettir, ancak çıkarım sonsuza kadar sürer.

Bu modelleri kullanan birçok şirket örneği var ve bu maliyetleri uzun vadede sürdürmeleri giderek zorlaşacak.

Ancak tescilli modeller kısa sürede büyük ilerleme kaydetse de tek seçenek değiller. Açık kaynak modeller aynı zamanda esneklik, performans ve maliyet tasarrufu açısından büyük umut vadediyor ve ilerleyen birçok gelişmekte olan şirket için uygun bir seçenek olabilir.

Hibrit dünya: Açık kaynaklı ve tescilli modeller önemlidir

Tescilli modellerle kısa sürede sıfırdan 60’a çıktığımıza şüphe yok. Sadece son birkaç ayda, OpenAI ve Microsoft’un lansmanını gördük GPT-4, Bing Chat ve sonsuz sayıda eklenti. Bard’ın tanıtılmasıyla Google da devreye girdi. Uzaydaki ilerleme etkileyici olmaktan başka bir şey değildi.

Ancak, yaygın inanışın aksine, gen yapay zekanın “kazanan her şeyi alır” oyunu olduğuna inanmıyorum. Aslında, bu modeller yenilikçi olmakla birlikte, mümkün olanın yüzeyini zar zor çiziyor. Ve en ilginç yenilik henüz gelmedi ve açık kaynak olacak. Tıpkı yazılım dünyasında gördüğümüz gibi, şirketlerin mantıklı olduğu yerlerde tescilli ve açık kaynak modelleri kullanarak hibrit bir yaklaşım benimsediği bir noktaya ulaştık.

Açık kaynağın yaygınlaşmasında önemli bir rol oynayacağına dair zaten kanıtlar var. gen yapay zeka. Meta’nın yeni LLaMA 2’si var, en yenisi ve en iyisi. Sonra var LLaMA, mütevazı bir miktar (yaklaşık 80.000 $) karşılığında yeniden eğitilebilen ve yaklaşık 600 $ karşılığında talimat ayarlanabilen güçlü ancak küçük bir model. Bu modeli her yerde, hatta bir Macbook Pro’da, akıllı telefonda veya Raspberry Pi’de bile çalıştırabilirsiniz.

Bu arada, Cerebras bir model ailesini tanıttı ve Databricks, aynı zamanda esnek ve eğitilmesi ucuz olan, ChatGPT tarzı açık kaynaklı bir model olan Dolly’yi piyasaya sürdü.

Açık kaynağın modelleri, maliyeti ve gücü

Açık kaynak modellerinin yükselişini görmeye başlamamızın nedeni esneklikleri; bunları doğru araçlarla herhangi bir donanımda çalıştırabilirsiniz. Kapalı tescilli modellerle bu düzeyde ve kontrol esnekliği elde edemezsiniz.

Ve bunların hepsi kısa bir süre içinde oldu ve bu sadece başlangıç.

Açık kaynak yazılım topluluğundan harika dersler aldık. AI modellerini açık bir şekilde erişilebilir hale getirirsek inovasyonu daha iyi destekleyebiliriz. Daha büyük iyilik için modellere katkıda bulunmak, bunları geliştirmek ve özelleştirmek için geliştiriciler, araştırmacılar ve yenilikçilerden oluşan küresel bir topluluğu destekleyebiliriz.

Bunu başarabilirsek, geliştiriciler, ister açık kaynaklı, ister hazır veya özel olsun, kendi özel ihtiyaçlarına uygun modeli çalıştırma seçeneğine sahip olacak. Bu dünyada, olasılıklar gerçekten sonsuzdur.

Luis Ceze CEO’su OctoML.