OpenAI’ler gibi metin üreten AI modelleri, tüm tantana için GPT-4 çok fazla hata yapın – bazıları zararlıdır. The Verge’den James Vincent bir kere böyle bir modele “duygusal olarak manipülatif yalancı” adını verdi ve bu, mevcut durumu hemen hemen özetliyor.
Bu modellerin arkasındaki şirketler, sorunları çözmek için filtreler uygulamak ve sorunları işaretlendikçe düzeltmek için insan moderatör ekipleri uygulamak gibi adımlar attıklarını söylüyor. Ama tek bir doğru çözüm yok. Günümüzün en iyi modelleri bile önyargılara, toksisiteye ve kötü niyetli saldırılara karşı hassastır.
Nvidia, “daha güvenli” metin oluşturma modellerinin peşinde, bugün yapay zeka destekli uygulamaları daha “doğru, uygun, konuya uygun ve güvenli” hale getirmeyi amaçlayan açık kaynaklı bir araç seti olan NeMo Guardrails’i piyasaya sürdü.
Nvidia’da uygulamalı araştırmalardan sorumlu Başkan Yardımcısı Jonathan Cohen, şirketin Guardrails’in temel sistemi üzerinde “uzun yıllardır” çalıştığını, ancak yaklaşık bir yıl önce bunun GPT-4 ve benzeri modeller için iyi bir uyum olduğunu fark ettiğini söylüyor. ChatGPT.
Cohen e-posta yoluyla TechCrunch’a “O zamandan beri NeMo Guardrails’in bu sürümüne yönelik olarak gelişiyoruz” dedi. “Yapay zeka modeli güvenlik araçları, kurumsal kullanım durumlarına yönelik modellerin devreye alınmasında kritik öneme sahiptir.”
Guardrails, metin ve konuşma üreten AI uygulamalarına “güvenlik katmak” için kod, örnekler ve belgeler içerir. Nvidia, araç setinin çoğu üretken dil modeliyle çalışacak şekilde tasarlandığını ve geliştiricilerin birkaç satır kod kullanarak kurallar oluşturmasına izin verdiğini iddia ediyor.
Özellikle, Korkuluklar, modellerin konudan sapmasını, yanlış bilgi veya zehirli bir dille yanıt vermesini ve “güvenli olmayan” dış kaynaklarla bağlantı kurmasını önlemek veya en azından engellemeye çalışmak için kullanılabilir. Örneğin, bir müşteri hizmetleri asistanının hava durumuyla ilgili soruları yanıtlamasını veya bir arama motoru sohbet robotunun itibarsız akademik dergilere bağlanmasını engellemeyi düşünün.
Cohen, “Nihayetinde geliştiriciler, uygulamaları için neyin sınırların dışında olduğunu Guardrails ile kontrol ediyor” dedi. “Kullanım durumları için çok geniş veya tersine çok dar korkuluklar geliştirebilirler.”
Dil modellerinin eksiklikleri için evrensel bir düzeltme, kulağa gerçek olamayacak kadar iyi geliyor – ve gerçekten de öyle. Zapier gibi şirketler üretken modellerine bir güvenlik katmanı eklemek için Guardrails kullanırken, Nvidia araç setinin kusurlu olmadığını kabul ediyor; başka bir deyişle, her şeyi yakalayamayacak.
Cohen ayrıca, Guardrails’in ChatGPT gibi “talimatları takip etmede yeterince iyi” olan ve popüler Dil Zinciri AI destekli uygulamalar oluşturmak için çerçeve. Bu, oradaki bazı açık kaynak seçeneklerini diskalifiye eder.
Ve – teknolojinin etkinliği bir yana – Nvidia’nın Guardrails’i kalbinin iyiliğinden ille de serbest bırakmadığı vurgulanmalıdır. Nvidia’nın kurumsal AI yazılım paketi ve NeMo tam olarak yönetilen bulut hizmeti aracılığıyla kullanılabilen şirketin NeMo çerçevesinin bir parçasıdır. Herhangi bir şirket, Guardrails’in açık kaynak sürümünü uygulayabilir, ancak Nvidia, kesinlikle bunun yerine barındırılan sürüm için ödeme yapmayı tercih eder.
Bu nedenle, Guardrails’in muhtemelen bir zararı olmasa da, bunun sihirli değnek olmadığını unutmayın ve Nvidia aksini iddia ederse dikkatli olun.
kim kimdir ne zaman nasıl nelerdir nedir ne işe yarar tüm bilgiler
dünyadan ilginç ve değişik haberler en garip haberler burada