Meta, tavsiye modellerinin GPT-4’ten daha büyük olmasını bekliyor. Neden?

Meta, içerik önerme algoritmalarına daha fazla açıklık getirmeyi amaçlayan bugün yayınladığı bir duyuruda dikkat çekici bir iddiada bulundu. ChatGPT ve GPT-4 dahil olmak üzere piyasadaki en büyük büyük dil modellerinden daha büyük davranış analizi sistemleri için hazırlanıyor. Bu gerçekten gerekli mi?

Arada bir Meta, birkaç algoritmasının nasıl çalıştığını açıklayarak şeffaflık taahhüdünü tazelemeye karar verir. Bazen bu açıklayıcı veya bilgilendiricidir ve bazen sadece daha fazla soruya yol açar. Bu fırsat ikisinden de biraz.

Belirli bir bağlamda veya uygulamada yapay zekanın nasıl kullanıldığını açıklayan “sistem kartlarına” ek olarak, sosyal ağ ve reklamcılık ağı, kullandığı yapay zeka modellerine genel bir bakış yayınladı. Örneğin, bir videonun tekerlekli hokeyi mi yoksa tekerlekli derbiyi mi temsil ettiğini bilmek faydalı olabilir, ancak bazı görsel örtüşmeler olabilir, bu nedenle uygun şekilde tavsiye edilebilir.

Nitekim Meta, bir içeriği daha iyi anlamak için birden çok modaliteden (örneğin görsel ve işitsel) gelen verileri birleştiren çok modlu yapay zeka alanında daha üretken araştırma kuruluşları arasında yer aldı.

Hedefleme için bir örtmece olan “alaka düzeyi” gibi şeyleri iyileştirmek için şirket içinde nasıl kullanıldığını sık sık duysak da, bu modellerin çok azı halka açık olarak yayınlanmıştır. (Bazı araştırmacıların bunlara erişmesine izin veriyorlar.)

Ardından, hesaplama kaynaklarını nasıl oluşturduğunu açıklayan bu ilginç küçük bilgi geliyor:

İnsanların tercihlerini derinlemesine anlamak ve modellemek için öneri modellerimiz, bugün kullanılan en büyük dil modellerinden bile çok daha büyük olan on trilyonlarca parametreye sahip olabilir.

Bu on trilyonlarca teorik model hakkında biraz daha spesifik olmak için Meta’ya baskı yaptım ve bunlar tam da şu: teorik. Açıklama yapan şirket, “Tavsiye modellerimizin on trilyonlarca parametreye ulaşma potansiyeline sahip olduğuna inanıyoruz” dedi. Bu ifade biraz, burgerlerinizin 16 onsluk köfteleri “olabilir” demesine, ancak daha sonra hala çeyrek pounder aşamasında olduklarını kabul etmeye benziyor. Yine de şirket, “bu çok büyük modellerin geniş ölçekte verimli bir şekilde eğitilmesini ve dağıtılmasını sağlamayı” hedeflediğini açıkça belirtiyor.

Bir şirket, oluşturmayı veya kullanmayı düşünmediği yazılımlar için maliyetli bir altyapı oluşturur mu? Pek olası görünmüyor, ancak Meta aktif olarak bu boyuttaki modelleri takip ettiklerini doğrulamayı reddetti (ancak inkar etmediler). Çıkarımlar açık, yani bu onlarca trilyonlarca ölçekli modeli mevcut olarak ele alamasak da, olabilmek onu gerçekten istek uyandıran ve işlerde muhtemel olarak ele alın.

“İnsanların tercihlerini anlayın ve modelleyin” bu arada, kullanıcıların davranış analizi olarak anlaşılmalıdır. Gerçek tercihleriniz muhtemelen yüz kelimelik bir düz metin listesiyle temsil edilebilir. Temel düzeyde, birkaç milyar kullanıcı için bile tavsiyeleri işlemek için neden bu kadar büyük ve karmaşık bir modele ihtiyacınız olduğunu anlamak zor olabilir.

Gerçek şu ki, sorun alanı gerçekten çok büyük: hepsi ilgili meta verilere sahip milyarlarca ve milyarlarca içerik parçası var ve şüphesiz Patagonya’yı takip eden insanların da Dünya Yaban Hayatı Federasyonu’na bağış yapma eğiliminde olduğunu gösteren her türden karmaşık vektör var. pahalı kuş yemlikleri vb. Bu nedenle, tüm bu verilerle eğitilmiş bir modelin oldukça büyük olması şaşırtıcı olmayabilir. Ama oradaki en büyüğünden bile “kat kat daha büyük”, neredeyse erişilebilir her yazılı eser üzerinde eğitilmiş bir şey mi?

GPT-4’te güvenilir bir parametre sayımı yoktur ve AI dünyasının liderleri de bunun azaltıcı bir performans ölçüsü olduğunu bulmuşlardır, ancak ChatGPT yaklaşık 175 milyardır ve GPT-4’ün bundan daha yüksek, ancak daha düşük olduğuna inanılmaktadır. vahşi 100 trilyon iddiadan daha. Meta biraz abartıyor olsa da, bu yine de korkutucu derecede büyük.

Bir düşünün: Şimdiye kadar yaratılmış olanlardan daha büyük veya daha büyük bir AI modeli… Bir uçtan Meta’nın platformlarında yaptığınız her bir eylem, diğer uçtan bir sonraki adımda ne yapacağınıza veya beğeneceğinize dair bir tahmin geliyor. Biraz ürkütücü, değil mi?

Tabii bunu yapan sadece onlar değil. Tiktok, algoritmik izleme ve tavsiyede başı çekti ve sosyal medya imparatorluğunu, gözleriniz ağrıyana kadar kaydırmaya devam etmenizi amaçlayan “alakalı” içerikten oluşan bağımlılık yapan beslemesi üzerine kurdu. Rakipleri açıkça kıskanıyor.

Meta, hem bloktaki en büyük modeli yaratma hırsıyla hem de aşağıdaki gibi pasajlarla reklamcıları bilimle kör etmeyi açıkça hedefliyor:

Bu sistemler, çok büyük ölçekli dikkat modelleri, grafik sinir ağları, az atışlı öğrenme ve diğer teknikleri kullanarak insanların davranış tercihlerini anlar. En son önemli yenilikler arasında, çıkarım gecikmesini geriletmeden çeşitli son teknoloji temel çizgilerden önemli ölçüde daha iyi performans göstermemize izin veren yeni bir hiyerarşik derin nöral alma mimarisi; ve insanların çıkarlarıyla ilgili faktörleri daha iyi modellemek için heterojen etkileşim modüllerinden yararlanan yeni bir topluluk mimarisi.

Yukarıdaki paragraf, araştırmacıları (tüm bunları biliyorlar) veya kullanıcıları (anlamıyorlar veya umursamıyorlar) etkilemek için tasarlanmamıştır. Ancak kendinizi, parasının diğer seçenekler yerine Instagram reklamlarına harcanıp harcanmadığını sorgulamaya başlayan bir reklamverenin yerine koyun. Bu teknik palavra onların gözlerini kamaştırmayı, onları Meta’nın yapay zeka araştırmalarında bir lider olduğuna ve yapay zekanın insanların ilgi alanlarını ve tercihlerini “anlama” konusunda gerçekten mükemmel olduğuna ikna etmeyi amaçlıyor.

Şüpheniz varsa: “Bir kişinin Facebook ve Instagram akışlarındaki içeriğin yüzde 20’sinden fazlası artık yapay zeka tarafından takip etmedikleri kişi, grup veya hesaplardan öneriliyor.” Tam istediğimiz şey! İşte bu kadar. AI harika çalışıyor.

Ancak tüm bunlar aynı zamanda Meta, Google ve birincil motivasyon ilkesi giderek daha ayrıntılı ve kesin hedefleme ile reklam satmak olan diğer şirketlerin kalbindeki gizli aygıtı hatırlatıyor. Bu hedeflemenin değeri ve meşruiyeti, kullanıcılar isyan etse ve reklamlar gelişmek yerine çoğalsa ve ima etse bile sürekli olarak yinelenmelidir.

Meta hiçbir zaman bana 10 marka veya hobiden oluşan bir liste sunmak ve hangisini sevdiğimi sormak gibi mantıklı bir şey yapmadı. Yeni bir yağmurluk aramak için internette gezinirken ve ertesi gün bana yağmurluk reklamları sunarken bu gelişmiş bir yapay zekanın bir başarısıymış gibi davranırken omzumun üzerinden bakmayı tercih ediyorlar. İkinci yaklaşımın öncekinden üstün olduğu tam olarak net değil, ya da öyleyse, ne kadar üstün? Tüm web, hassas reklam hedeflemeye yönelik toplu bir inanç etrafında inşa edildi ve şimdi en son teknoloji, yeni, daha şüpheci bir pazarlama harcaması dalgası için onu desteklemek için kullanılıyor.

Elbette insanların neyi sevdiğini söylemek için on trilyon parametreli bir modele ihtiyacınız var. Onu eğitmek için harcadığınız milyar doları başka nasıl haklı çıkarabilirsiniz!

kim kimdir ne zaman nasıl nelerdir nedir ne işe yarar tüm bilgiler
dünyadan ilginç ve değişik haberler en garip haberler burada

Yorum yapın