Clibrain, İspanyolca için optimize edilmiş bir LLM olan Lince ile üretken AI yarışına katılıyor

Daha yüksek profilli üç örnek vermek gerekirse, OpenAI’nin GPT-4’ünden Google’ın PaLM2’ye ve Meta’nın LLaMA’sına kadar uzun bir Büyük Dil Modelleri (LLM) listesi zaten var. LLM’ler arasındaki fark, modelin temel mimarisi, kullanılan eğitim verileri, uygulanan model ağırlıkları ve belirli bağlamlar/amaçlar için herhangi bir ince ayar ve ayrıca geliştirme maliyeti (ve model üreticisinin savurganlık için ayıracağı bütçe) gibi faktörler tarafından belirlenir. tüm bunlar, üretici yapay zekanın bu çeşidinin bir kullanıcının doğal dil sorgusuna yanıt olarak nasıl performans gösterdiğini etkileyebilir.

Mesele şu ki, yapay zeka üreticilerinin ne kadar çok değişkenle oynayabileceği ve belirli bir kullanım durumu için konuşmaya dayalı üretken yapay zekadan en iyi performansı almaya çalışmak için bağlamların eğilebileceği göz önüne alındığında, bu zaten uzun olan LLM listesinin yakın zamanda büyümesini durdurması pek olası görünmüyor.

Çıktıları etkileyen diğer bir faktör, LLM gelişiminin İngilizce diline ne kadar odaklandığıdır – diğer dillerdeki eğitim modellerine daha az önem verilir (genellikle eğitim için İngilizce dil verilerini elde etmek daha ucuz/kolaydır). Bu, LLM’lerin İngilizce dilindeki sorgulara yanıt olarak diğer dillerdeki sorulara göre daha iyi performans göstereceği anlamına gelir. Bu nedenle, İngilizce dışındaki dillerde eğitilmiş modeller, muhtemelen, bu listeyi oluşturmaya devam etmek için oldukça dikkate değer bir fırsat sunuyor.

Bunun için tanışın Lince Sıfır: Geçen hafta Madrid merkezli yapay zeka girişimi tarafından yayınlanan, İspanyolca eğitimli bir LLM Klibeyinİspanyolca konuşanlar için optimize edilmiş modeller geliştirerek üretken yapay zeka yarışına katılmak için bir boşluk gördüğünü düşünüyor.

İspanyolca’nın yalnızca dünya çapında en çok konuşulan dillerden biri olmakla kalmayıp, aynı zamanda birden fazla kıtaya (ve kültürel bağlamlara) yayılan 20 kadar ülkede konuşulduğu için lehçeler ve varyantlar açısından önemli bir çeşitliliğe sahip olduğuna işaret ediyor – bu da performansın suyunu bulandırdığını gösteriyor. çok kapsamlı bir şekilde odaklanmayan ana akım modellerin espanol.

Böyle biggie, OpenAI’nin ChatGPT’si İspanyolca’yı idare ediyor. Başkaları da olabilir. Ancak Clibrain, dile tam olarak odaklanmanın, yakında çıkacak olan temel modelinin yanı sıra büyük modelin üzerinde geliştirmeyi planladığı bir dizi etki alanı eğitimli modelin, ortalama LLM’den daha fazla İspanyolca dilsel nüansı ayrıştırıp anlayabileceğini iddia ediyor. İspanyolca dil verilerinin özel bir külliyatı üzerinde eğitime.

Lince Zero’nun piyasaya sürülmesi, iddialı yol haritasının ilk adımıdır. Bu LLM büyük ölçüde mevcut açık kaynak teknolojilerine dayanmaktadır – bu nedenle henüz kendi temel modeline sahip olamaz. Ama yakında geleceğini söylüyor.

Kurucu ortak ve CEO Elena González-Blanco, AI (veya IA İspanyolca olarak işlendiği şekliyle) – doğal dil işleme (NLP) teknolojisinin önceki yinelemeleri üzerinde çalışarak ve insurtech ve fintech’te (Indra ve Banco Santander dahil şirketlerde) endüstri deneyimini artırmak için harcanan yıllar dahil.

Ancak, Clibrain’in şimdi model yapma hedeflerini beslemek için benzersiz eğitim verileri sağlamasına olanak tanıyarak, projeye özellikle önemli bir katkı sağladığına işaret ederek, dilbilim araştırmaları yaptığı yıllara geri dönüyor.

Dil kalitesine güvenmek

“Bir külliyatımız var [of training data] ki bu benzersiz, ”diyor. “Ben bir dilbilimciyim, diyelim ki, dil tarihi, İspanyolca açısından 15 yıllık araştırmam var… henüz eğitim için kullanılmamış birçok bağlantım var. Yani benzersiz bir külliyatımız var [as a differentiator]”

TechCrunch’a “Bizim için çok ilginç bir fırsat olduğunu düşünüyoruz çünkü AI dünyasında pek çok şey olduğu doğru, ancak İspanyolca konuşulan pazar tamamen ikinci bir seviyede,” diyor. “İnşa ettiğimiz şeyin kalitesi – dilsel olarak – önemli ölçüde farklı. Yani nokta değil [to build] devasa bir model ama çok kaliteli bir model.”

Clibrain’in Lince Zero modeli olarak adlandırılan (ve bir açık kaynak lisansı altında piyasaya sürülen) ilk model sürümü, boru hattında sahip olduğu daha güçlü (temel) bir modelin (40BN parametreleri) 7BN parametre tadımıdır; Lince (İngilizce’de vaşak anlamına gelen bir kelime; aka, İspanya’nın ikonik ama nadiren görülen vahşi kedisine bir gönderme).

Parametre numaralarından da anlaşılacağı gibi, bu LLM’ler bloktaki en büyük modeller olma iddiasından uzaktır. Ancak, González-Blanco’nun öne sürdüğü gibi, Clibrain’in inancı, İspanyolca’nın daha iyi anlaşılması etrafında bir performans avantajı yaratma söz konusu olduğunda, model boyutunun kendi başına öldürücü özellik olmayacağıdır – daha çok dilsel ayrıntılara yönelik kaliteli dikkat dikkate alınacaktır (ve, İspanya pazarlarında kendisine avantaj sağlamayı umuyor). Bu nedenle, esasen, daha yüksek düzeyde yerel dil anlayışı için son teknoloji üretken yapay zeka yeteneklerinden (ve/veya güçten) biraz ödün vermeye istekli bir grup İspanyolca konuşan kullanıcı olacağını tahmin ediyor.

Ve bu cephede, çeviri sırasında kaybolan şeylerin çok fazla rahatsız edici sürtüşme yaratabileceğini söylemek doğru olur. Bu nedenle, Lince’in gerçekten İspanyolca sorguları için dilbilimsel bir avantaj sağlayabileceğini ve sürdürebileceğini varsayarsak, bu, (en azından) dünya çapında anadili İspanyolca olan yaklaşık yarım milyarın bir kısmı için bu tür yapay zekayı kullanmaya başlayabilecek bir şey olabilir. aletler.

Elbette, belirli bir dil için optimize etmenin değerini ilk gören o değil. Şu anda İngilizce olmayan dil için optimize edilmiş LLM’ler var, örneğin Baidu’nun Çince modeli Ernie. Veya bu Almanca için ayarlanan LLM model ailesi. Güney Koreli teknoloji devi Naver ayrıca üretken AI modelleri üzerinde çalışıyor Korece eğitimi aldı. Ve en azından daha yaygın olarak konuşulan diller için, anadili İngilizce olmayan topluluklara yönelik daha fazla LLM göreceğimiz kesin.

Clibrain, İspanyolca’ya odaklanan ilk konuşmalı yapay zeka modeli de değil. Barselona Süper Bilgi İşlem Merkezi’nin MarIA projesi2021’de piyasaya sürülen , İspanyolca dilindeki ilk “devasa” AI sistemi olduğu iddia edildi. Ancak Clibrain, MarIA’yı geride bıraktığını ve bugüne kadar İspanyolca konuşulan pazara odaklanan teknolojik olarak en “gelişmiş” modeli bir araya getirdiğini savunuyor.

Per González-Blanco, Lince Zero’nun performansının GPT-3’e eşdeğer olduğunu, oysa MarIA’nın performansının GPT-2’ye eşdeğer olduğunu söylüyor. (Her ne kadar LLM’lerin dilsel performanslarını kıyaslamak kendi başına son teknoloji bir iş olsa da. Yine de bu cephede Clibrain, İspanyolca konuşanları nelerin inşa edildiğini kontrol etmeye ve geri bildirim oluşturmaya teşvik ediyor.)

Lince Zero’nun aksine, gelecek (tam yağlı) Lince modeli açık kaynak olmayacak. Bunun yerine tescilli model, API aracılığıyla, İspanyolca bir veri külliyatı üzerinde eğitilmiş bir modele bağlanmak isteyen ödeme yapan müşterilere sunulacak. Başlangıç ​​ayrıca, modeli sunduğu üçlü iletişim ve üretkenlik uygulamalarına (CliChat, CliCall ve CliBot olarak adlandırılır) yerleştirerek erişim sunacak.

Geliştirme de devam edecek ve yalnızca metne değil, görüntülere ve sese yanıt verebilen çok modlu modeller de dahil olmak üzere daha özel modeller sunmayı amaçlıyor. Dolayısıyla, ürün yol haritasında ekibi meşgul edecek çok şey var.

Clibrain, Lince Zero’yu oluşturmak için bir dizi açık kaynak teknolojisinden yararlanırken Sarılma Yüz modeli kartı bir kombinasyonu kullanılarak ince ayar yapılmış Falcon-7B’ye dayalı olduğunu şart koşuyor Alpaka Ve oyuncak bebek veri kümeleri — İspanyolcaya çevrilmiş ve 80 bin örneğe “artırılmış”), yalnızca mevcut mimarileri kullanmadığını, yapay zekada kendi kıdemli mühendislik yeteneğini öne çıkardığını iddia ediyor.

Girişim yalnızca Nisan ayında kuruldu, bu nedenle yalnızca yaklaşık üç aylık – bu, model eğitimi için yararlanılacak ve maliyetleri hesaplanacak çok sayıda zengin açık kaynak kitaplığıyla, bugünlerde üretken AI alanındaki hızlı gelişme hızının altını çiziyor gibi görünüyor. hatta son yıllara göre önemli ölçüde azalmıştır. Ancak, González-Blanco’nun başka bir girişiminden (Clidrive adlı araba destekli bir kredi kuruluşu) çıktığı için tam olarak sıfırdan başlamıyordu.

O işletmede dahili olarak AI ile deneyler yaptıklarını, ancak İspanyol pazarları için ayarlanmış bir LLM geliştirme fırsatının boyutunun ayrı bir girişim başlatmayı hak ettiğine karar verdiklerini açıklıyor – ve işte buradalar: A özünde üretken yapay zekaya odaklanan bir Ar-Ge laboratuvarına sahip 30’a yakın personelden oluşan çok disiplinli bir ekip.

González-Blanco, “Bu araştırma grubunu oluşturmak ve halihazırda yaptığımız şeyleri merkeze almak bizim için gerçekten çok kolaydı” diye ekliyor.

Diğer (dört) kurucu ortak, Pablo Fernández (başkan), Pablo Molina (CTO), Paul Martz (CPO) ve David Villalón’dur (CAIO).

Kurucu ortaklar, önceki başlangıç ​​çıkışlarından toplanan fonları kullanarak şimdiye kadar geliştirmeyi önyüklediler. Bunun anlamı – belki de alışılmadık bir şekilde, büyük miktarlarda yatırımcı parasının yapay zeka odaklı girişimcileri hedeflemek için yeniden yönlendirildiği bu yapay zeka abartılı zamanlarda – Clibrain’in henüz büyük bir yatırımcı kadrosu veya derin bir fon kaynağı yok.

González-Blanco, dışarıdan bağış toplamak yerine temel modeller geliştirmeye ve ilk ürünlerini piyasaya sürmeye odaklanmak istediklerini söylüyor. Ancak, Lince ürün yol haritasında ilerlemeye devam ederken, kurucuların kendi başlarına yapabileceklerinden daha büyük bir yatırım turunu artırmayı düşünebileceklerini de ekliyor.