MIT’nin Sıvı Sinir Ağları, robotikten sürücüsüz arabalara kadar yapay zeka sorunlarını nasıl çözebilir?

Mevcut yapay zeka (AI) manzarasında, etraftaki vızıltı büyük dil modelleri (LLM’ler) giderek daha büyük sinir ağları oluşturmaya yönelik bir yarışa yol açtı. Ancak her uygulama, çok büyük derin öğrenme modellerinin hesaplama ve bellek taleplerini destekleyemez.

Bu ortamların kısıtlamaları, bazı ilginç araştırma yönlerine yol açmıştır. Araştırmacılar tarafından geliştirilen yeni bir tür derin öğrenme mimarisi olan sıvı sinir ağları MIT’de Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı (CSAIL), belirli AI sorunlarına kompakt, uyarlanabilir ve verimli bir çözüm sunar. Bu ağlar, geleneksel ağların doğasında var olan bazı zorlukları ele almak için tasarlanmıştır. derin öğrenme modelleri.

Sıvı sinir ağları, yapay zekada yeni yenilikleri teşvik edebilir ve özellikle robotik ve sürücüsüz arabalar gibi geleneksel derin öğrenme modellerinin zorlandığı alanlarda heyecan vericidir.

Sıvı sinir ağları nedir?

MIT CSAIL direktörü Daniela Rus, VentureBeat’e şunları söyledi: “Sıvı sinir ağları için ilham kaynağı, makine öğrenimine yönelik mevcut yaklaşımları düşünmek ve bunların robotların ve uç cihazların sunduğu güvenlik açısından kritik sistemlere nasıl uyduğunu düşünmekti.” “Bir robotta, gerçekten büyük bir dil modeli çalıştıramazsınız çünkü gerçekten hesaplama yoktur. [power] Ve [storage] bunun için yer.”

Rus ve işbirlikçileri, buluta bağlanmaya gerek kalmadan bir robotun bilgisayarlarında çalışabilmeleri için hem doğru hem de bilgi işlem açısından verimli sinir ağları oluşturmak istediler.

Aynı zamanda, küçük organizmalarda bulunan biyolojik nöronlar üzerine yapılan araştırmalardan ilham aldılar. C. Elegans solucanı302’den fazla nöronla karmaşık görevleri gerçekleştiren. Çalışmalarının sonucu şuydu: sıvı sinir ağları (LNN).

Sıvı sinir ağları, geleneksel derin öğrenme modellerinden önemli bir ayrılığı temsil eder. Hesaplama açısından daha az pahalı olan ve eğitim sırasında nöronları stabilize eden bir matematiksel formülasyon kullanırlar. LNN’lerin verimliliğinin anahtarı, eğitimden sonra yeni durumlara uyum sağlamalarına izin veren dinamik olarak ayarlanabilen diferansiyel denklemleri kullanmalarında yatmaktadır. Bu, tipik sinir ağlarında bulunmayan bir yetenektir.

Rus, “Temel olarak yaptığımız şey, bir nöronun temsili öğrenme kapasitesini mevcut modellere göre iki içgörü ile artırmaktır” dedi. “Birincisi, öğrenme sırasında nöron kararlılığını artıran bir tür uslu hal uzayı modeli. Ardından, hem eğitim hem de çıkarım sırasında modelimizin ifade edilebilirliğini artırmak için sinaptik girdiler üzerinden doğrusal olmama durumları ekliyoruz.”

LNN’ler ayrıca geleneksel sinir ağlarından farklı olan ve aynı katman içinde yanal ve tekrarlayan bağlantılara izin veren bir kablolama mimarisi kullanır. Altta yatan matematiksel denklemler ve yeni kablolama mimarisi, sıvı ağların davranışlarını dinamik olarak ayarlayabilen sürekli zamanlı modelleri öğrenmesini sağlar.

Rus, “Bu model çok ilginç çünkü eğitimden sonra gördüğü girdilere göre dinamik olarak uyarlanabiliyor” dedi. “Ve gözlemlediği zaman sabitleri, gördüğü girdilere bağlıdır ve bu nedenle, nöronun bu formülasyonu sayesinde çok daha fazla esnekliğe ve adaptasyona sahibiz.”

Sıvı sinir ağlarının avantajları

LNN’lerin en çarpıcı özelliklerinden biri kompakt olmalarıdır. Örneğin, klasik bir derin sinir ağı, bir arabayı şeridinde tutmak gibi bir görevi gerçekleştirmek için yaklaşık 100.000 yapay nöron ve yarım milyon parametre gerektirir. Buna karşılık, Rus ve meslektaşları aynı görevi yalnızca 19 nöronla gerçekleştirmek için bir LNN eğitmeyi başardılar.

Rus, boyuttaki bu önemli azalmanın birkaç önemli sonucu olduğunu söyledi. Birincisi, modelin robotlarda ve diğer uç cihazlarda bulunan küçük bilgisayarlarda çalışmasını sağlar. İkincisi, daha az nöronla ağ çok daha yorumlanabilir hale gelir. Yorumlanabilirlik, AI alanında önemli bir zorluktur. Geleneksel derin öğrenme modellerinde, modelin belirli bir karara nasıl ulaştığını anlamak zor olabilir.

Rus, “Yalnızca 19 nöronumuz olduğunda, ateşleme modellerine ve esasen 19 nöronlu sistemdeki karar verme akışına karşılık gelen bir karar ağacı çıkarabiliriz” dedi. “Bunu 100.000 veya daha fazlası için yapamayız.”

LNN’lerin ele aldığı bir başka zorluk da nedensellik konusudur. Geleneksel derin öğrenme sistemleri genellikle nedensel ilişkileri anlamak, çözdükleri problemle ilgili olmayan sahte kalıpları öğrenmelerine yol açar. Öte yandan LNN’ler, nedensel ilişkileri daha iyi kavrayarak, görünmeyen durumlara daha iyi genelleme yapmalarına olanak tanıyor gibi görünmektedir.

Örneğin, araştırmacılar MİT CSAIL eğitimli LNN’ler ve yazın ormanda çekilen bir video karesi akışında nesne tespiti için diğer birkaç derin öğrenme modeli türü. Eğitilmiş LNN farklı bir ortamda test edildiğinde, görevi yine de yüksek doğrulukla yerine getirebildi. Buna karşılık, diğer sinir ağı türleri, ayar değiştiğinde önemli bir performans düşüşü yaşadı.

Rus, “Güz ve kış aylarında yalnızca sıvı ağların görevi tamamlayabildiğini gözlemledik çünkü bu ağlar görevin bağlamına değil göreve odaklanıyor” dedi. “Diğer modeller görevi çözmede başarılı olamadı ve bizim hipotezimize göre bunun nedeni, diğer modellerin yalnızca görevi değil, testin bağlamını da analiz etmeye çok güvenmesi.”

Modellerden çıkarılan dikkat haritaları, LNN’lerin sürüş görevlerinde yol, nesne algılama görevinde hedef nesne gibi görevin ana odağına daha yüksek değerler verdiğini göstermektedir, bu nedenle bağlam belirlendiğinde göreve uyum sağlayabilmektedir. değişiklikler. Diğer modeller, dikkatlerini girdinin alakasız kısımlarına yayma eğilimindedir.

Rus, “Toplamda, çok daha uyarlanabilir çözümler elde edebildik çünkü bir ortamda eğitim alabilir ve daha sonra bu çözüm, daha fazla eğitim olmaksızın diğer ortamlara uyarlanabilir” dedi.

Sıvı sinir ağlarının uygulamaları ve sınırlamaları

LNN’ler öncelikle sürekli veri akışlarını işlemek için tasarlanmıştır. Bu, diğer veri türlerinin yanı sıra video akışlarını, ses akışlarını veya sıcaklık ölçüm dizilerini içerir.

Rus, “Genel olarak, sıvı ağlar, zaman serisi verilerimiz olduğunda iyi iş çıkarıyor … sıvı ağların iyi çalışması için bir diziye ihtiyacınız var,” dedi. “Ancak, sıvı ağ çözümünü ImageNet gibi bazı statik veritabanına uygulamaya çalışırsanız, bu pek işe yaramayacaktır.”

LNN’lerin doğası ve özellikleri, onları, verilerin sürekli olarak makine öğrenimi modellerine beslendiği robotik ve otonom araçlar gibi hesaplama açısından kısıtlı ve güvenlik açısından kritik uygulamalar için özellikle uygun hale getirir.

MIT CSAIL ekibi, LNN’leri umut verici sonuçlar gösterdikleri tek robotlu ortamlarda çoktan test etti. Gelecekte, LNN’lerin yeteneklerini ve sınırlamalarını daha fazla keşfetmek için testlerini çok robotlu sistemlere ve diğer veri türlerine genişletmeyi planlıyorlar.