OctoML, AI için kendi kendini optimize eden bir bilgi işlem hizmeti olan OctoAI’yi piyasaya sürdü

Ne zaman OctoML 2019’da kullanıma sunulan şirketin birincil odak noktası, makine öğrenimi (ML) modellerini optimize etmekti. O zamandan beri, şirket onu yapan özellikler ekledi. ML modellerini dağıtmak daha kolay (Ve 132 milyon dolar topladı). Bugün, şirket hizmetinin en son yinelemesini başlatıyor – ve bu tam olarak bir dönüm noktası olmasa da, şirketin vurgusunu modelleri optimize etmekten işletmelerin mevcut açık kaynak modellerini kullanmalarına ve kendi verileri veya kullanımlarıyla ince ayar yapmalarına yardımcı olmaya kaydırıyor. kendi özel modellerini barındırma hizmeti. OctoAI olarak adlandırılan yeni OctoML platformu, işletmelerin makine öğrenimi tabanlı uygulamalar oluşturmasına ve temel altyapı hakkında endişelenmek zorunda kalmadan bunları üretime sokmasına yardımcı olan, üretken yapay zekaya özel vurgu yapan yapay zeka için kendi kendini optimize eden bir bilgi işlem hizmetidir.

OctoML kurucu ortağı ve CEO’su Luis Ceze, “Önceki platform, makine öğrenimi mühendislerine ve modelleri optimize edip farklı donanım kümelerine dağıtılabilecek kapsayıcılara paketlemeye odaklanıyordu.” “Bundan çok şey öğrendik, ancak bir sonraki doğal gelişme, tüm bunları soyutlayan, tamamen yönetilen bir bilgi işlem hizmetine sahip olmaktır. [ML infrastructure] uzak.”

Görsel Kaynakları: OctoML

OctoAI ile kullanıcılar neye öncelik vermek istediklerine karar verirler (gecikme ve maliyeti düşünün) ve OctoAI onlar için doğru donanımı otomatik olarak seçer. Hizmet ayrıca bu modelleri otomatik olarak optimize edecek (ek maliyet tasarrufu ve performans kazanımlarına yol açacaktır) ve bunların Nvidia GPU’larda mı yoksa AWS’nin Inferentia makinelerinde mi çalıştırılacağına karar verecektir. Bu, modelleri üretime sokmanın karmaşıklığının çoğunu ortadan kaldırır; bu, çoğu makine öğrenimi projesi için hala bir engel teşkil eden bir şeydir. Modellerinin nasıl çalıştığı üzerinde tam kontrole sahip olmak isteyen kullanıcılar elbette kendi parametrelerini de belirleyebilir ve hangi donanım üzerinde çalışacaklarına karar verebilirler. Ancak Ceze, çoğu kullanıcının OctoAI’nin tüm bunları kendileri için yönetmesine izin vereceğine inanıyor.

Görsel Kaynakları: OctoML

Ayrıca OctoML’nin Dolly 2, Whisper, FILM, FLAN-UL2 ve Stable Diffusion gibi popüler temel modellerin hızlandırılmış sürümlerini kutudan çıkar çıkmaz daha fazla modelle birlikte sunmasına da yardımcı olur. OctoML, Stable Diffusion çalıştırmayı başardı üç kat daha hızlı ve vanilya modelini çalıştırmaya kıyasla maliyeti 5 kat azaltın.

OctoML, hizmeti yalnızca modellerini optimize etmek için kullanmak isteyen mevcut müşterilerle çalışmaya devam ederken, şirketin ileriye dönük odak noktasının bu yeni bilgi işlem platformu olacağını belirtmekte fayda var.