Databricks, Lakehouse Federation’un piyasaya sürülmesiyle bir veri ağı oluşturuyor

veri tuğlaları bugün, Lakehouse Federation özelliği olarak adlandırdığı özelliği kullanıma sundu. Veri + Yapay Zeka Zirvesi. Bu yeni yeteneği kullanan kuruluşlar, çeşitli silo halindeki veri sistemlerini bir araya getirebilir ve MySQL ve PostgreSQL veritabanlarının yanı sıra Amazon Redshift, Snowflake, Azure SQL Veritabanı, Azure Synapse ve dahil olmak üzere çok çeşitli platformlarda verilerini keşfedebilir, sorgulayabilir ve yönetebilir. Databricks tarafından desteklenen yönetişim özelliklerine sahip Google’ın BigQuery’si Birlik Kataloğu.

“[Lakehouse Federation] Databricks’in kurucu ortağı ve baş teknoloji uzmanı Matei Zaharia, “Platformumuzu diğer sistemlerdeki verileri de kolayca yönetmek ve sorgulamak için genişletme çabamız bu” dedi. Bu yeni yeteneğin temel özelliklerinden biri, kullanıcıların farklı veri kaynaklarını birbirine bağlamasına ve bunları verimli bir şekilde sorgulamasına olanak tanıyan sorgu federasyonu olduğunu açıkladı;

Çoğu zaman, bir şirket bir uygulamaya güç veren bir PostgreSQL veritabanında gerçek zamanlı verilere sahip olabilir, ancak bir analist bunu bir veri ambarındaki geçmiş verilerle ve her iki sistemdeki sorguyla birleştirmek isteyebilir. Databricks, Lakehouse Federation’u kullanarak artık bunun için sorgu planlamasını gerçekleştirebilir (ve sistem performansını korumak için verileri gerektiği gibi önbelleğe alabilir).

İdeal olarak, elbette Databricks herkesin kendi platformunu kullanmasını ister, ancak gerçek şu ki, kuruluşlar altyapılarını basitleştirmek isteseler de veri platformlarını taşımak çok zordur. Zaharia, “Bu, kullanıcılar için en azından tek bir arayüze ve bunu yönetmek için tek bir yere sahip olmanızı sağlar” dedi. Çoğu zaman şirketler, maliyetli ve karmaşık olma eğiliminde olan (ve genellikle başarısız olan) buna benzer bir sistemi kendi bünyelerinde oluşturmaya çalışırlar.

Zaharia ayrıca, Databricks’in burada ilginç bir avantaja sahip olduğunu, çünkü ürününün Apache Spark üzerine kurulu olduğunu ve Spark açık kaynak ekosisteminin, Databricks’in daha sonra Lakehouse Federation gibi bir ürünü yeniden oluşturmak zorunda kalmadan Lakehouse Federation gibi bir ürün oluşturmak için kullanabileceği çok çeşitli bağlayıcılar içerdiğini belirtti. çekirdek entegrasyon aracı.

Buradaki bir avantaj, Databricks’in veri yönetişim özelliklerini bunun üzerine katmanlayarak şirketlerin verilerine erişimi platformlar arasında daha kolay yönetmelerine olanak sağlamasıdır. Bu, örneğin Microsoft’un Purview yönetişim çözümüyle de uzun süredir bahse girdiği bir şey. Veri yönetişimi artık her zamankinden daha fazla, işletmelerin şiddetle odaklandığı bir konu.

“Kuruluşlara ihtiyaç duydukları tüm verilere tek bir sistem üzerinden erişim sağlıyoruz, bu da daha fazla yeniliğe yol açacaktır – ve bu yeniliğin en iyi yanı, güvenlikten ödün vermemesidir. Müşterilerin kuralları platformlar arasında tutarlı bir şekilde kolayca uygulamasına ve veri kullanımını takip etmesine olanak tanıyarak, işlerini ileriye taşırken uyumluluk gerekliliklerini karşılamalarına yardımcı olacağız” dedi.