bytevyte
bytevyte
Language
EN DE ES FR PT IT
ai-beats-de —

Databricks ermöglicht externen Engine-Zugriff auf Unity Catalog über offene APIs

Unity Catalog

Databricks hat die Interoperabilität seines Unity Catalog durch die Einführung offener APIs und die allgemeine Verfügbarkeit von Credential Vending erhöht. Diese Updates ermöglichen es Compute-Umgebungen von Drittanbietern, mit verwalteten Delta tables zu interagieren. Tools wie Apache Spark, Flink und DuckDB können nun vollständige Datenoperationen, einschließlich der Erstellung und Aktualisierung von Tabellen, direkt innerhalb des Katalogs ausführen. Das System nutzt einen neuen offenen Standard für Catalog-Commits, um die transaktionale Integrität zu wahren und gleichzeitige Schreibvorgänge über verschiedene Plattformen hinweg zu unterstützen.

Das Update beseitigt technische Barrieren, die mit proprietären Data-Governance-Systemen verbunden sind. Durch die Öffnung von Unity Catalog ermöglicht Databricks Unternehmen die Nutzung einer einzigen Governance-Ebene, während sie spezifische Verarbeitungs-Engines für unterschiedliche Aufgaben wählen können. Die Sicherheit für lang laufende Pipelines wird durch Machine-to-Machine (M2M) OAuth und automatisierte Credential-Aktualisierungen verwaltet.

Technische Details zum Credential Vending

Credential Vending ist nun für den sicheren Datenzugriff allgemein verfügbar. Dieses System stellt externen Compute-Engines temporäre Token mit begrenztem Zugriff aus, was die Notwendigkeit permanenter statischer Anmeldedaten ersetzt. Databricks hat zudem eine Public Preview dieser Funktion für Volumes gestartet. Diese Erweiterung bietet kontrollierten Zugriff auf unstrukturierte Datentypen, einschließlich Video- und Bilddateien.

Die Nutzung offener APIs in der Unity Catalog-Umgebung bietet mehr Flexibilität für KI-Systeme in Unternehmen. Da Organisationen fortschrittlichere KI-Modelle entwickeln, benötigen sie sicheren Zugriff auf kontrollierte Daten über mehrere Engines hinweg. Databricks plant, in späteren Versionen attributbasierte Zugriffskontrollen (ABAC) hinzuzufügen. Diese Kontrollen werden es Administratoren ermöglichen, Sicherheitsrichtlinien auf Zeilen- und Spaltenebene für externe Datenlesevorgänge festzulegen.

Neue Performance-Funktionen sind ebenfalls verfügbar. Predictive Optimization erhöht die Abfragegeschwindigkeit um das bis zu 20-fache und senkt die Speicherkosten um 50 Prozent. Diese Verbesserungen sollen die Gesamtkosten für die Verwaltung großer Datensätze senken und gleichzeitig den breiten Zugriff auf Unity Catalog aufrechterhalten.

Das erweiterte Unity Catalog-Framework integriert Delta tables in vielfältigere Workflows. Databricks nutzt offene Standards für transaktionale Commits, um seine Governance-Ebene zu einem Standard-Connector für Data Stacks zu machen. Organisationen können DuckDB für lokale Datenaufgaben oder Flink für Streaming nutzen, während Sicherheit und Auditing zentral in Unity Catalog verbleiben.

Obwohl wir uns um Genauigkeit bemühen, kann bytevyte Fehler machen. Benutzern wird geraten, alle Informationen unabhängig zu überprüfen. Wir übernehmen keine Haftung für Fehler oder Auslassungen.

✔Human Verified

Share