ABlaze stellt ein proprietäres Framework zur Durchführung von A / B-Tests dar. Netflix erklärte, wie ihr Analysesystem funktioniert. Vor dem Einführen von ML-Modellen ins Produkt schätzt das Unternehmen mit Hilfe von A / B-Tests ein, wie das Modell in Echtzeit funktioniert.
Die Architektur des Systems
Dieses Framework wird in drei Teile unterteilt:
- Der Dateiupload mit Hilfe vom Modul Metrics Repo;
- Das Testen der statistischen Hypothesen;
- Die Visualisierung der Ergebnisse mit Hilfe von Plotly.
Das Framework hat eine modulare Struktur. Das kann mit Hilfe von Python, R und SQL ohne Zeitaufwand ergänzt werden. Die Benutzer des Systems haben das Recht, die Metriken und die Methoden ins System direkt hinzuzufügen.
Der Metrik- und Datenupload
Metrics Repo ist ein internes Framework für Python, das SQL-Abfragen ablaufen und Metriken bestimmen lässt. Dieses Modul enthält alle Metrikbeschreibungen, die dem System hinzugefügt wurden. Metrics Repo wechselt von ETL-Pipelines zum dynamisch veränderlichen SQL. Eine solche Architektur ist flexibler.
Jede Tabelle wird als Python-Klasse dargestellt, die mit Filtern und zusätzlichen Joins angepasst werden kann. Der Kode wird serialisiert, damit er im API-Format dargestellt werden kann.
Die Statistik und Kausalmodelle
Causal Models ist die Bibliothek mit den statistischen Tests für Python, wo grundlegende kausale Modelle realisiert wurden. Ein Kausalmodell ist ein Modell, das einen Ursache-Wirkungs-Zusammenhang zwischen Variablen feststellt. Dieses Modul lässt den Benutzer (in R oder Python) neue statistische Modelle hinzufügen. Um die Effizienz des Kodes zu steigern, können Benutzer Modelle auf pybind11 (für Python) und auf Rcpp (für R) realisieren.
Die Visualisierung der Ergebnisse mit Plotly
In der alten Version dieses Frameworks wurde die Visualisierung von Experimenten über UI auf React erstellt. Die neue Architektur lässt Visualisierungen mit Hilfe der Bibliothek Plotly hinzufügen.
