AI-United » Allgemein » ABlaze: so werden A / B-Tests bei Netflix durchgeführt

ABlaze: so werden A / B-Tests bei Netflix durchgeführt

ABlaze stellt ein proprietäres Framework zur Durchführung von A / B-Tests dar. Netflix erklärte, wie ihr Analysesystem funktioniert. Vor dem Einführen von ML-Modellen ins Produkt schätzt das Unternehmen mit Hilfe von A / B-Tests ein, wie das Modell in Echtzeit funktioniert.

Die Struktur des Analysesystems

Die Architektur des Systems

Dieses Framework wird in drei Teile unterteilt:

  1. Der Dateiupload mit Hilfe vom Modul Metrics Repo; 
  2. Das Testen der statistischen Hypothesen; 
  3. Die Visualisierung der Ergebnisse mit Hilfe von Plotly. 

Das Framework hat eine modulare Struktur. Das kann mit Hilfe von Python, R und SQL ohne Zeitaufwand ergänzt werden. Die Benutzer des Systems haben das Recht, die Metriken und die Methoden ins System direkt hinzuzufügen.

Der Metrik- und Datenupload

Metrics Repo ist ein internes Framework für Python, das SQL-Abfragen ablaufen und Metriken bestimmen lässt. Dieses Modul enthält alle Metrikbeschreibungen, die dem System hinzugefügt wurden. Metrics Repo wechselt von ETL-Pipelines zum dynamisch veränderlichen SQL. Eine solche Architektur ist flexibler.

Jede Tabelle wird als Python-Klasse dargestellt, die mit Filtern und zusätzlichen Joins angepasst werden kann. Der Kode wird serialisiert, damit er im API-Format dargestellt werden kann.

Die Statistik und Kausalmodelle

Causal Models ist die Bibliothek mit den statistischen Tests für Python, wo grundlegende kausale Modelle realisiert wurden. Ein Kausalmodell ist ein Modell, das einen Ursache-Wirkungs-Zusammenhang zwischen Variablen feststellt. Dieses Modul lässt den Benutzer (in R oder Python) neue statistische Modelle hinzufügen. Um die Effizienz des Kodes zu steigern, können Benutzer Modelle auf pybind11 (für Python) und auf Rcpp (für R) realisieren.

Die Visualisierung der Ergebnisse mit Plotly

In der alten Version dieses Frameworks wurde die Visualisierung von Experimenten über UI auf React erstellt. Die neue Architektur lässt Visualisierungen mit Hilfe der Bibliothek Plotly hinzufügen.

Quelle
AI-United-Redaktion

Kommentar hinzufügen

Your email address will not be published. Required fields are marked *

300-101   400-101   300-320   300-070   300-206   200-310   300-135   300-208   810-403   400-050   640-916   642-997   300-209   400-201   200-355   352-001   642-999   350-080   MB2-712   400-051   C2150-606   1Z0-434   1Z0-146   C2090-919   C9560-655   642-64   100-101   CQE   CSSLP   200-125   210-060   210-065   210-260   220-801   220-802   220-901   220-902   2V0-620   2V0-621   2V0-621D   300-075   300-115   AWS-SYSOPS   640-692   640-911   1Z0-144   1z0-434   1Z0-803   1Z0-804   000-089   000-105   70-246   70-270   70-346   70-347   70-410