Weights & Biases

Kurzfazit

Weights & Biases ist im Machine Learning, was Git in der Softwareentwicklung wurde: so verbreitet, dass die meisten Teams es nicht mehr aktiv auswählen, sondern einfach voraussetzen. Die Plattform protokolliert Trainingsläufe, vergleicht Hyperparameter, versioniert Modelle und Datasets und liefert seit 2024 mit Weave auch ein vollwertiges Werkzeug für LLM-Evaluation. Schwächen sind primär organisatorischer Natur: US-Hosting, ausschließlich Englisch, Pro-Tier mit 60 USD/Monat als Einstieg in den Bezahlbereich. Wer ernsthaft ML betreibt, kommt um W&B kaum herum — wer DSGVO-streng arbeitet, betreibt es Self-Hosted oder weicht auf MLflow aus.

Für wen ist Weights & Biases?

ML-Forschungsteams in Universitäten und Industrie: Reproduzierbarkeit ist in der ML-Forschung das ewige Problem — W&B löst es pragmatisch. Jeder Trainingslauf wird mit Hyperparametern, Code-Version, Datensatz, Metriken und Hardware-Info festgehalten. Wer drei Wochen später fragt „Welche Konfiguration hatte den besten F1-Score?”, findet die Antwort in Sekunden statt in einer Excel-Hölle.

MLOps-Teams in Konzernen: Automotive-KI bei BMW und Mercedes-Benz, Robotik bei Bosch, Medizinische Bildanalyse bei Siemens Healthineers — wer Modelle in Produktion bringt, braucht ein Register mit Lineage, Stage-Promotion und Reproduzierbarkeit. W&B liefert das mit Model Registry, Artifacts und Webhooks für CI/CD-Pipelines.

LLM-Anwendungsentwickler: Mit Weave (seit 2024) zielt W&B auf eine zweite Zielgruppe — Teams, die LLM-basierte Anwendungen bauen und Prompt-Versionen, Tool-Calls und Antwortqualität tracken müssen. Direkter Konkurrent zu LangSmith, Helicone und Langfuse.

Data Science Teams in Startups: Frühphasige Teams (unter 50 Mitarbeitende) bekommen Pro für 60 USD/Monat — günstig genug, um Tracking sauber von Anfang an einzuziehen, statt später zu retrofitten.

Weniger geeignet für: Fachabteilungen ohne Python-Kompetenz (W&B ist ein Entwickler-Werkzeug, kein Dashboard-Tool für Manager), Unternehmen mit harten On-Premise-Anforderungen ohne Bereitschaft zum Self-Hosting (dann ist MLflow die ehrlichere Wahl), und Teams, die keine eigenen Modelle trainieren, sondern nur fertige LLM-APIs aufrufen.

Preise im Detail

Plan	Preis	Was du bekommst
Free / Personal	0 USD	5 GB Speicher/Monat, bis 5 Model-Seats, vollständiges Experiment-Tracking, Registry & Lineage, Community-Support, Weave (1 GB/Monat)
Pro	ab 60 USD/Monat	100 GB Speicher/Monat (zusätzlich 0,03 USD/GB), bis 10 Model-Seats, unbegrenzte Teams, Team-basierte Zugriffsrechte, Service-Accounts, Priority-Support per E-Mail/Chat. Nur für Teams unter 50 Mitarbeitende
Enterprise	Auf Anfrage	Single-Tenant-Option, HIPAA-konforme Bereitstellung, Customer-Managed Encryption, SSO, SCIM, Audit-Logs, eigene Rollen, Self-Hosted-Optionen (W&B Server / Dedicated Cloud)
W&B Local (Self-Hosted)	Frei für nicht-kommerzielle Nutzung; Enterprise-Lizenz für Produktiveinsatz	Komplette Plattform auf eigener Infrastruktur — Voraussetzung für DSGVO-strikte Szenarien

Einordnung: Der Free-Plan reicht für einzelne Forschende und kleine Lernprojekte — die 5 GB sind allerdings schnell erschöpft, sobald Bilddaten oder größere Checkpoints im Spiel sind. Pro für 60 USD ist gemessen am Nutzwert günstig, hat aber die ungewöhnliche Beschränkung „Teams unter 50 Mitarbeitende” — wer wächst, muss in Enterprise migrieren, und dort werden Preise individuell verhandelt. Für DSGVO-sensitive Branchen (Medizin, Automotive-Fahrerdaten, Forschung an personenbezogenen Daten) ist W&B Local die einzige saubere Variante — und sie verlangt Enterprise-Vertrag plus Infrastruktur-Know-how.

Stärken im Detail

Marktdurchdringung als Selbstläufer. W&B ist in der ML-Community so verbreitet, dass neue Teammitglieder es meist schon kennen. Tutorials von Hugging Face, Andrej Karpathy, fast.ai und PyTorch Lightning nutzen W&B als Referenz-Tracker. Das senkt die Onboarding-Hürde drastisch — und macht Code-Beispiele aus Papern oft direkt nachvollziehbar.

Integration in jedes ernsthafte ML-Framework. Eine Zeile Code (wandb.init()), und das Tracking läuft. Native Hooks für PyTorch, PyTorch Lightning, TensorFlow/Keras, scikit-learn, XGBoost, LightGBM, Hugging Face Transformers, JAX, fast.ai und CatBoost. Bei Frameworks ohne native Integration funktioniert das manuelle Logging mit wandb.log() in praktisch jedem Python-Code.

Sweeps automatisieren Hyperparameter-Suche. Statt 50 Runs manuell zu starten, definierst du einen YAML-Config („lerne learning_rate zwischen 1e-5 und 1e-2 logarithmisch, batch_size aus [16, 32, 64]”) und W&B orchestriert die Läufe per Bayes-Optimierung, Grid- oder Random-Search. Die Visualisierung der Parameter-Importance-Plots zeigt sofort, welche Hyperparameter überhaupt einen Effekt haben.

W&B Weave macht LLM-Evaluation greifbar. Seit 2024 deckt W&B mit Weave auch den schnell wachsenden Bereich der LLM-Anwendungs-Evaluation ab. Tracing von LangChain-Calls, Prompt-Versionierung, Vergleich mehrerer Modelle auf demselben Eval-Datensatz, Side-by-Side-Vergleiche von Antworten. Direkter Konkurrent zu LangSmith und Langfuse — und für Teams, die ohnehin W&B für klassisches ML nutzen, der Weg des geringsten Widerstands.

Model Registry mit echtem Lifecycle-Management. Modelle bekommen Aliasse (latest, staging, production), Versionen sind unveränderlich, jede Promotion ist auditierbar. Webhooks lösen bei Stage-Wechseln CI/CD-Pipelines aus — z. B. einen Deployment-Job, sobald ein Modell auf production promoted wird. Das ist der Schritt, der ML aus dem Notebook-Stadium in echte Produktion bringt.

Reports als Brücke zum Business. Reports kombinieren Live-Visualisierungen, Tabellen, Markdown und Code-Snippets in einem geteilten Dokument. Ein:e Data Scientist:in baut den Report einmal, das Management öffnet ihn jederzeit und sieht aktuelle Zahlen — ohne Screenshots aus dem Notebook ins PowerPoint zu kopieren.

Schwächen ehrlich betrachtet

US-Hosting ist die DSGVO-Achillesferse. Die Standard-Cloud läuft in den USA — Verarbeitung von personenbezogenen Trainingsdaten ist damit ohne weiteres nicht DSGVO-konform. Der saubere Weg ist W&B Server / Local (Self-Hosted in eigener Infrastruktur oder eigener Cloud-Region). Das löst das Problem technisch, verschiebt aber den Aufwand: Enterprise-Lizenz, Kubernetes- oder Docker-Betrieb, eigenes Monitoring. Für reine Modell-Tracking-Daten ohne PII (z. B. Bilderkennung auf öffentlich verfügbaren Datasets) ist die US-Cloud unkritisch — bei klinischen oder personenbezogenen Daten zwingend Self-Hosted.

Pro-Tier mit Wachstumsfalle. 60 USD/Monat ist als Einstieg fair, aber Pro ist explizit auf Teams unter 50 Mitarbeitende beschränkt. Wer das Team vergrößert, muss zwingend in Enterprise wechseln — und dort gibt es keine Preisliste, sondern Sales-Gespräche. Für planbare Budgets in mittelständischen Unternehmen ist diese Intransparenz unangenehm.

Storage-Kosten in Computer Vision. Wer große Bilddatensätze und Modell-Checkpoints versioniert, sprengt die 100 GB des Pro-Plans schnell. Mit 0,03 USD/GB darüber summiert sich das bei mehreren TB schnell in den dreistelligen Bereich pro Monat. Gegenmaßnahme: Nicht alles als W&B Artifact ablegen, sondern auf S3/MinIO referenzieren — verlangt aber zusätzliche Konfiguration.

Komplett auf Englisch. Doku, UI, Support — alles ausschließlich Englisch. Für die typische Zielgruppe (Data Scientists, ML Engineers) kein praktisches Problem, aber für gemischte Teams oder Schulungen in Fachabteilungen eine zusätzliche Hürde. Deutscher Support existiert nicht.

Vendor-Lock-in über die Zeit. Je mehr Experiment-Historie, Reports und Modell-Lineage in W&B liegt, desto unattraktiver wird ein Wechsel. Eine Migration zu MLflow oder Neptune.ai ist machbar (W&B bietet Export-APIs), aber Reports, Custom-Visualisierungen und Webhook-Konfigurationen müssen neu gebaut werden. Wer Lock-in vermeiden will, sollte von Anfang an open-source MLflow prüfen.

Hyperparameter-Sweeps können teuer werden. Sweeps starten Compute-Workloads — die Kosten dafür trägst du selbst (eigene GPUs oder Cloud-Compute). W&B verrechnet zwar nichts für die Sweep-Orchestrierung, aber der Bayes-Algorithmus kann fröhlich 200 Runs vorschlagen, wenn du das Limit nicht setzt. Erste Sweeps immer mit harter Run-Begrenzung starten.

Alternativen im Vergleich

Wenn du…	…nimm stattdessen
Eine open-source Alternative ohne Vendor-Lock-in willst	MLflow
Einen kompletten ML-Lifecycle auf AWS suchst	Amazon SageMaker
Eine Microsoft-zentrische Cloud-ML-Plattform brauchst	Azure Machine Learning
ML-Modelle direkt in deinem Data-Warehouse trainieren willst	BigQuery ML
Vortrainierte Modelle und einen offenen Hub willst	Hugging Face

Erwähnenswert ohne eigene Tool-Seite: Neptune.ai (schlanker Konkurrent mit ähnlichem Funktionsumfang, oft in Forschungssettings beliebt), Comet ML (vergleichbares Featureset, US-Anbieter), ClearML (open-source mit Self-Hosted-Option und Compute-Orchestrierung), DVC / DagsHub (Git-basierte Daten- und Experiment-Versionierung) sowie für reines LLM-Tracing LangSmith und Langfuse. W&B bleibt im Markt der gesetzte Standard — wer eine begründete Alternative wählt, tut das meist aus DSGVO-, Open-Source- oder Budget-Erwägungen.

So steigst du ein

Schritt 1: Free-Account und ein bestehendes Trainings-Skript anbinden. Registriere dich auf wandb.ai, installiere pip install wandb, führe wandb login aus. In dein vorhandenes Trainings-Skript drei Zeilen ergänzen: import wandb, wandb.init(project="mein-projekt"), wandb.log({"loss": loss, "accuracy": acc}) in der Trainingsschleife. Innerhalb von Minuten siehst du die Live-Kurven im Browser. Vergleiche zwei oder drei Runs ehrlich mit deiner bisherigen Tracking-Lösung (CSV, TensorBoard, Excel) — der Mehrwert wird sofort sichtbar.

Schritt 2: Hyperparameter-Sweep einrichten. Sobald Tracking läuft, lohnt sich der nächste Schritt: einen Sweep konfigurieren. YAML-Datei anlegen, Parameter-Räume definieren, wandb sweep config.yaml ausführen, dann wandb agent <sweep-id> auf einem oder mehreren Rechnern starten. Die Parameter-Importance-Visualisierung im W&B-Dashboard zeigt nach 20–30 Runs, welche Hyperparameter überhaupt einen messbaren Effekt haben — oft eine Überraschung.

Schritt 3: Modell-Lifecycle aufbauen. Sobald ein Modell produktiv geht, in die Model Registry verschieben (wandb.log_model()), Aliase setzen (staging, production), Webhooks für CI/CD konfigurieren. Das ist der Schritt, der ML vom Forschungsprojekt zum verlässlichen Service macht — und der Punkt, an dem viele Teams aus dem Notebook-Stadium herausfinden.

Schritt 4 für Unternehmen mit DSGVO-Anforderungen: Self-Hosted prüfen. Wer mit personenbezogenen Daten trainiert, muss W&B Server / Local evaluieren. Enterprise-Lizenz mit dem W&B-Vertrieb klären, Kubernetes-Deployment planen, AVV abschließen. Aufwand mehrere Personentage — aber der einzige saubere Pfad für DSGVO-strikte Szenarien.

Ein konkretes Beispiel

Ein Computer-Vision-Team in einem Münchener Automotive-Zulieferer (acht ML-Engineers, Fokus: Fahrerassistenz-Algorithmen) hat W&B Pro für alle Mitglieder eingeführt. Konkreter Workflow: Jeder Trainingslauf eines Objekterkennungs-Modells wird automatisch geloggt — Hyperparameter, Datasets, Metriken (mAP, IoU pro Klasse), GPU-Auslastung, Trainingszeit. Vor Einführung diskutierte das Team in wöchentlichen Stand-ups Excel-Tabellen mit kopierten Metriken; jetzt zeigt der Lead direkt das W&B-Dashboard mit Vergleich der letzten 30 Runs.

Konkreter Effekt: Die Hyperparameter-Sweep-Funktion deckte auf, dass die Default-Learning-Rate des Teams seit Monaten suboptimal war — eine Sweep-Session über ein Wochenende identifizierte eine Konfiguration, die mAP um 3,8 Prozentpunkte verbesserte. Die Modell-Registry sorgt dafür, dass das in den Fahrzeugen aktive Modell jederzeit nachvollziehbar ist (Welche Datenversion? Welcher Code-Commit? Welches Trainings-Datum?). Für sensitive Trainingsdaten (Realfahrten mit Personendaten) wird parallel W&B Server in der eigenen Azure-Instanz in Frankfurt betrieben — diese Trennung ist Vertragsgrundlage gegenüber dem OEM-Kunden.

DSGVO & Datenschutz

• Datenhosting Cloud: USA (W&B SaaS-Cloud bei Google Cloud Platform). Anbieter ist Weights & Biases, Inc., San Francisco.
• Datenhosting Self-Hosted: W&B Server / W&B Local können in beliebiger Region betrieben werden — eigene Cloud, On-Premise, eigenes Rechenzentrum. Für DSGVO-konformen Betrieb in der EU der einzig saubere Pfad.
• Datennutzung: W&B nutzt geloggte Experiment-Daten nicht für eigene Modell-Trainings. Telemetrie über Plattformnutzung wird gesammelt — opt-out für Enterprise-Kunden möglich.
• Personenbezogene Daten: W&B speichert Account-Daten der Nutzenden (Name, E-Mail, Workspace-Zugehörigkeit). Trainingsdaten werden gespeichert, wenn du sie als Artifacts hochlädst — hier liegt die Verantwortung beim Team, keine PII zu loggen.
• Auftragsverarbeitung (AVV): Für Pro- und Enterprise-Pläne verfügbar. Bei Self-Hosted entfällt die Frage, da keine Daten an W&B übermittelt werden.
• Compliance: SOC 2 Typ II, HIPAA-Konformität (Enterprise), ISO 27001 in Vorbereitung. Standardvertragsklauseln für EU-Datentransfer verfügbar.
• Empfehlung für Unternehmen: Für ML auf öffentlichen oder anonymisierten Datasets ist die SaaS-Cloud unkritisch. Für personenbezogene Daten (Medizin, Personalwesen, Kundendaten) zwingend W&B Local mit Enterprise-Vertrag.

Gut kombiniert mit

• Hugging Face — Model-Hub für vortrainierte Modelle und Datasets, W&B trackt das Fine-Tuning. Die Hugging-Face-Trainer-Klasse hat W&B-Integration eingebaut, ein Parameter genügt.
• GitHub Copilot — Code-Assistent für die ML-Pipeline-Entwicklung; W&B referenziert über git_commit-Metadaten den exakten Stand des Trainingslaufs. Reproduzierbarkeit ohne manuellen Aufwand.
• Amazon SageMaker — Compute-Plattform für Training und Deployment, W&B übernimmt das Tracking. Klassische Kombination: SageMaker für GPU-Cluster, W&B für die Sichtbarkeit der Läufe.

Unser Testurteil

Weights & Biases verdient 5 von 5 Sternen. Es ist nicht in jeder Disziplin unschlagbar — MLflow ist günstiger und open-source, LangSmith ist im LLM-Tracing fokussierter, SageMaker und Vertex AI bieten engere Cloud-Integration. Aber W&B ist der gesetzte Standard für Experiment-Tracking und kombiniert in Reife, Funktionsumfang, Community-Verbreitung und Werkzeug-Tiefe einen Vorsprung, den die Konkurrenz seit Jahren nicht aufholt. Die Erweiterung um Weave 2024 zeigt zudem, dass W&B die Verschiebung zu LLM-Anwendungen aktiv mitgeht statt sie zu verschlafen. Wer ernsthaft ML betreibt und nicht zwingend open-source oder DSGVO-strikte Self-Hosted-Bindung hat, sollte W&B als Default ansetzen — und wer DSGVO braucht, betreibt es Self-Hosted statt auf MLflow auszuweichen.

Was wir bemerkt haben

• Mai 2026 — Beim Pricing-Check fiel auf, dass W&B den früheren „Team”-Plan in „Pro” umbenannt und neu zugeschnitten hat: 60 USD/Monat als Einstieg, aber explizit auf Teams unter 50 Mitarbeitende beschränkt. Der Free-Tier liegt mittlerweile bei 5 GB Speicher (nicht 100 GB wie früher kommuniziert) — wer große Datasets versioniert, sprengt das schnell.
• 2024 — Veröffentlichung von W&B Weave als vollwertiges LLM-Evaluation-Framework. W&B reagiert damit auf die wachsende Nachfrage nach Prompt-Versionierung, LLM-Tracing und Eval-Datasets — direkter Angriff auf LangSmith und Langfuse. Für Teams, die W&B ohnehin nutzen, der natürliche Pfad in den LLM-Bereich.
• 2023 — W&B hat eine Series-C-Runde über 50 Millionen USD bei einer Bewertung von 1,25 Milliarden USD abgeschlossen. Damit ist die Firma „Unicorn” und finanziell langfristig stabil — anders als manche Konkurrenten im MLOps-Markt, die zwischenzeitlich übernommen oder eingestellt wurden.
• Mai 2026 — Eine native EU-Region in der SaaS-Cloud existiert weiterhin nicht. Wer DSGVO-konform betreiben will, geht zwingend über W&B Server / Local mit Enterprise-Lizenz. Diese Lücke besteht seit Jahren unverändert und ist der zentrale Grund, warum europäische Großunternehmen oft auf Self-Hosted oder MLflow ausweichen.