Experteninterview: Wie Unternehmen von Transfer Learning profitieren können – mit Christoph Bräunlich

Die aktuelle Machine Learning (ML)-Forschung wird von grossen internationalen Unternehmen und Elite-Universitäten getrieben. Die Forscher haben dabei oft Zugang zu Milliarden von Kundendaten. Facebook wird beispielsweise täglich von 1.4 Milliarden Benutzern [1] bedient. Schweizer und deutsche Firmen haben, wenn überhaupt, etwa 1000-mal weniger Benutzer. Bad News für Unternehmen in der Schweiz und in Deutschland?

Will ein Unternehmen in Deutschland oder der Schweiz seine Kundendaten auswerten, müssen die Algorithmen häufig nicht nur mit weniger Daten auskommen, sondern auch mit einer schlechteren Datenqualität, die aus einer nachträglichen Digitalisierung und Strukturierung der Daten resultiert. Dabei können moderne Machine-Learning-Methoden helfen.

Über Intuition und Dark Data bei ML-Projekten 

Grundvoraussetzung für jedes erfolgreiche ML-Projekt ist eine gründliche Datenanalyse: Wenn der ML-Ingenieur die Eigenheiten der Daten nicht versteht, kann er auch keine Intuition für die Ergebnisse der Versuche entwickeln. Gerade Intuition ist aber bei modernen ML-Algorithmen der Schlüssel zum Erfolg, da viele Algorithmen nicht verstanden werden können, sondern einfach in ihren Anwendungen überzeugen. Sie wurden ausprobiert und haben funktioniert. Warum genau kann man nicht sagen. Es macht aber intuitiv Sinn. Ausserdem kann bei einer gründlichen Analyse der Nachteil der weniger strukturierten Daten zum Vorteil werden: Jedes handgeschriebene Dokument enthält neben dem Inhalt jede Menge an Dark Data, welche sich bei der Analyse als nützlich erweisen können.

Vom Wort- zum Textverständnis

Sind die Daten einmal verstanden, gilt es diese effizient zu verarbeiten. Gerade bei unstrukturierten Daten wie Bildern, gescannten Dokumenten oder frei geschriebenen Texten sind die entsprechenden Algorithmen sehr aufwändig zu trainieren. So insbesondere bei den “Deep Language Models”, die in den Jahren 2018 und 2019 entwickelt wurden. Bert, eines dieser Sprachmodelle, verwendet beispielsweise ein long-short-term-memory (LSTM), also eine Architektur für Neuronale Netze, welche sich den Kontext eines Datensatzes merken kann. So kann sich ein LSTM beispielsweise den Satz um ein Wort, von welchem man die Bedeutung lernen möchte, merken. In diesem Neuronalen Netz werden dann mehrere Millionen Parameter trainiert –  und das mit unglaublichen Resultaten: Seit Frühling diesen Jahres schaffen es “Deep Language Models” Fragen zu einem bekannten Text besser zu beantworten als von der Universität Stanford angeheuerte Crowdworkers.

Von Transfer Learning profitieren

Textverständnis wie z.B. die Klassifizierung von eingehenden Kommunikationen ist eine gefragte Anwendung von mittelgrossen Unternehmen in der Schweiz und in Deutschland. Für solche Unternehmen ist es aber ohne grosse Investitionen kaum möglich ein “Deep Language Model” von Grund auf zu trainieren. Sie können sich aber einer anderen Methode bedienen: mit Transfer Learning kann ein vortrainiertes Modell auf den Anwendungsfall des Unternehmens mit kleinem Aufwand umtrainiert werden. Die vortrainierten Modelle stehen sowohl für Bilderkennung also auch für die Sprachmodelle im Internet zur freien Verfügung. Mit den Brains von BSI können mit wenigen Eingaben auch komplexe Deep-Learning-Modell aufgebaut und ausgeführt und – wenn neue Daten generiert werden – direkt weitertrainiert werden. Wir bei BSI verfolgen damit den Ansatz von vielen kleinen, einfachen oder umtrainierten Algorithmen, die wie ein Schwarm zusammenspielen; jeder einzelne kann einfach verändert werden. Gewissermassen: KI für alle.

_

Über Christoph Bräunlich: Christoph Bräunlich war ein Speaker der diesjährigen ai for business Konferenz. Er ist seit rund sechs Jahren bei BSI tätig – zuerst in Kundenprojekten, später in der Produktentwicklung. Nach seinem Master in Computer Science mit Schwerpunkt KI und Stationen bei Canoo Engineering und ABB Corporate Research in den USA startete er im BSI Lab das erste Machine-Learning-Projekt. Zusammen mit dem ML-Team entwickelte er die KI-Lösung BSI Brains, die 2019 lanciert wurde.