Maschinelles Lernen an der Edge
KI-Modelle lernen künftig auch auf Edge-Geräten mit kleinen, stromsparenden Mikrocontrollern. Das verhindert Latenzen, senkt Energiekosten und reduziert Datenschutzrisiken.
Machine Learning (ML) zählt zu den bestimmenden IT-Themen unserer Zeit. Besonders im produzierenden Gewerbe und in der Industrie bereitet diese Implementierung der künstlichen Intelligenz den Weg hin zur digitalen Transformation. Oft denkt man dabei an enorme Datenmengen, die weitergeleitet an eine Cloud dort von aufwändigen Modellen verarbeitet werden. Diese Vorgehensweise ist jedoch für zahlreiche Anwendungen weder technisch noch datenschutzrechtlich wünschenswert.
So zieht etwa die Verarbeitung in der Cloud lange Reaktionszeiten sowie hohe Bandbreiten- und Energiebedarfe nach sich. Dazu kommen Bedenken hinsichtlich Datenschutz und Sicherheit. Und letztlich stoßen rein Cloud-basierte Infrastrukturen bei einer exponentiell steigenden Anzahl internetfähiger Geräte an ihre Grenzen.
Einen praktikablen Ausweg eröffnet die dezentrale Verarbeitung der Daten. Die ML-Modelle wandern dabei an den Ort des Geschehens - in die Edge. Das Training geschieht zwar immer noch in der Cloud oder auf lokalen Servern. Das Inferenzing jedoch – also die Entscheidungsfindung auf Grundlage neu erfasster Felddaten – am Netzwerk-Rand. Dort allerdings treffen die Machine-Learning-Algorithmen auf Mikrocontroller ohne Betriebssystem mit begrenztem Speicher.
Auf diese Restriktionen reagierte die 2019 gegründete TinyML Foundation mit einem Set aus Hardware und Software, das maschinelles Lernen auf ressourcenbeschränkten Mikrocontrollern erlaubt. Unterstützt wird die Realisierung etwa durch Google’s Open-Source-Bibliothek TensorFlow Lite. Sie portiert die in der Cloud trainierten Modelle auf die eingebetteten Systeme.
Ein Beispiel ist zum Beispiel das Aktivierungskommando von Sprachassistenten wie „Siri“. Die "always-on"-Anwendung wartet auf einem hoch energieeffizienten Mikrocontroller mit wenigen Kilobyte Arbeitsspeicher rund um die Uhr auf den Sprachbefehl. Erst wenn er erkannt wird, stellt die Haupt-CPU weitere Funktionen zur Verfügung.
Training auf einem Mikrocontroller
Einen Schritt weiter gehen nun Forscher am Massachusetts Institute of Technology (MIT). Sie verlagern auch den Trainingsprozess in die Edge. Beispielsweise könnte damit eine intelligente Tastatur kontinuierlich aus dem Schreiben des Benutzers zu lernen.
Aktuelle Lösungen für sogenanntes On-Device-Training benötigen mehr als 500 Megabyte Speicher, was die 256-Kilobyte-Kapazität der meisten Mikrocontroller bei weitem übersteigt. Dagegen kommen die intelligenten Algorithmen und Frameworks der MIT-Forscher mit weniger als einem Viertel Megabyte an Speicher aus. Das Ergebnis ist ein Trainingsvorgang, der nur wenige Minuten dauert.
Mit dem neuen Ansatz können IoT-Geräte nicht nur Inferenzen durchzuführen, sondern mit neu gesammelten Daten die KI-Modelle kontinuierlich aktualisieren. Die geringe Ressourcennutzung rückt sogar Deep Learning mit künstlichen neuronalen Netzen in den Bereich des Möglichen.
Erste Tests des Frameworks erfolgten im Rahmen eines Computer-Vision-Modells, das nach nur zehn Minuten Training Personen in Bildern erkannte. Die Methode war 20-mal schneller als aktuelle Ansätze. In Zukunft sollen mit den gesammelten Erkenntnissen auch aufwändige Modelle ohne Abstriche an die Genauigkeit „geschrumpft“ werden. Das könnte dazu beitragen den CO2-Fußabdruck großer ML-Modelle zu verkleinern.
Knowledge Base
Ji Lin, Ligeng Zhu, Wei-Ming Chen , Wei-Chen Wang , Chuang Gan , Song Han: