Eine praktische Einführung in Edge-KI

In diesem Tech Talk wird Edge-KI vorgestellt, bei der trainierte Modelle auf lokalen Geräten wie Embedded Systems oder nahegelegenen Edge-Computern anstatt in der Cloud ausgeführt werden. Es werden die Vorteile dieses Ansatzes untersucht, darunter geringere Latenz, reduzierte Bandbreite, besserer Datenschutz und verbesserte Zuverlässigkeit bei Verbindungsproblemen. Der Vortrag vergleicht den KI-Entwicklungsworkflow für Edge- und eingebettete Systeme mit dem für Cloud-Bereitstellungen. Dabei wird festgestellt, dass zwar der Gesamtprozess ähnlich ist, jedoch mehr Aufwand für die Optimierung und Bereitstellung von Modellen auf ressourcenbeschränkter Hardware erforderlich ist. Es werden praktische Strategien – wie Pruning, Quantisierung und automatische Codegenerierung – diskutiert, die dazu beitragen, dass Modelle auf die angepeilten Prozessorplattformen passen. Zum Schluss hebt der Vortrag die Bedeutung von Robustheit und Sicherheit in Edge-KI-Anwendungen hervor und behandelt Techniken wie die Erkennung von Daten außerhalb der Verteilung, die formale Verifikation und die Einbeziehung physikalischer Beschränkungen in Modelle.