Entwicklung eines intelligenten Kühlschranks
Innovationsprojekt Smart Fridge
Intelligente, vernetzte Systeme bilden die Grundlage vieler neuer Services, die aus dem Alltag nicht mehr wegzudenken sind. Oftmals sind für die Bereitstellung dieser Dienste mehrere Komponenten notwendig, wie zum Beispiel Applikationen für Smartphones, Edge Devices für die Hausautomatisierung oder Clouddienste für die Ausführung von KI-Algorithmen. Das Innovationsprojekt Smart Fridge deckt das gesamte Leistungsspektrum von Smart Mechatronics ab und zeigt, wie durch strukturierte Entwicklung aus einer Idee ein komponentenübergreifendes Produkt entstehen kann.
Daten und Fakten zum Smart Fridge
Das Gesamtsystem des Smart Fridge besteht aus drei Teilkomponenten:
Embedded Device
Proof of Concept
Im Rahmen des Innovationsprojekts Smart Fridge wurde als erster Schritt ein Demonstrator konzipiert und gebaut. Dieser ermöglichte die Prüfung der Machbarkeit neuer Technologien sowie die weitere Entwicklung als Serienprodukt. Insbesondere wurde die lokale und Cloud-basierte Erkennung von Lebensmitteln in Kühlschränken evaluiert.
Objekterkennung auf limitierter Hardware
In der weiteren Bearbeitung des Smart Fridge wurden Machine-Learning-Algorithmen auf eingebetteten Systemen untersucht. Mit Hilfe leistungsfähiger Werkzeuge zum Design und der Inferenz neuronaler Netze ließen sich diese Algorithmen auf verschiedene Plattformen übertragen und konnten so für verschiedene Anwendungen zugänglich gemacht werden. Optimierungsalgorithmen ermöglichten zudem eine Reduktion der Ausführgeschwindigkeit und den Speicherplatzverbrauch der neuronalen Netze.
Bildkompression
In der Regel werden Bilder komprimiert übertragen, um die verfügbare Bandbreite optimal zu nutzen. Aufgrund der Ähnlichkeit der generierten Bilder in diesem Projekt konnte die Datenrate zusätzlich durch den Einsatz von Differenzbildverfahren, ähnlich einem Video-Codec, reduziert werden. Hierbei wurde der Informationsgehalt auf die Änderungen im Bild begrenzt. Dadurch wurden weniger Daten in die Cloud übertragen und der Upstream verringert.
Embedded Linux
Für die zahlreichen Aufgaben des Edge Devices wurde ein Embedded Linux gewählt, welches mit Yocto an die Software- und Hardwarearchitektur der ausgewählten Plattform angepasst wurde. Alle verwendeten Komponenten sollten flexibel austauschbar und durch vorhandene Treiber im Kernel über die Bildumgebung einfach integriert werden.
Security
Im Smart Fridge wurden sensible Daten, wie das Nutzungsverhalten und die Benutzeridentität, mit Cloud-Diensten geteilt. Außerdem wurden Software-Updates übertragen, die vertraulich behandelt und deren Integrität gewahrt werden mussten. Daher spielten Authentifizierung, Integritätsprüfung und Verschlüsselung eine entscheidende Rolle für die sichere Kommunikation. Um die Softwareintegrität sicherzustellen, wurde im Smart Fridge ein Trusted Platform Module (TPM) eingesetzt. Abhängig von neuen Features und Diensten mussten die Sicherheitsanforderungen regelmäßig überprüft und gegebenenfalls angepasst werden.
Hardware
Für die Spannungsversorgung und die einfache Montage der externen Kamera und Sensorik wurden neben dem Entwicklungsboard auch ein Breakout Board und Trägerplatinen für den BOSCH BME688 Sensor verwendet. Das Breakout Board enthielt alle erforderlichen Schnittstellen zur Verbindung der Peripherie und einen Spannungswandler für die Stromversorgung. Die Trägerplatinen ermöglichten die direkte Integration des BME688 in das System.
Cloud Service
Objekterkennung mit Deep Learning
Die Lebensmittelerkennung im Smart Fridge wurde mittels eines Faltungsnetzwerks (Convolutional Neural Network) realisiert. Hierbei wurde der Algorithmus Faster-RCNN zur Objekterkennung eingesetzt. Zunächst generierte dieser algorithmisch Regionen, in denen ein Objekt erkannt wurde, um daraufhin eine Klassifizierung der jeweiligen Region durchzuführen. Durch die Verwendung frei verfügbarer vortrainierter Netzwerke konnte auch mit einer kleineren Datenbank ein zufriedenstellendes Ergebnis erzielt werden, was Zeit und Ressourcen bei Erstellung und Labeling gespart hat.
Mobile App
Intelligentes Human Machine Interface
Die mobile App ermöglicht den Zugriff auf die Cloud-Datenbank und zeigt visuell – entweder als Bild oder in einer Liste – den Inhalt des Kühlschranks an. Für den Prototypen wurde dabei auf Multiplattform -Entwicklungsumgebungen wie Flutter oder Qt zurückgegriffen, um eine einheitliche Basis für alle gängigen Smartphone-Betriebssysteme zu haben und den Entwicklungsaufwand möglichst gering zu halten. Mit Hilfe der gewonnenen Benutzerdaten wie Temperatur, Uhrzeit oder Luftfeuchtigkeit konnten weitere Services realisiert werden. Ein Abgleich mit Rezeptdatenbanken konnte beispielsweise Vorschläge machen, Lebensmittel mit kurzer Haltbarkeit zu verbrauchen. Die Benutzeroberfläche wurde mit der CONSENS-Methode für HMI entwickelt und umgesetzt.
Testing
Regressionstests für die vollständige Funktionsfähigkeit
Das Testen von vernetzten Systemen bringt stets Herausforderungen mit sich, denn ein Gesamtsystem – wie der Smart Fridge – muss auch nach einem Update von einer oder mehreren Teilkomponenten voll funktionsfähig sein. Um dies zu gewährleisten wurden bei der Entwicklung des Smart Fridge umfangreiche Regressionstests durchgeführt.
Ihre Ansprechpartner für das Innovationsprojekt Smart Fridge
KAI MORWINSKI
Teamleiter Operating Systems & Security |
Expert Engineer
HENNING HARTMANN
Teamleiter Testautomation for Embedded Systems |
Senior Engineer
TOBIAS ADOLPH
Teamleiter Electronics for IoT |
Senior Expert Engineer
CHRISTAN BIEKER
Teamleiter Embedded Computing | Expert Engineer