Intelligente Kameras

Stettbacher Signal Processing AG (SSP) hat als Dienstleister für technische und industrielle Entwicklungen in den vergangenen Jahren viel in den Bereich Machine Vision und KI investiert und eigene industrielle Produkte dafür entwickelt. Nebst sehr viel Software sind dabei verschiedene Kameras entstanden: Am Anfang war es die O-3000-Familie von verschiedenen kompakten Industriekameras. SSP legte die Treiber für diese Kameras offen, sodass sie sehr leicht integriert werden konnten, insbesondere in Embedded Systemen. SSP neuste Produkte zielen aber klar in die Welt der künstlichen Intelligenz: Die Kameras sind ausgestattet mit sehr leistungsfähigen Rechnern, die beispielsweise Neuronale Netzwerke für die Erkennung von Mustern oder Objekten (Detection) in Echtzeit verarbeiten, Objekte verfolgen (Tracking), und Vorhersagen treffen können (Prediction). Die bestehende Anbindung für ROS2 (Robot Operating System 2) erlaubt die schnelle Integration der Kamera in autonome Systeme.

3D-Kameras
Bereits verfügbar bei SSP ist eine Stereo-Kamera für 3D-Vision. Sie ist lieferbar im staub- und wasserdichten Gehäuse (IP69K, siehe Bild 1) und verfügt über einen NVIDIA Jetson Xavier NX Rechner mit mehr als 380 GPU-Cores. Eine Mono-Version davon folgt in Kürze.
Viele herkömmliche Stereo-Kaneras arbeiten mit sog. Structured-Light. Das heisst, sie projizieren bestimmte Muster in den Raum oder auf die zu vermessenden Objekte. Aus der Verzerrung dieser Muster kann hoch genau auf die Geometrie rückgeschlossen werden, sodass Punktwolken in Farbe mit einer Genauigkeit im Millimeter-Bereich geliefert werden können. Durch die aktive Belichtung funktioniert das Verfahren zwar auch im Dunklen oder bei Oberflächen mit wenig Textur. Problematisch ist hingegen der zusätzliche Aufwand für den Projektor und die Anwendung im Freien, falls starke Sonneneinstrahlung die Qualität der projizierten Muster beeinflusst. Zudem ist die Reichweite oftmals auf wenige Meter eingeschränkt.
SSP setzt für die Stereo Vision auf Block-Matching Algorithmen. Dazu ist die Kamera mit zwei hochauflösenden 5 MPixel global Shutter Bildsensoren ausgestattet, die in Hardware synchronisiert sind. In gleichzeitig aufgenommenen Bildern werden entsprechende Bildbereiche gesucht, um dann die sogenannte Disparität zu ermitteln. Mittels Triangulation können aus der Disparität und den jeweiligen Bildkoordination dann direkt die zugehörigen Punkte in Weltkoordinaten berechnet und eine Punktwolke erzeugt werden. Diese Zuordnungs-Verfahren haben Mühe mit Bildausschnitten, welche eine unzureichende Textur aufweisen. Dies wäre zum Beispiel bei einer weissen Wand der Fall. Es gibt allerdings Ansätze, wie mit neuronalen Netzwerken direkt aus einem Bildpaar die Tiefenkarte gewonnen werden kann. Dazu wird SSP in einem späteren Artikel noch berichten.

Objektverfolgung in 3D
Bei der Objektverfolgung ist es nicht primär wichtig die gesamte Umgebung aufzunehmen und als Punktwolke darzustellen. Vielmehr soll das interessierende Objekt zuverlässig gefunden und im Raum trianguliert werden. Dazu muss das Objekt natürlich von beiden Sensoren der Stereo-Kamera erfasst werden. Bild 2 zeigt das Blockschaltbild mit den wesentlichen Verarbeitungsschritten für die Objektverfolgung.
Im ersten Schritt wird ein Bildpaar von den zwei in Hardware synchronisierten Bildsensoren erzeugt. Die Linsen auf den Bildsensoren bewirken dabei einen Verzerrungseffekt.
Im zweiten Schritt wird das Bildpaar daher entzerrt und zudem ausgerichtet (rektifiziert). Beim Rektifizieren werden die bereits entzerrten Bilder derart transformiert, dass die Epipolarlinien beider Bilder parallel zueinander verlaufen. Somit ist garantiert, dass ein Objekt, welches im linken Bild in einer bestimmten Bildzeile vorhanden ist, auch im rechten Bild in ein- und derselben Bildzeile erscheint.
In Schritt 3 kommt ein eigens trainiertes neuronales Netzwerk (YOLOv4) zum Einsatz, welches die interessierenden Objekte in beiden Bildern findet, ihre Position durch Rechtecke beschreibt (Region of Interest, ROI), und diese an einen Tracker weiterleitet. Der Tracker (Schritt 4) verfolgt, resp. schätzt die Bewegung der erkannten Objekte, wenn nötig mit einer erhöhten Abtastrate.
Schliesslich muss noch die Tiefeninformation für jedes Objekt berechnet werden. Dazu wird das Objekt vom sekundären Bild ins primäre Bild kopiert und anschliessend entlang der Epipolarlinien, also horizontal, verschoben. Dort wo nun die Korrelation zwischen den Bildern am grössten ist, befindet sich das Objekt im primären Bild. Es kann nun die horizontale Pixeldifferenz (Disparität) des Objekts zwischen dem linken und rechten Bild ausgerechnet werden. Die Entfernung des Objekts von der Kamera, also die Tiefe oder die Z-Koordinate, ist indirekt proportional zur Disparität und kann unter Berücksichtigung des Basisabstands (zwischen den Bildsensoren) berechnet werden. Sobald zu einem Pixel die Tiefeninformation vorliegt, ist es trivial auch die X- und Y-Koordinaten des Punktes auszurechnen.
Nachdem das Objekt erfolgreich trianguliert wurde können die Bilder in ein gängiges Video-Format verpackt werden (etwa H.264, H.265, usw.) und zusammen mit den ermittelten Objektinformationen effizient zum Beispiel per UDP an einen externen Server übertragen werden.

Fazit
Die Stereo-Kamera von SSP ist ein sehr mächtiges und vielseitiges Werkzeug für verschiedenste Aufgaben in den Bereichen Vision, Vermessung, Objekt-Erkennung, -Lokalisierung, -Tracking für die Anwendungen in allen Industrie-Bereichen, beispielsweise im autonomen Fahren, in der Überwachung von Prozessen, im Bereich Sicherheit, usw.

INFOS | KONTAKT
Stettbacher Signal Processing AG
Neugutstrasse 54
CH-8600 Dübendorf
T +41 (0)43 299 57 23
www.stettbacher.ch
dsp@stettbacher.ch