Eine gemeinsame Veranstaltung der SGPF und SKF (Schweizerische Kommission für Fernerkundung, Schweizerische Akademie der Wissenschaften) fand am 24.11.2017 statt. Es war ein halbtägiger Besuch bei CSEM in Alpnach. Das CSEM (Centre Suisse d'Electronique et de Microtechnique, www.csem.ch) ist eine schweizerische, private (non-profit und mit öffentlicher Beteiligung), sehr innovative Organisation im Bereich Forschung und Technologie in vielen Bereichen, darunter auch einigen, die mit Photogrammetrie, Fernerkundung, Computer Vision, Sensorik und Optoelektronik zu tun haben.

Der Besuch beinhaltete eine Einführung zu der Arbeit des CSEMs und des Standortes Alpnach und vier Demos in zwei Gruppen.


Dr. Helmut F. Knapp, Leiter des CSEM Alpnach, präsentiert eine Einführung in die Aktivitäten von CSEM und des Standortes Alpnach.

Die Einführung wurde vom Dr. Helmut F. Knapp, Leiter des CSEM Alpnach gegeben und war beeindruckend. Das CSEM entwickelt seit 1984 angewandte Technologien für die Industrie. Das nicht gewinnorientierte Unternehmen hat seinen Hauptsitz in Neuchâtel mit Regionalzentren in Alpnach, Muttenz, Landquart und einem Büro in Zürich. Die 450 Mitarbeiter erzielen einen Umsatz von rund 80 Mio CHF (Stand 2016). Bund und einige Kantone fördern zu etwa 1/3 den Aufbau der Technologieplattformen. CSEM ist auch ein Partner der KTI und ebenfalls sehr aktiv auf europäischer Ebene (62 europäische Projekte in 2016). Durch seine engen Verbindungen zur Uhrenindustrie ist das CSEM in der Westschweiz sehr bekannt, durch die Regionalzentren hat sich sein Wirkungskreis auch auf die deutschsprachige Schweiz stark ausgedehnt. Das CSEM deckt folgende fünf Technologiebereiche ab: Microsystems (miniaturisierte Systeme und ihre Fertigung), Surface Engineering (Oberflächenbehandlung und Drucktechnologien), Systems (Automatisierung, Präzisionsinstrumente, MedTech), Ultra-low-power integrated systems (integrierte Systeme mit niedrigem Energieverbrauch) und Photovoltaic-center / energy (neue Ansätze in der Photovoltaik und Energieverteilung). Das CSEM generiert Innovationen und kreiert Start-Ups. Eine bekannte Innovation ist der weltweit erste optische Lesechip der Logitech Maus (Trackball), ein grosses und erfolgreiches Startup die Heptagon, welche kürzlich von ams übernommen wurde.

In Alpnach (dem Standort unseres Besuches) wurden erfolgreiche Technologietransfers realisiert: Miniaturisierte Robotik und Zuführmodule für die Asyril S.A. (2007) und vor allem der Transfer von Deep-Learning basierter industrieller Bildverarbeitung zur Vidi Systems S.A. bzw. der internationalen Firma Cognex (2017).


Demo 1: Databio (Dr. Iason Kastanis)


Das EU Horizon 2020 Projekt „Databio“ setzt sich zum Ziel, Big Data Technologien für Effizienzsteigerungen in Land-, Forst- und Fischwirtschaft zu integrieren. Ein wesentlicher Baustein ist die Analyse von Satelliten- und Luftbildern, welche Aufschluss über den Zustand und die Nutzung von Wald, Feld und Flur liefern soll. CSEM ist ein Partner in diesem Projekt, der seine Kompetenz in der Klassifizierung von Bilddaten aus der Erdbeobachtung einsetzt. Das Projekt hat eine Laufzeit von 2017 bis Anfang 2020. Info unter https://www.databio.eu. In der Demo wurde ein Beispiel gezeigt über Detektion von Feldern mit Pfirsichbäumen in Satellitenbildern (Sentinel-2 Daten). Es wurden Deep Learning Methoden benutzt, ein Teil der Bilder wird gelabelt, in ungelabelten Bereichen wird dann die Erkennungsgüte getestet. Bei dieser Aufgabe kommt es zunächst noch zu Fehlern (z.B. Pfirsich-Felder wurden in Seen detektiert), mit verbreiterter Datengrundlage lassen sich solche Fehlerkennungen dann vermeiden oder reduzieren. Herausfordernd ist die enorme Datenmenge der Satellitenbilder. Der Beitrag des CSEM ist es, die Klassifizierungsverfahren zu stabilisieren und zu bewerten.


Demo 2: Robotik – KRAKEN (Silvan Widmer)


Im EU Horizon 2020 Projekt „Kraken“ wird ein neuer Ansatz in der Robotik für subtraktive und additive Fertigungsschritte verfolgt. In einem offenen System wird ein Industrieroboter mit einem Kran entlang eines grossen Werkstücks bewegt und kann dort additive oder subtraktive Prozesse durchführen. Die Präzision wird durch externe Lasertracker (geliefert von Projektpartner Leica Hexagon) gewährleistet, welche kontinuierlich die Position des Werkzeugs vermessen. Info unter http://www.csem.ch/page.aspx?pid=43177 Das Ziel ist es einen grossen und genauen Roboter aufzubauen (z.B. mehr als 20m in der Länge und 5m in der Breite und der Höhe, um grosse industrielle Teile zu behandeln). Der grosse Roboter ist einfach eine Anlage mit einem metallischen Gestell, die einen Roboterarm schnell über einen grossen Raum bewegen kann. Allerdings ist die Positionierung des Roboters und des Kopfes, der die Arbeit macht nicht exakt genug. Ohne ein externes Tracking würde die Endgenauigkeit lediglich einige cm betragen. Für die Genauigkeit wird ein Lasertracker benutzt, der ein Ziel auf dem Roboterkopf kontinuierlich verfolgt, die Position des Kopfes vermisst und dem System in Echtzeit weitergibt. So kann ein riesiger Roboter mit hoher Genauigkeit (0.1-0.3 mm) implementiert werden, statt eine riesige, viel teuere CNC (Computer Numerical Control) Maschine zu benutzen. CSEMs Beitrag war die Realisierung der echtzeitfähigen (1 kHz) Korrektur der Roboterposition aus den Trackerdaten und deren Integration in die Bahnplanung des Roboters.

Neben Makrorobotik wurde noch mittels einem Video eine hochpräzise Mikrorobotik-Aufgabe präsentiert. Hier wird eine Stablinse (Durchmesser 60 μm) als Kollimator hochpräzis vor einer Laserdiode platziert. Es erfolgt eine Justage in sechs Freiheitsgraden, die Endposition muss genauer als 1 mm erfolgen. Hier ist auch noch ein Klebeprozess zu berücksichtigen. Die Volumenänderung des Klebstoffes beim Aushärten muss im Justageprozess vorkompensiert werden. Eine aufwendige Sensorik und Prozesskontrolle wurde integriert: Klassische Industriekameras verfolgen zunächst die Montage in 3D bis zu einer Genauigkeit von ca. 10 -20 μm, daran schliesst sich eine sogenannte „aktive“ Justage an: Bei eingeschaltetem Laser wird die Qualität der Strahlkollimierung durch gezielte Lageänderungen der Linse optimiert. Das Signal, welches von einer Infrarotkamera detektiert wird, reagiert hier sichtbar bereits auf Linsenverschiebungen im Bereich 50-100 nm. Das CSEM hat hier einen kompletten industriellen Roboter mit 8 Freiheitsgraden geliefert, der die Montageaufgabe automatisch löst. Zwei Solcher Systeme sind bei einem Kunden seit bald zehn Jahren in Betrieb.


Demo 3: SkyCam (Philipp Schmid, Leiter der Gruppe Robotik und Automation)


Das CSEM beschäftigt sich mit der effizienten Nutzung von sogenannten „erneuerbaren“ Energien, insbesondere mit der Photovoltaik. Solaranlagen bilden im Netzverbund eine hoch volatile Energiequelle. Lokale Fluktuationen entstehen durch schnell variierende Sonnenbestrahlung. Die kurzfristige Abschattung von Solaranlagen durch Wolkenbildung ist ein wichtiger Faktor. Langfristige Wetterlagen wie Hochnebel im Tal, Schönwettertage oder stabile, dichte Bewölkung lassen sich zuverlässig kalkulieren. Problematisch sind Tage mit wechselnder Bewölkung. SkyCam ist ein kamerabasiertes Modul zur lokalen, kurzfristigen Wolkenvorhersage durch Himmelsbeobachtung. Mit so einer Vorhersage könnte man Stromaggregate kurzfristig ausschalten, solange die Photovoltaik Strom liefern kann. Die Arbeiten werden vom Bundesamt für Energie (BFE) unterstützt. Infos zum Vorprojekt unter http://www.csem.ch/Doc.aspx?id=38485. In diesem Pilotprojekt werden 3 Standorte benutzt (Alpnach, Neuchâtel, Bern) mit einer Fisheye RGB Kamera, einem Pyranometer und in einem Fall einer der Sonne aktiv folgenden IR Kamera, wobei in Bern Stereo-Kameras mit einer Distanz von 200m benutzt werden. Die Kameras generieren eine Aufnahme jede 10s wobei innerhalb dieser Zeit mehrere Bilder zu einem HDR (High Dynamic Range) Bild kombiniert werden. Die Geschwindigkeit der Wolken in den Bildern wird via Optical Flow berechnet. Es ist geplant, mit Deep Learning Methoden die lokale Sonneneinstrahlung anhand des Sonnenstandes und der aktuellen Wolkensituation für die nächsten Minuten vorherzusagen. Ziel wäre eine Vorhersage für einen Zeithorizont von maximal 15min zu erreichen. Erste Erkenntnisse der Messbilder zeigen bereits nach wenigen Minuten extreme Schwankungen. Eine Vorhersage im 15min Bereich ist äusserst anspruchsvoll. Es wurde auch festgestellt, dass ohne 3D Information über die Höhe der Wolken keine zuverlässige Prädiktion gemacht werden kann. Die Idee ist ein kostengünstiges System zu entwickeln (Kosten der Kameras 200-300 CHF) mit einer einfachen Handhabung und Installation, das auch von privaten Personen auf dem eigenen Hausdach benutzt werden kann. Das CSEM hat hier das komplette System aufgebaut und die Algorithmen zur Verfolgung und Vorhersage der Wolkenbedeckung implementiert. Das System generiert in erheblichem Umfang Daten (Ansicht des Himmels am hellen Tage), welche von Partnern genutzt werden können.


Philipp Schmid präsentiert die Demo SkyCam.


Demo 4: Plenoptische Kamera (Matthias Höchemer)


Lichtfeld – oder plenoptische – Kameras sind ein mächtiges Werkzeug für die 3D Inspektion von Oberflächen und Werkstücken. Lichtfeldkameras arbeiten wie konventionelle Kameras mit dem Unterschied, dass sie neben dem 2D Bild simultan in Echtzeit eine kalibrierte Höheninformation zu jedem Bildpixel liefern. Das funktioniert durch ein Mikrolinsenarray, welches vor dem Bildsensor angebracht ist und durch geeignete Rekonstruktionssoftware. Durch die Mikrolinsen wird jedes Objektdetail lokal auf dem Sensor in unterschiedlichen Perspektiven abgebildet – ein multi-stereo Effekt. Aus diesen Perspektiven lässt sich dann die 3D Position eines Objektdetails rückberechnen. Als erster Technologielieferant in der Schweiz nutzt CSEM die Lichtfeldtechnik, hat sie bereits industriell installiert und hat ein umfangreiches Integrationswissen erarbeitet. Es besteht eine enge Zusammenarbeit mit der Firma Raytrix (DE). Info unter https://www.raytrix.de


Diese war (für mich) vielleicht die beeindruckendste Demo. Diese Kameras sind sehr wenig bekannt und die Firma Raytrix ist angeblich, die einzige, die sie produziert für industrielle aber auch Consumer Anwendungen. Im Prinzip, handelt es sich um eine gewöhnliche Kamera (CMOS und seltener CCD) mit einem Objektiv. Aber dem Sensor-Chip ist ein Mikrolinsenarray mit tausenden Linsen vorgelagert. Jeder Bildpunkt hat in seiner Nachbarschaft Mikrolinsen mit unterschiedlicher Brennweite, so entsteht lokal eine Multi-Stereo Information. Dadurch entstehen praktisch Tausende von Mikro-Kameras. Ein Objektpunkt wird von ca. 4-7 Mikro-Kameras erfasst, was ein Multi-View Stereo erlaubt und Verdeckungen reduziert. Diese Kameratypen liefern fokussierte Bilder und mit einer etwa 6mal grösseren Tiefenschärfe. Die Prozessierung ist in Echtzeit basierend auf leistungsfähigen Grafikkarten. Es wird ein 2D Totalfocus-Bild geliefert und auch ein Tiefenbild (3D). Die prozessierten Bilder haben eine um circa 4mal kleinere Auflösung als die native Kameraauflösung. Wie die 3D Information zustande kommt ist ein Geheimnis der Firma Raytrix (patentiert). Ergebnisse, die wir gesehen haben, hatten schon mehrere aber nicht sehr grosse Lücken, wo keine 3D Messungen gab. Diese Kameras sind eher für kleine Objekte innerorts gedacht (wir sahen industrielle Teile weiniger als 1dm3-Grösse), obwohl auch eine Applikation mit kleinen Pflanzen ausserorts gezeigt wurde. Es gibt verschiedene Konfigurationen der Kameras, s. die Raytrix WEB Seite. Uns wurden 3 Kameras gezeigt und auch eine sehr kleine Kamera mit 40MP, wobei auch Kameras mit bis zu 100MP auf Kundenwunsch geliefert werden. Es wurden uns als Testobjekte kleine Prüflinge für eine Schweizer Firma gezeigt (Durchmesser einige mm) mit einer angeblichen Tiefe (Höhe) Genauigkeit von etwa 15 μm aus einer Distanz von ca. 1dm zum Sensor-Chip.


CSEMs Beitrag ist die Integration der Kamera, Bereitstellung von Software Tools, um eine solche Kamera effizient in Betrieb zu nehmen. CSEM integriert als erster Partner Raytrix Kameras in der Schweiz. In einem KTI Projekt konnte die 3D Messtechnologie für einen Industriepartner in einer Hochgeschwindigkeits-Prüfanlage erfolgreich implementiert werden.


Einige Schluss-Bemerkungen:


In vielen der Demos und generell wurde der Begriff “Deep Learning” erwähnt (ein „Hype“ der letzten Jahren in machine learning und AI). Durch die begrenzte Zeit konnten nicht alle
technischen Details erörtert werden. Einige Punkte seien daher hier ergänzt:

  • CSEM hat seine Deep Learning Kompetenz über die industrielle Bildverarbeitung aufgebaut und konnte nach eingehender Validierung die Technologie über die Vidi SA zu Cognex transferieren ( http://www.cognex.com/products/deep-learning/dl-software ) .
  • Deep Learning ist ein komplementärer Ansatz, wenn klassische Bildverarbeitung limitiert ist. Ein Anwendungsfeld ist zum Beispiel die Qualitätskontrolle bei „gut-Teilen“, welche eine hohe intrinsische Varianz aufweisen.
  • Ein Kernelement der Technologie ist der Autoencoder, welcher im unüberwachten Lernprozess (unsupervised learning) Charakteristika von Datenmustern erkennt.



Dankeschön


Im Namen aller Teilnehmer möchte ich mich bedanken bei dem CSEM-Team für den tollen Einsatz und insbesondere bei Herrn Dr. Alexander Steinecker für die allgemeine Vorbereitung und mehrere wertvollen Bemerkungen und Korrekturen in diesem Bericht und Frau Alice Waser-Hurschler für die Unterstützung bei der Logistik.

Zürich, den 27.11.2017
E. Baltsavias, Institut für Geodäsie und Photogrammetrie, ETH Zürich