Sherlock Holmes im Orbit: KI erkennt Biotope auf Satellitenbildern unterstützt durch Synthetic Data Sets
Zusammenfassung des Vortrags von Joerg Osarek, gehalten am 10. Mai 2023 auf der its-people Informationsveranstaltung „Nachhaltigkeit in Unternehmen“ 
Durch vielfältige neue Nachweispflichten der EU mit Geo-Bezug ist die massenhafte Analyse von Satellitenbildern durch künstliche Intelligenz (KI) gefragt wie nie. Fast schon im Wochentakt gibt es in der KI-Branche einen neuen Durchbruch nach dem anderen. Doch eine KI ist nur so gut wie ihre Trainingsdaten. Erfahren Sie, wie Sie mit Synthetic Data Sets Ihre durchschnittliche KI zu einer Super-KI für das Auswerten von Satellitenbildern weiterentwickeln können.
Ob im Rahmen der Vorschriften des „Grünen Deals“ der EU oder für den europaweit geltende Nachhaltigkeitsberichterstattung CSRD, viele Unternehmen stehen vor einer Reihe von Nachweispflichten mit geografischem Bezug. Die künstliche Intelligenz hat enorme Fortschritte gemacht und was vor kurzem noch als Science-Fiction galt, kann heute bei der Auswertung der Daten wertvolle Unterstützung leisten. Mixed Reality und die Verknüpfung mit Synthetic Data Sets sind hier die Schlagworte, die uns Jörg Osarek als Mixed Reality Pionier vorstellt.
Die Analyse von Satellitenbildern durch künstliche Intelligenz (KI) umfasst nicht nur Satellitenbilder, sondern auch Bilder von Drohnen, aus Fahrzeugen und Zügen heraus ebenso wie solche von Überwachungskameras oder Smartphone-Fotos.
Doch eine KI ist nur so gut wie ihre Trainingsdaten. Also wollten wir wissen, wie gut eine solche Erkennung funktioniert und wie 3D Synthetic Datasets genutzt werden könnten, um die Erkennungsqualität der KI zu verbessern, mit denen ich mich schon seit Anfang 2020 intensiv beschäftigt habe. Ein Proof of Concept im Rahmen eines Kundenprojekts bot eine gute Gelegenheit dazu.
Zwei auf KI spezialisierte Organisationen – eine für angewandte Forschung und eine aus der Privatwirtschaft, erstellten ihre Lösungsvorschläge, die wir an Echtdaten, also Satellitenbildern mit und ohne NIR-Band (Near-Infrared) testeten.
Wichtig für alle Beteiligten war hierbei:
- selbst Hand anlegen zu können, um die KI auf Herz und Nieren zu testen
sowie
- die Integration des Kundenteams in den Entwicklungs- und Optimierungsprozess
Außerdem verprobten wir synthetisch erzeugte Testdaten in der KI, um herauszufinden, wie naturgetreu für eine Erkennung sein müssen. Da die Zeit für den „Proof of Concept“ begrenzt war, waren die ersten Ergebnisse teils ansehnlich, teils aber auch noch unzureichend. Wichtig jedoch war der direkte Vergleich beider Lösungen und die Analyse der Stärken und Schwächen.
Schwachpunkte der Testdaten der KI
- alle länglichen maskierten Formen wurden als Wasserlauf erkannt
- schwarz-weiß Fotos von Personen, zu Testzwecken eingebaut, wurden als Geröllhalde erkannt
- eine teils ungenaue Georeferenzierung fand statt
Erkenntnisse aus den Schwachpunkten der Testdaten der KI
Das Wertvolle an diesen Entdeckungen aber war nun, dass wir gemeinsam mit den Teilnehmern Strategien entwickeln konnten, wie wir solche Probleme in einem auf Bundesebene zu skalierenden System adressieren.
Einerseits zeigte sich, dass multispektrale Informationen im Training und bei der Erkennung mancher Biotoptypen wichtig sind. So beispielsweise um Bäume in Wäldern nach ihrer Art und ihrem Alter zu klassifizieren – siehe auch die Ergebnisse der TreeSatAI Studie – Künstliche Intelligenz mit Erdbeobachtungs- und Multi-Source Geodaten für das Infrastruktur-, Naturschutz- und Waldmonitoring. Andererseits wurde klar, dass eine mehrstufige Klassifizierung unter Einbezug intelligenter Algorithmen erforderlich ist, um verschiedene Biotop-Arten weiter zu präzisieren.
Verwendung der gewonnen Erkenntnisse
Im Nachgang an den Proof of Concept entwickelten wir die Strategie für den Einsatz synthetischer Datasets weiter. Da wir erkannten, dass dieser Ansatz nicht nur für Satellitenbilder und nicht nur für Biotope interessant ist, stellten wir ihn, vom Kunden befürwortet, auch breiter öffentlich vor und luden Partner ein, die Idee weiter zu treiben. So geschehen auf der its-people Veranstaltung zum Thema “Nachhaltigkeit in Unternehmen“ und auf einer Tagung der „Forschungsgesellschaft für Straßen- und Verkehrswesen“ im Mai 2023.
Die detaillierte Zusammenfassung dessen, was wir gelernt haben, finden Sie hier nun in Gedichtform:
Der Anstoß
| Ob CSRD, Green Deal, entwaldungsfreie Lieferketten weil wir Nachhaltigkeit gern ohne Abholzung hätten. Millionenfach muss man bald mit geschulten Blicken Biotope kartieren und entwaldete Lücken. | Auf Satellitenbildern und von Daten mit Geobezug. Doch Kartierer sind teuer und es gibt nicht genug. Daher ist künstliche Intelligenz oder kurz KI zur Massenauswertung gefragt, wie noch nie. |
Die Aufgabe
| Die Aufgabe war einfach zu benennen. Ein KI-System soll Biotope automatisch erkennen. Wie Sherlock Holmes, der im Orbit kreist und Biotope metergenau ausweist. | Damit wir wissen, ob und wie das geht wo Wissenschaft und Technik heute steht und auch, wie man dieses System skaliert haben wir einen Proof of Concept durchgeführt. |
| Was wir gelernt beim POC, will ich mich eilen mit Freude hier mit Euch zu teilen. |
Proof of concept
| Frei nach Hadden’s Regel für Investition: Warum nur einen Beweis, wenn Du zwei kannst bekommen für den doppelten Preis? | Zwei Anbieter aus Forschung und Wirtschaft wir wählten. Mit bohrenden Fragen wir beide quälten. |
| Challenge gemischt mit gegenseitiger Befruchtung war das Resultat. Wir lernten beide gut kennen und erhielten Klarheit für den weiteren Pfad. | Mit der KI experimentieren, selbst Hand anzulegen war enorm wichtig und für unser Team ein Segen. |
| So wurde daraus ein Lern- und Verständnisprojekt, bessere Ergebnisse spielerisch gemeinsam entdeckt. | Bild rein, Antwort raus, war der Wunsch, sehr schlicht. Doch zeigt die Praxis: so gehts leider nicht. |
Flexibilität ist gefragt
| Explainable AI lässt Annahmen prüfen und Ideen lenken. XAI ermöglicht, der KI zuzusehen beim Denken. | Ein spezialisiertes System: wie bauen wir das nur? Als dynamische modulare Prozessarchitektur. |
| Einen offenen Werkzeugkasten für viele Szenarien für heutige und zukünftige Auswertungs-Arien. | Denn in dieser beschleunigten, turbulenten Zeit bietet nur Flexibilität Investitionssicherheit. |
Der magische Kasten
| Am Allerwichtigsten: ein Team interdisziplinärer Enthusiasten. Die können ihn bauen, diesen magischen Machine-Learning-Kasten. | Auch wir sind in einige Fallen getappt. Welche fragt Ihr und wie es dann trotzdem klappt? |
| Für Watershed-Segmentierung war Baum gleich Schatten. Wald wurde erkannt, obwohl wir dort Wiese hatten. Obacht auch bei der Geo-Projektion: wichtig: Koordinaten mit hoher Präzision. | Liegt ein Weg dicht an einem Fließgewässer ist die Biotoperkennung schlecht, statt besser. Das System lag schon mal 7 Meter daneben aber auf Feldwegen können keine Fische leben. |
| Abhilfe schafft Testmanagement-Denken und -Handeln. Explainable AI hilft beim Entdecken, beim Lenken und Wandeln. Einen Bias entdeckten wir durch Hinterfragen. Zu viele Wasserläufe kamen aus den Vorhersagen. | Egal welche Farbe, bei länglicher Form war die Wasserlaufquote einfach enorm. |
| Selbst Einsteins Foto als länglicher Schnitt: als Wasserlauf erkannt. So ein Pech. Einsteins ganzes Foto wurde klassifiziert als Geröllhalde – wir hatten nur Biotope programmiert. | Die KI verwechselte Noise mit Signal. Ein Training mit „Anderem“ macht das zukünftig egal. |
Zu wenig Trainingsdaten
| Die Biotoperkennung war teils gut, teils geraten. Die KI hatte viel zu wenig gelabelte Trainingsdaten. Labeln durch Menschen stellt Wirtschaftlichkeitsfragen. Heißt das, wir sind hier schmachvoll geschlagen? | Für einen Teil helfen 3D Höhenmodelle. Weitere Spektralbänder helfen an anderer Stelle. Die TreeSatAI-Studie konnte den Nachweis liefern. Mit Infrarot erkennt man sogar das Alter von Kiefern. |
| Doch woher kommen gelabelte Trainingsdatenmassen? Teils von Satelliten, teils können wir sie künstlich erzeugen lassen. | Synthetic Data Sets nennt sich die Methode. Beim autonomen Fahren schon groß in Mode. |
| Doch eignet sich das auch für Biotope hier? Den KI-Erkennungs-Nachweis lieferten wir. Das Labeln dabei automatisch abfällt: Trainingsdatenmassen für viel weniger Geld. | Wichtig ist umfassendes 3D Know How damit die Abbildung der Natur ausreichend genau, multispektral und im sichtbaren Licht. Doch das schreckt den 3D Enthusiasten nicht. |
Synthetische Trainingsdaten
| Diejenigen, die sich mit Synthetischen Trainingsdaten befassen, sollten Generative AI nicht außer Acht lassen. Also mit Text Prompts erzeugte Bilder, die werden wöchentlich immer besser und wilder. | Sind solche GANs zum Helfen in der Lage? In Klärung ist gerade diese Frage. |
| Was wir beim POC lernten war wirklich spitze. Ich hoffe, dass es Euch auch ein wenig nütze. | Habt Ihr Fragen, sprecht mich gerne an. Ich freu mich, wenn ich weiterhelfen kann. |
Nächster Schritt: skaliertes System
| Ein automatisches System, das über die globale Biosphäre wacht, wäre das nicht wunderbar und eine Pracht? | Um ein solch edles System zu skalieren, brauchen wir Menschen, die in das Projekt investieren. |
47 Seiten POC Bericht lesen dauert eine Ewigkeit. Vergeuden will ich nicht der Investoren kostbare Zeit. Wie kann ich es den Damen und Herrn schnell und einfach erklärn? Vielleicht indem mein Gedicht sie erfreut. |
Die komplette Präsentation zum download finden Sie auf Deutsch: https://sherlock-ki.climatehackerz.com und auf Englisch: https://sherlock-ai.climatehackerz.com
Was haben wir gelernt?
Allen Teilnehmern der its-people Veranstaltung wurde auch mit diesem Vortrag noch einmal sehr deutlich, dass wir mitten in unglaublichen Transformationsprozessen stecken. Und diese bieten, bei aller Herausforderung, für echte UnternehmerInnen auch immer Chancen.
its-people, die Datenspezialisten, haben sich entschieden, durch entsprechende Daten-Dienstleistungen und -Konzepte Unternehmen bei den anstehenden Prozessen zum Thema Nachhaltigkeit fachkundig zu unterstützen und zu begleiten.
Lassen Sie es uns gemeinsam anpacken!
Im Juni 2023 nahmen wir als Team BIO.KI.S.S. mit diesem Proof of Concept am www.datarun2023.de des Bundesverkehrsministeriums im Bundesamt für Seeschifffahrt und Hydrographie in Hamburg teil.
(Quelle: privat)
Unter den zahlreichen Teilnehmern wurde unser Team Bio.KI.S.S. in der Kategorie „Komplexität“ für eine neue Art und Weise ausgezeichnet, Künstliche Intelligenz in der Erkennung von Biotopen zu trainieren. Auf diese Auszeichnung sind wir sehr stolz!
Nun prüfen wir, inwiefern sich der Ansatz unseres Teams BIO.KI.S.S. in einer generellen OpenData Initiative mit synthetischen 3D Datasets für Biotope und viele weitere Anwendungsgebiete ausbauen lässt. Eine hochspannende und gesellschaftlich verantwortliche Aufgabe.
 | Zum Autor: Jörg Osarek erstellt als Lotse durch die Klimatransformation und Gründer von Climate Hackerz Blaupausen für den beschleunigten Übergang zur klimaneutralen Kreislaufwirtschaft. Als Baustein dafür optimiert er aktuell KI basierte Biotop-Analysen aus Satellitenbilddaten. Details zu 3D synthetic Datasets finden Sie auch hier. Jörg Osarek ist Keynote-Speaker und Autor mehrerer Fachbücher. Er hat das Skilltower Institute gegründet und war Mitgründer des its-people Unternehmensverbundes. |
Gerne können Sie sich den Mitschnitt des Vortrages auch auf unserem youtube Kanal anschauen. (Dauer: ca. 9 Minuten)
_________________________________________________________________________________________________________________________________________
_________________________________________________________________________________________________________________________________________
