minpic01.jpg

Auto-Pilot

Bildverarbeitungsrechner steuert PKW

R�diger Elben, Manfred Bertuch

Bildverarbeitung ist nicht nur eine Technik zur Aufbereitung von Schnappsch�ssen, sondern auch eine Schl�sseltechnologie zur Automation, Steuerung und Kontrolle von industriellen Fertigungsprozessen und anderen Abl�ufen. Sie erfordert �u�erst leistungsf�hige Rechner, vor allem dann, wenn komplexe Szenerien in Echtzeit analysiert werden m�ssen, wie zum Beispiel beim Steuern eines PKWs im Stra�enverkehr.

Unterthema: Prometheus - EG f�rdert Verkehrssysteme

W�hrend bereits in normalen Verkehrssituationen eine F�lle von Informationen verarbeitet werden mu�, ist h�chstes Reaktionsverm�gen gefragt, wenn beispielsweise auf einer kurvenreichen Landstra�e pl�tzlich Wild im Scheinwerferlicht auftaucht. In Bruchteilen einer Sekunde mu� der Fahrer Entscheidungen treffen, Ausweich- und Bremsman�ver durchf�hren und gleichzeitig andere Verkehrsteilnehmer beobachten. Kaum vorstellbar, da� ein elektronisches System jemals solch komplexe Aufgaben wird bew�ltigen k�nnen.

Der vollautomatische PKW-Autopilot ist tats�chlich noch Zukunftsmusik, und doch hat ein bei Daimler-Benz entwickeltes Projekt einen beachtlichen Entwicklungsstand erreicht. Mit 80 km/h steuert der Versuchs-PKW `VITA� (Vision Technology Application) sicher �ber Deutschlands Stra�en. Kernst�ck ist ein Bildverarbeitungsrechner des Parallelrechner-Pioniers Parsytec, der �ber Videokameras das Stra�enbild analysiert und entsprechende Lenkkommandos errechnet.

Das Projekt ist Bestandteil von Prometheus, einer EG-Initiative zur Entwicklung von elektronischen Hilfen f�r PKW-Lenker. Ganz unabh�ngig davon, ob dieses oder andere Prometheus-Projekte eine sinnvolle L�sung des Verkehrsproblems darstellen, ist VITA aus technischer Sicht ein interessantes Beispiel f�r den derzeitigen Stand der Bildverarbeitungstechnologie.

Hohe Schule

W�hrend der Gro�teil der BV-Anwendungen in der optischen Qualit�tskontrolle oder in der Steuerung von Bearbeitungsautomaten besteht, geh�rt die autonome Fahrzeugsteuerung zur h�chsten Schwierigkeitsstufe. Ein solches System mu� in der Lage sein, die Fahrbahn zu erkennen und ihren Verlauf zu bestimmen. Anders als bei einer Fertigungskontrolle von gleichm��ig auf einem Flie�band vorbeilaufenden Produkten kehren die optischen Merkmale von Stra�en weit weniger zuverl�ssig wieder und sind auch nicht immer im selben Bildausschnitt zu finden. Die Auswertung der Videodaten mu� also nicht nur schnell erfolgen, sondern auch flexibel und fehlertolerant sein.

Die im VITA-Projekt eingesetzte Bildverarbeitung erfolgt in drei typischen Schritten: Vorverarbeitung, Segmentierung und Interpretation.

Das digitalisierte Bild durchl�uft zun�chst eine Vorverarbeitung, um zum Beispiel St�reinfl�sse oder nicht relevante Informationen herauszufiltern. Das Ziel ist, die Datenmenge und damit den Rechenaufwand in den nachfolgenden Schritten zu reduzieren. H�ufig kann man die Datenmenge leicht halbieren, indem man die Farbinformation ignoriert und nur ein Graustufenbild weiterverarbeitet.

Im Anschlu� erfolgt das eigentliche Verstehen des Bildes, wof�r in der BV-Terminologie der Begriff `Segmentierung� gebr�uchlich ist. Mittels geeigneter Verfahren und Algorithmen werden die relevanten Bestandteile des Bildes lokalisiert und durch Merkmalsextraktion weiterverarbeitet. Eine solche Extraktion ist beispielsweise das Erkennen der Fahrbahnr�nder und die Ann�herung durch Linien.

Der letzte Schritt ist die Interpretation und Klassifikation des auf diese Weise abstrahierten Bildes, also die Erzeugung von Aussagen wie `Fahrzeug zu weit rechts� oder `Fahrbahn schwenkt nach links�.

Verst�ndige Software

Der schwierigste Abschnitt ist zweifellos die Segmentierung, schlie�lich steckt hier die `Intelligenz�, die das System nicht nur sehen, sondern auch verstehen l��t, was es sieht. Eine M�glichkeit ist, alle zu erkennenden Objekte in eine Bilddatenbank einzuspeichern und das aktuelle Bild mit den gespeicherten Ansichten zu vergleichen. Dieses `Patternmatching� ist allerdings nur dann praktikabel, wenn die zu erkennenden Objekte immer einigerma�en gleich aussehen und gen�gend Zeit zum Scannen der Datenbank zur Verf�gung steht.

Dagegen ist die Merkmalsextraktion ein viel flexibleres Verfahren und bietet sich an, wenn die zu erkennenden Objekte mit unterschiedlicher Form und Gestalt und in komplexen Umgebungen auftreten. Bei Fahrbahnr�ndern sind dies ein deutlicher und eng begrenzter Helligkeitswechsel, der ann�hernd in Fahrtrichtung verl�uft. Der entscheidende Trick aber, mit dem die VITA-Ingenieure eine hohe Verarbeitungsgeschwindigkeit und Fehlertoleranz erreichen, besteht darin, ein Modell des typischen Verlaufs einer Fahrbahn zu implementieren.

minpic03.jpg

minpic04.jpg

Das TIP-System von Parsytec f�r verteilte Bildverarbeitung basiert auf Transputer-Modulen, die sich �ber einen speziellen Hochgeschwindigkeitsbus zu Multiprozessorsystemen vernetzen lassen.

Mit mathematisch-geometrischen Modellen einer Stra�e kann man deren Verlauf vorhersagen und die Analyse auf kleinere Bildfenster beschr�nken. Ein solches Modell besagt, da� Stra�en aus Geraden, Kreisabschnitten und Klothoiden zusammengesetzt sein m�ssen. Unter einer Klothoide ist ein Bogen zu verstehen, dessen Kr�mmungsgrad linear mit der Bogenl�nge anw�chst oder f�llt. Zus�tzlich geht man davon aus, da� es sich bei einer Stra�e um eine ann�hernd planare Fl�che handelt. Die Zerlegung in kleine Fenster erm�glicht zudem eine Lastenverteilung auf verschiedene, gleichgestellte Instanzen und den Einsatz von Multiprozessorsystemen. Die so zus�tzlich zur reinen Rechenzeit gesparte Transferzeit tr�gt zur weiteren Steigerung der Analysegeschwindigkeit bei.

Das Stra�enmodell wird auch benutzt, um aus dem zweidimensionalen Kamerabild dreidimensionale Informationen zu gewinnen, aus denen wiederum Wegl�ngen und Abst�nde berechnet werden k�nnen. Dies geschieht, indem man das Aufnahmesystem als Lochkamera behandelt und annimmt, da� s�mtliche einfallende Lichtstrahlen durch einen Punkt in der Objektivebene gehen m�ssen. Somit kann mit Hilfe des Strahlensatzes eine Beziehung zwischen Gegenstands- und Bildkoordinaten hergeleitet werden. Bei Kenntnis der Brennweite sowie des Kamerastandortes im Versuchsfahrzeug l��t sich die Entfernung zu beliebigen Punkten ermitteln.

Die durch die Lokalisierung der Fahrbahnbegrenzungen ermittelten Fahrbahnkoordinaten werden ebenfalls in das zuvor beschriebene Modellierungsschema eingearbeitet. Zun�chst werden aus den Bildinformationen die Anfangskr�mmung sowie die konstante Kr�mmungs�nderung der Fahrbahn-Klothoide bestimmt. Das ist immer m�glich, da auch Geraden wie spezielle Klothoiden behandelt werden k�nnen. Zudem ist das System in der Lage, die Stra�enbreite zu bestimmen. Die so gewonnenen Daten erm�glichen schlie�lich ein autonomes Steuern des Fahrzeuges auf hindernisfreier Fahrbahn.

In einer zweiten Entwicklungsstufe sollen auch vorausfahrende Fahrzeuge erkannt werden, wodurch das richtige Abstandhalten und �berholen m�glich wird. Hier bedient man sich ebenfalls eines modellgetriebenen Ansatzes und nutzt aus, da� Fahrzeuge in ihrer R�ckansicht eine ausgepr�gte Achsensymmetrie aufweisen. Indem die Bilddaten auf dieses Merkmal hin untersucht werden, kann ein vorausfahrender PKW erkannt und seine Position berechnet werden. Dieser Vorgang ist relativ unabh�ngig von der Spurverfolgung und l��t sich daher leicht in weiteren, parallel geschalteten Prozessoren ausf�hren.

Transputer chauffiert

In VITA wurden spezielle RISC-Prozessoren, sogenannte Transputer, eingesetzt, die �ber integrierte Kommunikationsschnittstellen verf�gen. �ber diese Links lassen sie sich leicht zu Multiprozessorsystemen vernetzen. Die Fahrbahnranderkennung wird gleichzeitig von drei Transputern des Typs T800 durchgef�hrt (in der Skizze mit LLVx gekennzeichnet), die insgesamt etwa 30 Fenster gleichzeitig analysieren. Bei einer durchschnittlichen Gr��e von 96 Bildpunkten erfordert jedes Fenster eine Rechenzeit von 4 ms. Der Slave-Transputer sorgt f�r eine gleichm��ige Verteilung der Rechenprozesse (Tasks) auf die drei LLVs, der Master legt fest, welche Rechenprozesse innerhalb eines Bearbeitungszyklus erfolgen sollen. Der Display-Prozessor erzeugt die im Foto sichtbaren Dateneinblendungen. Wie sich eine Hinderniserkennung in das System integrieren l��t (Obstacle Detection), ist ebenfalls angedeutet.

Ein kompletter Bildbearbeitungszyklus erfolgt innerhalb von 0,08 Sekunden. Dieser Wert garantiert eine bei typischen Autobahngeschwindigkeiten ausreichend stabile Steuerung. Selbst bei der gleichzeitigen Verfolgung von mehreren Fahrspuren waren die LLV-Transputer nur zu 50 bis 75 Prozent ausgelastet. Auf einer im August 1991 durchgef�hrten, 130 km langen Autobahnfahrt von Stuttgart nach Ulm und zur�ck bewies das System seine Funktionst�chtigkeit. Nur bei der Ausfahrt M�hlhausen war es nicht sicher, ob es der Ausfahrt folgen oder auf der Geradeausspur bleiben soll. In engeren S-Kurven mu�te ebenfalls manuell korrigiert werden, weil das Fahrzeug einen konstanten Abstand zum Fahrbahnrand einh�lt und in Kurven nicht wie ein menschlicher Fahrer versucht, die Ideallinie zu finden.

minpic02.jpg

Videosicht des Steuerungssystems mit eingeblendeten Kontrollwerten der Fahrspurverfolgung. Die gr�nen Vierecke kennzeichnen Fenster, in denen nach signifikanten Informationen gesucht wird.

Das dynamische Lenkverhalten wird �brigens von der Gesamtregelcharakteristik des Systems bestimmt, die eigentliche Bildverarbeitung erzeugt lediglich die Positionsmeldungen. Die VITA-Entwickler probierten neben einer klassischen PID-Regelung auch ein neuronales Netz. Es wurde darauf trainiert, st�rkere Abweichungen mit einer m�glichst geringen �nderungsgeschwindigkeit des Lenkwinkels auszuregeln, und zeigte im Test ein deutlich `menschlicheres� Verhalten als der PID-Regler.

Verteilte Bildverarbeitung

Inzwischen setzt Daimler-Benz ein Transputer-System des Aachener Unternehmens Parsytec zur verteilten Verarbeitung von Bildinformationen ein. Das TIP-System (Transputer Image Processing) besteht im wesentlichen aus Prozessormodulen, den VPUs, aus denen fast beliebig leistungsf�hige BV-Rechner aufgebaut werden k�nnen. Auf den VPUs werden Transputer vom Typ T805 eingesetzt, sie k�nnen, bei Verf�gbarkeit, auch mit dem aktuellen Nachfolger, dem T9000 best�ckt werden. �ber Framegrabber- und Grafik-Display-Module lassen sich Videosignale ein- und ausgeben. Das Betriebssystem RTSM (Realtime System Manager) unterst�tzt zusammen mit einem Toolset und C-Compilern von Inmos sowie dem BV-Paket Utopia die Programmierung von Anwendungen.

mnqpic01.jpg

Der in 1991 eingesetzte VITA-Prototyp besteht aus einer Multiprozessorarchitektur mit Transputern vom Typ T800.

Zu den hohen lokalen Rechenleistungen geh�rt auch ein entsprechend schnelles Kommunikationssystem zwischen den Prozessorboards. Da VME- oder andere Bussysteme die Anforderungen nicht erf�llen, kommunizieren die TIP-Module �ber einen speziellen 32-Bit-Hochleistungsbus. Der TIP-Bus ist dank seiner �bertragungsleistung von kontinuierlich 100 MByte/s in der Lage, digitalisierte Videosignale in Echtzeit zu �bertragen. In geplanten Ausf�hrungen sollen sogar bis zu 500 MByte/s m�glich sein.

Zudem enth�lt das TIP-System eine DVL-Schnittstelle (Digital Video Link), �ber die BV-Module anderer Hersteller angeschlossen werden k�nnen. DVL ist ein 1990 gestartetes Vorhaben zur De-facto-Standardisierung von digitalen Videoschnittstellen. Die fr�her oft system- und herstellerabh�ngigen �bertragungseinheiten f�r Videodaten erhalten mit DVL ein Standard-Interface zur Kommunikation. Der auch als Deutscher Videobus bezeichnete Standard arbeitet bitseriell und erreicht eine Transferrate von effektiv 15 MByte/s. �ber DVL l��t sich TIP zum Beispiel mit speziellen VME-Bus-Karten der Firma Eltec koppeln, die die im Videobild vorhandenen Kanten in Echtzeit extrahieren und vektorisieren. (be)

Literatur

[1] B. J�hne, Digitale Bildverarbeitung, Springer-Verlag, Heidelberg 1991

[2] P. Haber�cker, Digitale Bildverarbeitung, Grundlagen und Anwendungen, Hanser Verlag, M�nchen 1991

[3] U. Franke, S. Ullrich, Modellgest�tzte Echtzeitbildverarbeitung auf Transputern zur autonomen F�hrung von Fahrzeugen, aus: R. Grebe, C. Ziemann (Hrsg.), Parallele Da- tenverarbeitung mit dem Transputer, Springer-Verlag, Heidelberg 1991

Kasten 1


Prometheus - EG f�rdert Verkehrssysteme

`PROgraMme for an European Traffic with Highest Effiziency and Unprecedented Safety� ist der etwas l�ngliche Wortlaut eines Projekts der Europ�ischen Gemeinschaft, in dem seit 1986 verschiedene Systeme zur Steuerung von Verkehr und Erh�hung der Verkehrssicherheit entwickelt werden. Ziel der Forschung ist es nicht, den Autofahrer zu ersetzen und ihm gar die Verantwortung abzunehmen. Die in VITA und anderen Projekten gesammelten Erfahrungen sollen in Systeme einflie�en, die den Fahrer in Gefahrensituationen warnen, beispielsweise durch Signale auf der Windschutzscheibe, wenn am dunklen Stra�enrand Fu�g�nger oder Radfahrer auftauchen oder beim Versuch, trotz Gegenverkehrs zu �berholen. Auch in Standardsituationen wie beim Stop-and-go-Verkehr, dem richtigen Abstandhalten oder dem Umfahren von Hindernissen sind automatische Entlastungen vorstellbar.

Andere Forschungsschwerpunkte sind Leitsysteme zur Stauvermeidung, wie zum Beispiel das von Siemens und Bosch in Berlin durchgef�hrte Projekt LISB, das entsprechend ausger�stete Fahrzeuge per Datenfunk durch den Stadtverkehr lotst. Projekte wie das Stuttgarter STORM erproben kooperatives Verkehrsmanagement und beziehen auch Park-and-Ride, Busse und Bahnen in die Routenempfehlungen mit ein. Kritiker halten den Ansatz von Prometheus allerdings f�r verfehlt und bem�ngeln, da� viel Geld an den falschen Stellen ausgegeben wird. Konzepte gegen den t�glichen Verkehrskollaps m��ten nicht die Lenkung, sondern in erster Linie die Vermeidung und Verminderung von Verkehr zum Ziel haben.

Bis Ende 1994 wird das Bundesforschungsministerium die zur Zeit 30 Projekte noch mit 30,3 Millionen Mark f�rdern. Die Industrie will im gleichen Zeitraum 70 Millionen Mark investieren.