Unterthema: Europ�er entwickeln Parallel-Software
Bitte beachten Sie auch diese Erg�nzung!
In den letzten Jahren hat sich die Meinung durchgesetzt, da� nur massiv parallele Rechner (Massively Parallel Processor, MPP) mit mehreren hundert oder tausend Prozessoren das angestrebte Ziel im Teraflops-Bereich (= 1 Million MFLOPS) erreichen k�nnen. Die Idee besteht darin, hundert oder tausend Prozessoren gleichzeitig an einer Problemstellung arbeiten zu lassen und so Aufgaben l�sen zu k�nnen, die klassische Supercomputer mit ihren maximal 16 Prozessoren nicht in akzeptabler Zeit bew�ltigen.
Wesentliche Komponente eines jeden Parallelrechners ist ein Kommunikationsnetzwerk, �ber das die Prozessoren miteinander verbunden sind, um Abl�ufe zu koordinieren und Daten auszutauschen. Das Netzwerk mu� ausreichend schnell sein, damit der Zeitgewinn durch die verteilte Bearbeitung nicht durch den Zeitbedarf f�r die Kommunikation und das Zusammenfassen der Ergebnisse aufgehoben wird.
Es gibt unterschiedliche Absch�tzungen f�r den Koordinationsaufwand und die erzielbare Leistungssteigerung. (aus [1])
Ein weiteres Merkmal ist die weitgehende Skalierbarkeit, also die M�glichkeit, kleinste Systeme mit wenig Prozessoren �ber viele Zwischenstufen bis zum gr��ten System ausbauen zu k�nnen. Um die maximale Leistung eines Parallelrechners zu erreichen, mu� die Software das zu l�sende Problem so organisieren, da� alle Prozessoren gleichzeitig und m�glichst vollst�ndig ausgelastet sind.
Das MIMD-Prinzip (Multiple Instruction Stream, Multiple Data Stream) wird charakterisiert durch die Verarbeitung vieler unabh�ngiger Befehlsstr�me auf verschiedenen Prozessoren mit unterschiedlichen Daten. Dieses Prinzip erlaubt die flexiblere Umsetzung von parallelen Algorithmen und ist die Grundlage der meisten MPPs. Die Synchronisation der einzelnen Prozessoren erfordert dann allerdings einen h�heren Aufwand. Um Befehle und Daten zu holen, mu� jeder Prozessor mit dem Speicher kommunizieren. Dies kann durch direkten Zugriff jedes Prozessors auf einen physikalisch gemeinsamen, globalen Speicher erfolgen oder durch Zugriff auf eigene, lokale Speichereinheiten. Auch beim verteilten Speicherprinzip ist durch geeignete Software- und Hardware-Organisation der Aufbau logisch gemeinsamer, globaler Speicher m�glich.
In massiv parallelen Systemen ist ein gemeinsamer Speicher f�r alle Prozessoren wegen der extremen Anzahl erforderlicher Verbindungswege oder der notwendigen hohen Bandbreite eines gemeinsamen Busses nicht optimal realisierbar. Daher bestehen die Funktionseinheiten massiv paralleler Rechner h�ufig aus Prozessorspeicherpaaren, den sogenannten Knoten.
Die Hypercube-Topologie wird bei den Systemen von nCube angewandt. Die Kombination zweier Anordnungen bildet den Hypercube der n�chsth�heren Dimension.
In neueren, massiv parallelen Systemen wird oft eine Baumstruktur oder eine zweidimensionale Gitteranordnung der Knoten gew�hlt. Bei der Baumstruktur spricht man auch von einem `fat tree�, wenn die Kommunikationsbandbreite der Knotenverbindungen in Richtung der `Baumwurzel� h�her ausgelegt ist als zwischen den `�sten� und `Zweigen�. F�r die Effizienz einer Probleml�sung auf einem massiv parallelen System ist es wichtig, das Verh�ltnis zwischen Rechen- und Kommunikationsleistung der Knoten an die Anforderungen der Software anzupassen. Es gibt Probleme, die bei einer parallelen Zerlegung fast gar keine oder aber extrem hohe Kommunikation zwischen den Knoten erfordern. Nach diesem kurzen, sicher nicht vollst�ndigen �berblick �ber die Unterscheidungsmerkmale massiv paralleler Systeme sollen nun einige aktuelle Maschinen vorgestellt und charakterisiert werden.
Schon 1986 stellte die Thinking Machines Corporation des Amerikaners W. Daniel Hillis ihre erste Connection Machine mit 65 536 Prozessoren in SIMD-Struktur vor. Das im November 1991 vorgestellte Modell CM-5 ist prinzipiell (ohne Ber�cksichtigung der Kosten) skalierbar bis zu 64 Knoten mit 16 384 Prozessoren und der erste Rechner dieses Herstellers, der die SIMD- und MIMD-Architektur miteinander verbindet. Die bislang h�chste Ausbaustufe mit 1024 Prozessoren wurde zu einem Preis von zirka 30 Millionen Dollar an das Los Alamos National Laboratory in New Mexico ausgeliefert. Nach Aussage des amerikanischen Marktforschungsinstituts IDC h�lt die TMC mit ihren Maschinen einen Weltmarktanteil von 39,2 Prozent.
Immer wieder beliebt: blinkende L�mpchen signalisieren Rechneraktivit�t bei der Connection Machine CM-5. Sie kombiniert das SIMD- mit dem MIMD-Prinzip.
F�r das aktuelle Einstiegsmodell CM-5 Scale 3 mit einer theoretischen Spitzenleistung von 4 Gigaflops und einem Preis von unter 1 Million Dollar, hat sich zum Beispiel die Bergische Universit�t GHS Wuppertal entschieden. Diese Maschine enth�lt 32 Knoten mit einer Rechenleistung von je 128 Megaflops, die �ber ein breitbandiges Kommunikationsnetzwerk gekoppelt sind. Dabei greifen Rechen- und Plattenspeicherknoten gleichberechtigt auf dieses Netzwerk zu. Dies f�hrt zu einer neuen, h�heren Flexibilit�t bei der Wahl zwischen hoher Rechenleistung und/oder hoher Speicherkapazit�t. Die CM-5-Maschinen haben ein komplexes Verbindungsnetzwerk, bestehend aus dem Datennetzwerk, dem Kontrollnetzwerk und einem Diagnosenetzwerk. Genau diese Aufteilung erlaubt die Kombination des SIMD- und MIMD-Prinzips bei der Abbildung der zu l�senden Aufgaben auf die Hardware der Maschine. Die Knoten enthalten einen 33-MHz-SPARC-Prozessor und vier optionale Vektorprozessoren des Herstellers Weitek sowie maximal 32 MByte Speicher. Die Rechenleistung ohne/mit Vektorprozessoren betr�gt 5 Megaflops / 128 Megaflops je Knoten. Das Kommunikationsnetzwerk gew�hrleistet mindestens 5 MByte/s �bertragungsrate zwischen beliebigen Knoten. F�r die Struktur der Netzwerke wurde der `fat tree� gew�hlt.
Zu den f�nf europ�ischen Paragon-Installationen z�hlen das Kernforschungszentrum J�lich und die Universit�t Stuttgart, die jeweils Systeme mit 72 Knoten und maximal 5 GFLOPS anschafften. Anfang Mai lieferte Intel erstmalig ein f�r die Paragon-Systeme entwickeltes, skalierbares Betriebssystem aus, das an OSF/1 angelehnt ist.
nCube bietet in der Serie 2S Systeme mit bis zu 8192 Prozessoren und maximal 34 GFLOPS an.
Mit 8 Prozent Weltmarktanteil z�hlt die nCUBE Corporation ebenfalls zur Runde der Marktf�hrer. nCUBE hat durch ihre Zusammenarbeit mit dem Softwarehaus Oracle Corp. den kommerziellen Markt ins Auge gefa�t. Das aktuelle Modell nCube 2S in Hypercube-Topologie, MIMD-Architektur und mit herstellerspezifischen 64-Bit-CMOS-Prozessoren leistet 3,5 Megaflops pro Knoten, von denen jeder bis zu 64 MByte Speicher enth�lt. Ein Knotenprozessor vereinigt eine 64-Bit-CPU, eine 64-Bit-IEEE-FPU, eine Message Routing Unit und 14 DMA-Kan�le auf einem Chip. Durch die relativ niedrige Rechenleistung der einzelnen Knoten m�ssen damit aufzubauende H�chstleistungssysteme mit bis zu 8192 Knoten ausgestattet werden. Tats�chlich bestand das bisher gr��te verkaufte System aus 2048 Knoten, es ging an das Los Alamos National Laboratory in New Mexico. In Deuschland hat sich die Universit�t Hannover einen nCUBE zugelegt, allerdings mit nur 64 Knoten.
Die Multiplex- und Routing-Einheiten des Parsytec GC erlauben wahlfreie Topologien. Die vorl�ufige el-Version des GC ist noch nicht mit den aktuellen 25-MFLOPS-T9000-Transputern best�ckt.
Die virtuellen 65 536 Verbindungsm�glichkeiten des T9000 werden durch Inmos-C104-Routing-Chips auf reale Links abgebildet. Durch den hohen Integrationsgrad von Scheduling-, Multiplexing- und Routing-Mechanismen auf dem Transputerknoten k�nnen beliebige Topologien f�r das Gesamtsystem verwirklicht werden. Die virtuelle Kommunikationsstruktur erleichtert die Skalierbarkeit des Parallelrechners und die Abstimmung von Rechen- und Kommunikationsleistung.
Weitere Teilnehmer des Rennens um den Teraflops-Rechner sind beispielsweise das britische Unternehmen Meiko Scientific Ltd. mit ihrer Maschine `Computing Surface�, die bisher �ber 400mal installiert wurde. In der MIMD-Architektur mit variabler Topologie arbeiten Intel-i860- oder Sun-SPARC-Prozessoren mit Inmos-T800-Transputern als Kommunikationsprozessoren zusammen und erreichen 40 Megaflops pro Knoten. Das System kann auf bis zu einigen hundert Knoten ausgebaut werden.
Der 1992 vorgestellte KSR-1 des amerikanischen Herstellers Kendall Square Research ist zur Zeit der einzige massiv parallele Rechner auf dem Markt, der das Modell der gemeinsamen Speicherbenutzung der maximal 1088 Knotenrechner verwirklicht. Jeder Knoten enth�lt einen superskalaren 20-MHz-RISC-Chip und 32 MByte Speicher, der durch Hardware-Unterst�tzung als virtuell gemeinsamer Speicher angesprochen werden kann. Die Spitzenleistung eines Knotens betr�gt 40 Megaflops.
Bei DEC gibt es die Serie DECmpp 12000 in Ausbaustufen von 1024 bis 16 384 Prozessoren. Die Spitzenleistung liegt bei 6,3 GFLOPS (32 Bit).
Auch Schwergewichte wie IBM und Cray Research planen die Markteinf�hrung von MPPs. Vulcan, so der Projektname der IBM-Maschine, soll in ein bis zwei Jahren marktreif sein. IBM plant dabei mehrere hundert Knoten mit physikalisch verteiltem Speicher, der aber von allen Knoten aus ansprechbar sein soll. Crays Maschine `Tera 3D� enth�lt den DEC-Alpha-Mikroprozessor und soll auf maximal 1024 Knoten ausgebaut werden k�nnen, bei einem Speicherprinzip �hnlich dem der IBM-Maschine. Anvisiert sind 300 Gigaflops f�r dieses System in diesem Jahr und bis 1997 eine Sustained Performance von einem Teraflops. Das Jet Propulsion Laboratory (JPL) soll noch in diesem Jahr ein System mit 256 Prozessoren und einer Spitzenleistung von 38 Gigaflops erhalten.
Im `Real World Computing�-Programm des japanischen Industrieministeriums MITI sind neben neuronalen und optischen Computern auch massiv parallele Systeme in der Entwicklung. NEC, Fujitsu und andere japanische Supercomputerhersteller verfolgen ebenfalls Ideen zur Teilnahme am Teraflops-Rennen.
[2] Wolfgang M�ller, Parallelrechner - Transputeranwendungen in Industrie und Forschung, Gemini Multimedia Verlag 1992
[3] Landesinitiative Softech NRW, Situation und Perspektiven des Einsatzes der parallelen Datenverarbeitung 1992
[4] J.J. Dongarra, Experimental Parallel Computing Architectures, North-Holland 1987
[5] Dr. Thomas Br�unl, Parallaxis, Modula massiv parallel, c't 6/91, S. 34
[6] IEEE Spectrum, 9/1992, Special Issue: Supercomputers
Vater Staat greift in die Tasche, um die parallele Datenverarbeitung in Schwung zu bringen. So flie�en knapp 6 Millionen aus Steuermitteln des Landes Nordrhein-Westfalen und der EG in das ZIAM (Zentrum f�r industrielle Anwendungen massiver Parallelit�t). Es wurde im September 1992 in Herzogenrath gegr�ndet und soll als Technologie-Tranfer-Drehscheibe f�r die Datenverarbeitung auf Parallelrechnern fungieren. Das ZIAM wird sich sicher nicht nur auf NRW, sondern auf ganz Deutschland positiv auswirken. Das Geld ist dort wahrscheinlich besser angelegt als beim Suprenum-Projekt.
Wenn man sich beispielsweise das Software-Angebot von Genias und Pallas ansieht, taucht immer wieder der Satz `Runs wherever EXPRESS is available� auf. Im Bereich der Software gibt es einen Trend zur Vereinheitlichung. Programme sollen unabh�ngig von der Topologie der Hardware laufen. EXPRESS ist neben PICL, PARMACS, PVM (Parallel Virtual Machine) und anderen eine der parallelen Programmierumgebungen. Hierbei handelt es sich nicht um eine neue Form von Betriebssystem, sondern um eine Sammlung von Unterprogrammen, die auf jeder Hardware identisch implementiert sind. Mit EXPRESS werden die Sprachen C und Fortran unterst�tzt. Nicht nur rein wissenschaftliche Programme, sondern auch kommerzielle Software erobert den Markt der massiv parallelen Rechner. Das bekannte Datenbankprogramm Oracle ist bereits seit einiger Zeit f�r den nCube 2 verf�gbar.