Kinetic Space – Ein intuitiver Zugang zur 3D Gestenerkennung
0 gefällt mir1,567 aufrufe
Das Dokument behandelt die Entwicklung der Mensch-Technik-Interaktion, insbesondere durch die Einführung von 3D-Gestenerkennungstechnologien, die intuitive Nutzung ermöglichen. Es werden verschiedene Interaktionsparadigmen erläutert, wobei zwischen expliziten und impliziten Interaktionen unterschieden wird, sowie Beispiele von Anwendungen solcher Technologien in Bereichen wie virtueller Umkleidung, Spielsteuerung und Rehabilitation gegeben. Der Autor schlägt vor, technologische Barrieren abzubauen, um die Gestenerkennung für eine breitere Nutzerbasis zugänglich zu machen.
![31 31
UND WAS KÖNNTE IHR NÄCHSTES PROJEKT SEIN?
“[…] What is it good for? Well, it can read a
gesture from one person and register it on
another and you can train it to register tiny
movements and, potentially, allow for full
motion control of your PC. Minority Report it
isn’t, but that future is getting closer and
closer.”
– www.techcrunch.com 2011/08/05](https://image.slidesharecdn.com/kineticspaceeinintuitiverzugangzur3dgestenerkennung-keinevideos-150107120242-conversion-gate01/85/Kinetic-Space-Ein-intuitiver-Zugang-zur-3D-Gestenerkennung-31-320.jpg)
Kinetic Space – Ein intuitiver Zugang zur 3D Gestenerkennung
- 1. Prof. Dr. Matthias Wölfel, ColorfulBit und HS Furtwangen Kinetic Space Ein intuitiver Zugang zur 3D Gestenerkennung
- 2. 2 2 ENTWICKLUNG DER MENSCH-TECHNIK-INTERAKTION 2 Etwas ging furchtbar schief!
- 3. 3 3 ENTWICKLUNG DER MENSCH-TECHNIK-INTERAKTION 3 Und die schlechte Nachricht ... Smartphonenutzung belastet den Rücken je nach Haltung um bis zu 30 Kg.
- 4. 4 4 TRADITIONELLE INTERAKTIONSPARADIGMEN 4 SelektionAufmerksamkeit PauseAuswahl ... werden oft adaptiert Zeigegesten der Maus (Selektieren und Auswählen) werden auf neue „Geräte“, z.B. Touchpad oder Kinect, übertragen. Tasten werden durch virtuelle Knöpfe ersetzt.
- 5. 5 5 ... können nicht einfach übernommen werden TRADITIONELLE INTERAKTIONSPARADIGMEN 5 Um im 3D Raum zu interagieren, können traditionelle Interaktionsparadigmen (wie im Beispiel gezeigt) nicht einfach übernommen werden, denn für den Anwender ergeben sich gegenüber traditionellen Eingabemethoden wie Touchpad oder Maus keine Vorteile. SelektionAufmerksamkeit PauseAuswahl
- 6. Die Kunst ist es, die Besonderheit eines jeden Mediums auszuschöpfen. “ Matthias Wölfel 6
- 7. 7 7 INTERAKTION Explizit 7 Der Nutzer führt Aktionen bewusst aus, um mit einem technischen System zu interagieren Benutzer nimmt AKTIV am Geschehen teil: Bedient geeignete Interaktionsgeräte Hat in der Regel ein Benutzerziel System reagiert (geeignet) auf Benutzereingabe Bekannt von „traditionellen“ Interaktionsparadigmen
- 8. 8 8 INTERAKTION Explizit 8 Der Nutzer führt Aktionen bewusst aus, um mit einem technischen System zu interagieren Benutzer nimmt AKTIV am Geschehen teil: Bedient geeignete Interaktionsgeräte Hat in der Regel ein Benutzerziel System reagiert (geeignet) auf Benutzereingabe Beispiel virtuelle Umkleide Durch verschiedene Wisch- bewegungen der Hand werden die Kleidungsstücke gewechselt
- 9. 9 9 Implizit INTERAKTION 9 Das Verhalten des Nutzers ist nicht primär auf die Interaktion mit dem technischen Gerät ausgelegt. Sein Verhalten wird aber von diesem interpretiert Benutzer ist PASSIV beteiligt: Wird durch System beobachtet (Sensorik) Interpretation von Kontextdaten System löst selbstständig Ereignisse und Handlungen aus Unbekannt in „traditionellen“ Interaktionsparadigmen
- 10. 10 10 Implizit INTERAKTION Explizit 10 Das Verhalten des Nutzers ist nicht primär auf die Interaktion mit dem technischen Gerät ausgelegt. Sein Verhalten wird aber von diesem interpretiert Benutzer ist PASSIV beteiligt: Wird durch System beobachtet (Sensorik) Interpretation von Kontextdaten System löst selbstständig Ereignisse und Handlungen aus Der Nutzer führt Aktionen bewusst aus, um mit einem technischen System zu interagieren Benutzer nimmt AKTIV am Geschehen teil: Bedient geeignete Interaktionsgeräte Hat in der Regel ein Benutzerziel System reagiert (geeignet) auf Benutzereingabe
- 11. 11 11 Implizit INTERAKTION 11 Das Verhalten des Nutzers ist nicht primär auf die Interaktion mit dem technischen Gerät ausgelegt. Sein Verhalten wird aber von diesem interpretiert Benutzer ist PASSIV beteiligt: Wird durch System beobachtet (Sensorik) Interpretation von Kontextdaten System löst selbstständig Ereignisse und Handlungen aus Beispiel virtuelle Umkleide Alter und Geschlecht wird verwendet, um entsprechende Inhalte anzuzeigen; z.B. Kleidung Das Mannequin ahmt den Nutzer nach.
- 12. 12 12 Virtuelle Auswahl von Kleidungsstücken VIRTUELLER UMKLEIDERAUM
- 13. 13 13 TECHNISCHES SETUP 13 Projection Area RGB Camera Kinect Camera Area of Interaction Gender & Age Estimation 3D Gesture Recognition Image Generation
- 14. 14 14 3D GesturesTouch 19 20 34 24 WAS SAGEN DIE ANWENDER 14 Ich finde es unangenehm in der Öffentlichkeit per … zu interagieren. 3 12 47 35 Starke Zustimmung Zustimmung Ablehnung Starke Ablehnung
- 15. 15 15 Online Hybrid Space WAS SAGEN DIE ANWENDER 15 29 43 20 5 45 45 6 1 Adaptive Werbung finde ich nützlich. Starke Zustimmung Zustimmung Ablehnung Starke Ablehnung
- 16. 16 1616 Idee KINETIC SPACE Minority Report Gestenerkennungstechnologie für jedermann zugänglich zu machen, indem 3D Gesten aufgenommen, analysiert und angepasst werden können.
- 17. 17 17 Toolkit zum Erfassen von Bewegungen KINETIC SPACE Klassifikation von Bewegungen Analyse von Bewegungen Ermöglicht einfachen und intuitiven Zugang zu Gestenerkennungstechnologie: Bewegungen aufnehmen Bewegungen automatisch klassifizieren Bewegungen automatisch analysieren
- 18. 18 18 BEISPIEL: FERNSTEUERUNG 18 Steuerung von beliebigen anderen Programmen wie z.B. PowerPoint Max/MSP Pure Data VVVV Resolume Hardware Ermöglicht durch Tastatur- und Mausemulation über das OSC-Protokoll 18
- 19. 19 19 CLIENT EXAMPLE: SPIELSTEUERUNG 19 Integration in Computerspiele, z.B. Erkennen von Ballwurf und Flugrichtung (Hintergrundbild „Yetis“) Erkennen von Flügelschlägen in Flugsimulation 19
- 20. 20 20 Überwinden von Höhenangst und Trainieren des Gleichgewichtssinns CLIENT EXAMPLE: VIRTUELLE TRAININGSUMGEBUNG
- 21. 21 21 3D-Grafik neu erleben CLIENT EXAMPLE: STEREOSKOPISCHES SCHAUFENSTER
- 22. 22 2222 Skeletal Reflections CLIENT EXAMPLE: ROBOTERSTEUERUNG Chico Macmurtrie Art and Artificial Life: Vida 1999-2012 EspacioFundacionTelefonica,CalleFuencarral3,Madrid ExhibitionfromMay10,2012throughJanuary6,2013
- 23. 23 23 A media center can be controlled by particular gestures, Politecnico di Torino, Italy CLIENT EXAMPLE: MEDIA CONTROL
- 24. 24 2424 Feeding Ducks CLIENT EXAMPLE: DUCK POND Students of the Dresden University of Applied Sciences, Germany lets users interact and feed virtual ducks.
- 25. 25 25 CLIENT EXAMPLE: HUMANOID ROBOT Gesture based communication with a humanoid robot. Developed by Prof. Dr. Peer Johannsen (University of Pforzheim, Germany) and his students. 25
- 26. 26 26 Zettwerk realized a training program for physical excercises with feedback CLIENT EXAMPLE: PHYSICAL EXCERCISE
- 27. 27 27 CLIENT EXAMPLE: PYROTECHNIC Fireworks and solenoids are controlled by dance moves detected by Kinetic Space. Realized by Paul Stoffregen, USA. 27
- 28. 28 28 a fitness game by Vincent Stebel, where you get rid of ghosts by waving arms CLIENT EXAMPLE: VIRTUAL MARATHON
- 29. 29 29 CLIENT EXAMPLE: PLAYING MUSIC Learning an instrument is supported by tracking and recognizing arm movements. The recognized movements are visualized to give the musician relevant feedback. Realized by Talía Baños Sánchez and Marcel F. Vesga (Hochschule für Künste Bremen) 29
- 30. 30 30 ANALYSE DER ANWENDUNGSBEISPIELE Anwendung Genauigkeit Merkmale Verdeckung Kooperation Mediensteuerung + + + + Rehabilitation – – – O Assisted Living O O – – Operationssaal + + O O Arbeitssicherheit + + + – Robotik – O + O Lernen O O + + Interaktiver Film + O + + Tanz, DJ, VJ O O O – Spiel + + + + Werbung O + O O Überwachung O O – –
- 31. 31 31 UND WAS KÖNNTE IHR NÄCHSTES PROJEKT SEIN? “[…] What is it good for? Well, it can read a gesture from one person and register it on another and you can train it to register tiny movements and, potentially, allow for full motion control of your PC. Minority Report it isn’t, but that future is getting closer and closer.” – www.techcrunch.com 2011/08/05
Hinweis der Redaktion
- #7: quotation