![Upper Confidence Bounds applied to Trees (Kocsis und Szepesvári 2006)
𝑛 𝑝 : Besuchshäufigkeit des Elternknotens 𝑝
𝑛𝑖 : Besuchsfrequenz des Kindknotens 𝑖
𝑣𝑖 : Wert des Knotens 𝑖 (durchschnittliche Gewinnhäufigkeit des
betrachteten Kindknotens
𝐶 im Intervall [0,1] dient dem Zweck, den Grad der Erkundung
(exploration) noch nicht betrachteter Strategien feinzujustieren
UCT wählt den Kindknoten 𝑘 des aktuell betrachteten Knotens 𝑝
aus, der den folgenden Ausdruck maximiert:](https://image.slidesharecdn.com/bit-sosem2016-wienerssitzung-13ki-in-games-160617123014/75/Bit-sosem-2016-wieners-sitzung-13_ki-in-games-49-2048.jpg)
Hochgeladen vonInstitute for Digital Humanities, University of Cologne
Bit sosem 2016-wieners-sitzung-13_ki-in-games
Das Dokument behandelt die Anwendung künstlicher Intelligenz in Computerspielen, insbesondere durch künstliche neuronale Netze, Q-Lernen und Monte-Carlo-Simulationen. Es enthält Anweisungen zur Einreichung von Klausurfragen und bietet einen Überblick über relevante Themen und Methoden wie NEAT, verstärkendes Lernen, sowie Monte-Carlo-Spielbaumsuchen. Zusätzlich werden verschiedene Quellen und Ressourcen aufgelistet, die zur vertieften Auseinandersetzung mit den aufgeführten Techniken dienen.
Bit sosem 2016-wieners-sitzung-13_ki-in-games
- 1. Universität zu Köln.Historisch-Kulturwissenschaftliche Informationsverarbeitung Dr. Jan G. Wieners // [email protected] Basisinformationstechnologie II Sommersemester 2016 20. Juni 2016 – Künstliche Intelligenz in Computergames: Künstliche Neuronale Netze, Q-Lernen, Monte Carlo Simulationen Universität zu Köln. Historisch-Kulturwissenschaftliche Informationsverarbeitung Dr. Jan G. Wieners // [email protected]
- 2. Formulieren Sie bittebis zum 24.06.2016(!) fünf Klausurfragen zu der Veranstaltung “Einführung in die Informationsverarbeitung” (Eide, WS 2015 / 2016). Reichen Sie Ihre Klausurfragen in “WoMS” ein. <pre>Modulabschluss BM1 – Einführungsvorlesung</pre>
- 3. Formulieren Sie bittebis zum 01.07.2016(!) fünf Klausurfragen zu der Veranstaltung “Einführung in die Informationsverarbeitung” (Eide, WS 2015 / 2016). Reichen Sie Ihre Klausurfragen in “WoMS” ein. <pre>Modulabschluss BM1 – Einführungsvorlesung</pre>
- 4. “MarI/O” -Machine Learning for Video Games Künstliche neuronale Netze / Evolution künstlicher neuronaler Netze: “NEAT” Q-Lernen Verstärkendes Lernen, Markov-Entscheidungsprozess „SpoookyJS“ und „MCTS Super Mario“ Monte Carlo Methoden / Monte Carlo Spielbaumsuche Themenüberblick
- 6. „Inceptionism: Going Deeper intoNeural Networks”http://googleresearch.blogspot.de/2015/06/inceptionism-going-deeper-into-neural.html
- 13.
- 14. “MarI/O” Machine Learning forVideo Games
- 15. Einfaches Modell eineskünstlichen Neurons i mit: ℎ𝑖:Summe der gewichteten Eingabeimpulse 𝑤𝑖1…𝑤𝑖𝑛, die das Neuron von verknüpften externen Einheiten oder von Sensoren (𝜉1…𝜉𝑛) erhält 𝑎𝑖: Aktivierungsmaß 𝑔(ℎ𝑖): Aktivierungsfunktion 𝑜𝑖: Ausgabe des Neurons
- 16. Verarbeitung der Eingabeimpulse𝑤𝑖1…𝑤𝑖𝑛 erfolgt in zwei Schritten: ℎ𝑖: gewichtete Summe der Eingabeimpulse bestimmen, die an dem Neuron anliegen: Bestimmung des Aktivierungsmaßes (in den meisten Fällen: Ausgabe) des Neurons:
- 20.
- 21. Quelle: http://nn.cs.utexas.edu/downloads/papers/stanley.ec02.pdf NeuroEvolution ofAugmenting Topologies (NEAT) Evolving NN’s through Augmenting Topologies
- 22. Links Video: https://www.youtube.com/watch?v=qv6UVOQ0F44 Lua-Implementation: http://pastebin.com/ZZmSNaHX Paper:http://nn.cs.utexas.edu/downloads/papers/stanley.ec02.pdf
- 23.
- 24.
- 25. Endlicher Markov-Entscheidungsprozess Verlauf vonEntscheidungen, bei dem die Belohnung des Agenten einzig von dem Zustand der Umwelt und der Aktion des Agenten abhängt. Definiert als Tupel 𝑆, 𝐴, 𝑃, 𝑅, 𝛾 mit: • 𝑆 = 𝑠1, 𝑠2, … , 𝑠 𝑛 : Zustandsraum, d.h. die möglichen Zustände der Umwelt; 𝑠𝑡 ∈ 𝑆 repräsentiert den Zustand der Agentenumwelt zum Zeitpunkt 𝑡.
- 26. Endlicher Markov-Entscheidungsprozess Verlauf vonEntscheidungen, bei dem die Belohnung des Agenten einzig von dem Zustand der Umwelt und der Aktion des Agenten abhängt. Definiert als Tupel 𝑆, 𝐴, 𝑃, 𝑅, 𝛾 : • 𝑆 = 𝑠1, 𝑠2, … , 𝑠 𝑛 : Zustandsraum, d.h. die möglichen Zustände der Umwelt; 𝑠𝑡 ∈ 𝑆 repräsentiert den Zustand der Agentenumwelt zum Zeitpunkt 𝑡. • 𝐴: Menge der Entscheidungen bzw. Zugmöglichkeiten, die dem Agenten zu jedem Umweltzustand 𝐴(𝑠) zur Verfügung stehen.
- 27. Endlicher Markov-Entscheidungsprozess 𝑆, 𝐴,𝑃, 𝑅, 𝛾 : • 𝑎 𝑡 ∈ 𝐴(𝑠𝑡): von dem Agenten ausgeführte Aktion zum Zeitpunkt 𝑡. • Übergangsfunktion 𝑃 𝑠, 𝑎, 𝑠′ : führt die Umwelt in ihrem Zustand 𝑠 aufgrund der Handlung 𝑎 des Agenten zu einem neuen möglichen Nachfolgezustand 𝑠′. • 𝑅(𝑠, 𝑎, 𝑠′): Belohnungsfunktion, Feedback, das der Agent aufgrund seiner Handlung erhält. • Diskontierungsfaktor 𝛾 mit 0 ≤ 𝛾 ≤ 1 lässt sich dazu verwenden, um das Lernverhalten des Agenten feinzujustieren. Dient dazu, künftige Belohnungen gegenüber zeitnahen Belohnungen abzuschwächen.
- 28.
- 33. 𝑄 𝐶, 𝐹 =𝑅 𝐶, 𝐹 + 0.5 × 𝑀𝑎𝑥 𝑄 𝐹, 𝐶 , 𝑄 𝐹, 𝐹 = 100 + 0.5 × 𝑀𝑎𝑥 0,0 = 100 + 0.5 × 0 = 100.
- 36.
- 38. Quelle: Juul, Jesper:„255,168 ways of playing Tic Tac Toe” (http://www.jesperjuul.net/ludologist/255168-ways-of-playing-tic-tac-toe)
- 45.
- 48. Mehrarmiges-Banditen-Problem: UCB1 (Aueret al. 1995) 𝑋𝑗: durchschnittliche Auszahlung des Automatenarmes 𝑗; 𝑛𝑗: Anzahl, wie häufig der Arm 𝑗 gespielt wurde 𝑛 : Gesamtzahl der bereits gespielten Spiele. Browne et al. 2012: Belohnungsterm 𝑋𝑗: Exploitation 2 ln(𝑛) 𝑛 𝑗 : Exploration bislang vernachlässigter Strategiewahlen.
- 49. Upper Confidence Boundsapplied to Trees (Kocsis und Szepesvári 2006) 𝑛 𝑝 : Besuchshäufigkeit des Elternknotens 𝑝 𝑛𝑖 : Besuchsfrequenz des Kindknotens 𝑖 𝑣𝑖 : Wert des Knotens 𝑖 (durchschnittliche Gewinnhäufigkeit des betrachteten Kindknotens 𝐶 im Intervall [0,1] dient dem Zweck, den Grad der Erkundung (exploration) noch nicht betrachteter Strategien feinzujustieren UCT wählt den Kindknoten 𝑘 des aktuell betrachteten Knotens 𝑝 aus, der den folgenden Ausdruck maximiert:
- 50. C = 1.0 C= 0.0
- 53. SpoookyJS „A JavaScript MultiagentBoard Game Framework Based On Monte Carlo Methods” http://www.spoookyjs.de https://github.com/janwieners/SpoookyJS
- 54.
- 55.
Hinweis der Redaktion
- #17 Hierbei signifiziert 𝑤𝑖𝑗𝑜𝑗 die Ausgabe 𝑜𝑗 des Knotens 𝑗, die das betrachtete Neuron 𝑖 durch eine gewichtete Verbindung 𝑤𝑖𝑗 erreicht. Ist ℎ𝑖 berechnet, wird anschließend die Aktivierungsfunktion 𝑔(ℎ𝑖) ausgeführt, die das Aktivierungsmaß 𝑎𝑖 des Neurons 𝑖 kalkuliert:
- #19 Netztopologien Ein vorwärtsgerichtetes künstliches neuronales Netz mit einer Eingabe-, einer versteckten- und einer Ausgabeschicht.
- #22 NeuroEvolution of Augmenting Topologies (NEAT)
- #23 NeuroEvolution of Augmenting Topologies (NEAT)
- #26 Andrei Andrejewitsch Markow Als endlicher Markov-Entscheidungsprozess ist ein Verlauf von Entscheidungen signifiziert, bei dem die Belohnung des Agenten einzig von dem Zustand der Umwelt und der Aktion des Agenten abhängt und ist definiert als Tupel (𝑆, 𝐴, 𝑃, 𝑅, 𝛾). Hierbei beizeichnet Vgl. Ertel 2013, S. 291.
- #27 Andrei Andrejewitsch Markow Als endlicher Markov-Entscheidungsprozess ist ein Verlauf von Entscheidungen signifiziert, bei dem die Belohnung des Agenten einzig von dem Zustand der Umwelt und der Aktion des Agenten abhängt und ist definiert als Tupel (𝑆, 𝐴, 𝑃, 𝑅, 𝛾). Hierbei beizeichnet Vgl. Ertel 2013, S. 291.
- #28 Andrei Andrejewitsch Markow Als endlicher Markov-Entscheidungsprozess ist ein Verlauf von Entscheidungen signifiziert, bei dem die Belohnung des Agenten einzig von dem Zustand der Umwelt und der Aktion des Agenten abhängt und ist definiert als Tupel (𝑆, 𝐴, 𝑃, 𝑅, 𝛾). Hierbei beizeichnet Vgl. Ertel 2013, S. 291.
- #29 Verstärkendes Lernen intendiert, den Agenten aufgrund seiner Erfahrungen mit der Umwelt eine optimale Strategie 𝜋 ∗ (𝑠)→ 𝑎 ∗ |𝑠 identifizieren und lernen zu lassen. Eine Strategie – in der Literatur zumeist mit dem Begriff policy bezeichnet und häufig auch als Politik oder Taktik übersetzt – ist optimal, wenn sie die Belohnung des Agenten auf lange Sicht maximiert. Die an Verfahren des verstärkenden Lernens gestellte Herausforderung besteht darin, eine optimale Strategie 𝜋 ∗ für beliebige Agentenumgebungen zu lernen.
- #30 Das Ziel des Agenten besteht darin, möglichst schnell den Ausgang (Raum F) zu erreichen. Wüsste der Agent erfahrungsunabhängig von der Anordnung und Verknüpfung der Räume miteinander, könnte er mit der Aktionsfolge D C F das Problem optimal lösen. Der Agent weiß zu Beginn des Verfahrens jedoch nichts von seiner Umwelt und muss den Weg zum Ausgang durch Ausprobieren der verschiedenen Aktionsmöglichkeiten zuallererst lernen, um in späteren Erfahrungsepisoden von seinem gespeicherten Umweltwissen zu profitieren. Das Q-Lernverfahren, wie es im Folgenden beispielhaft vorgestellt wird, ermöglicht es dem Agenten, aus vergangenen Erfahrungen zu lernen und implementiert das verhaltenssteuernde Gedächtnis des Agenten.
- #31 Umweltzustände – d.h. im vorliegenden Falle der Raum, in dem sich der Agent befindet – und Aktionen, die Zustandstransformationen bewirken, lassen sich darstellen in einer Matrix, die über die ganzzahligen Belohnungen (positive Werte) und Bestrafungen (negative Werte) informiert, die der Agent bei jeder seiner Aktionen von der Umwelt erhält. Wie am Rande der Belohnungsmatrix angemerkt, verzeichnet die Matrix das Umweltfeedback, das der Agent erhält, wenn er sich durch seine ausgeführte Handlung von einem Umweltzustand (im vorliegenden Beispiel ein Raum) in einen anderen Zustand seiner Umwelt bewegt. Querstriche in der Matrix signifizieren hierbei, dass keine Zustandsübergänge möglich sind – so ist es im obigen Beispiel nicht möglich, auf direktem Wege von Raum B nach Raum D, wohl aber nach Raum A zu gelangen.
- #32 Zu Beginn des Verfahrens verzeichnet das Gedächtnis des Agenten keine verarbeiteten Erfahrungen – die Q-Wertetabelle des Agenten ist folglich leer bzw. alle Q-Werte werden mit Zufallswerten belegt oder mit Null initialisiert, wie mit der folgenden Q-Wertematrix veranschaulicht
- #33 Im ersten Schritt des Algorithmus‘ wird ein zufälliger Initialzustand ausgewählt, der Agent im vorliegenden Beispiel somit in Raum C platziert. Ausgehend von Raum C bieten sich dem Agenten zwei Aktionsmöglichkeiten: Entweder er wechselt in den Raum D oder er erreicht den Zielzustand F. Das unmittelbare Umweltfeedback beträgt im einen Falle 0, im anderen Falle 100, wie in der folgenden Matrix veranschaulicht Sei die Lernrate 𝛼=1 und der Diskontierungsfaktor 𝛾=0.5 und sei jede Aktionswahl des Agenten in den folgenden Erfahrungsepisoden vollständig dem Zufall anheimgestellt, wählt der Agent zufallsbasiert den Zielzustand F als seinen nächsten Schritt. Im Zielzustand F angelangt, bietet sich dem Agenten die Möglichkeit, zu Raum C zurückzukehren oder im Zielraum F zu bleiben. Basierend auf dem Umweltfeedback aktualisiert der Agent den Q-Wert der von Raum C nach Raum F führenden Aktion basierend auf der Q-Lernregel
- #34 Lernegel Diskontierungsfaktor
- #35 Im ersten Schritt des Algorithmus‘ wird ein zufälliger Initialzustand ausgewählt, der Agent im vorliegenden Beispiel somit in Raum C platziert. Ausgehend von Raum C bieten sich dem Agenten zwei Aktionsmöglichkeiten: Entweder er wechselt in den Raum D oder er erreicht den Zielzustand F. Das unmittelbare Umweltfeedback beträgt im einen Falle 0, im anderen Falle 100, wie in der folgenden Matrix veranschaulicht Sei die Lernrate 𝛼=1 und der Diskontierungsfaktor 𝛾=0.5 und sei jede Aktionswahl des Agenten in den folgenden Erfahrungsepisoden vollständig dem Zufall anheimgestellt, wählt der Agent zufallsbasiert den Zielzustand F als seinen nächsten Schritt. Im Zielzustand F angelangt, bietet sich dem Agenten die Möglichkeit, zu Raum C zurückzukehren oder im Zielraum F zu bleiben. Basierend auf dem Umweltfeedback aktualisiert der Agent den Q-Wert der von Raum C nach Raum F führenden Aktion basierend auf der Q-Lernregel
- #36 In der neuen Episode startet der Agent in Raum A und entscheidet sich zwischen den beiden Räumen B und D. Die Aktionswahl fällt auf Raum D, so dass sich der Agent in den Raum bewegt und anschließend den entsprechenden Q-Wert bestimmt: 𝑄 𝐴,𝐷 =𝑅 𝐴,𝐷 +0.5×𝑀𝑎𝑥 𝑄 𝐷,𝐴 ,𝑄 𝐷,𝐶 , 𝑄 𝐷,𝐸 =0+0.5×0=0. Anschließend entscheidet sich der Agent dafür, in den benachbarten Raum C zu wechseln. Der Q-Wert für den Zustandsübergang bestimmt sich nun als 𝑄 𝐷,𝐶 =𝑅 𝐷,𝐶 +0.5×𝑀𝑎𝑥 𝑄 𝐶,𝐹 ,𝑄 𝐶,𝐷 =0+0.5×100=50 und die Q-Wertematrix des Agenten findet sich wie folgend dargestellt ergänzt:
- #40 Minimax
- #43 Weiß kann mit zwei Zügen gewinnen
- #44 33 unterschiedliche Zugmöglichkeiten Durchschnittliche Gewinnhäufigkeit Mehrarmiges-Banditen-Problem Selektion, Expansion, Simulation und Rückpropagation UCT
- #46 Monte Carlo Spielbaumsuche
- #48 Mehrarmiges-Banditen-Problem