Zusammenfassung
Forward Model Learning, also das Erlernen vorwärtsgerichteter Modelle aus Daten, findet Anwendung in der vorhersagebasierten Regelung. Dazu werden Ein- und Ausgaben des Systems beobachtet, um ein Transitionsmodell zu erstellen und Vorhersagen über zukünftige Zeitschritte zu ermöglichen. Insbesondere komplexe Zustandsräume erfordern den Einsatz von spezialisierten Such- und Modellbildungsverfahren. In dieser Arbeit stellen wir Abstraktionsheuristiken für hochdimensionale Zustandsräume vor, welche es ermöglichen, die Modellkomplexität zu reduzieren und in vielen Fällen ein interpretierbares Ergebnis herbeizuführen. In zwei Fallstudien zeigen wir die Wirksamkeit des vorgestellten Verfahrens anhand von Methoden der Künstlichen Intelligenz in Spielen und in Motion Control Szenarien. Deren Übertragung ermöglicht vielversprechende Anwendungen in der Automatisierungstechnik.
Abstract
Forward model learning, i. e., learning forward models from data, finds application in prediction-based control. This involves observing inputs and outputs of the system to build a transition model and make predictions about future time steps. In particular, complex state spaces require the use of specialized search and model building techniques. In this work, we present abstraction heuristics for high-dimensional state spaces, which allow to reduce the model complexity and, in many cases, yield an interpretable result. In the context of two case studies, we demonstrate the effectiveness of the presented procedure in the context of artificial intelligence in games and motion control scenarios. The transfer of these methods enables promising applications in automation engineering.
Über die Autoren
Alexander Dockhorn ist Postdoctoral Research Associate an der Queen Mary University of London. Seinen Doktortitel erhielt er an der Otto-von-Guericke-Universität in Magdeburg. In seiner Forschung untersucht er die Fähigkeiten von prädiktionsbasierten Suchagenten in Spielen mit einem besonderen Interesse zur Modellierung von Unsicherheiten. Eine vollständige Liste seiner Projekte und Veröffentlichungen finden Sie auf seiner Webseite: https://adockhorn.github.io/.
Rudolf Kruse ist emeritierter Professor für Informatik an der Otto-von-Guericke-Universität Magdeburg. Er promovierte und habilitierte 1980 bzw. 1984 in Mathematik an der Technischen Universität Braunschweig. Nach einem Aufenthalt bei der Fraunhofer Gesellschaft kam er 1986 als Professor für Informatik an die Technische Universität Braunschweig. Von 1996-2017 war er Leiter der Arbeitsgruppe Computational Intelligence in Magdeburg. Weitere Informationen finden sie unter: www.is.ovgu.de/Team/Rudolf+Kruse.html.
Literatur
1. Charu C. Aggarwal et al. „Active Learning: A Survey”. In: Data Classification: Algorithms and Applications. CRC Press, 2014, S. 571–605.10.1201/b17320Search in Google Scholar
2. Hirotugu Akaike, „Autoregressive Model Fitting for Control”. Annals of the Institute of Statistical Mathematics 23.3 (Dez. 1971), S. 163–180. doi: 10.1007/bf02479221.Search in Google Scholar
3. Daan Apeldoorn and Alexander Dockhorn. „Exception-Tolerant Hierarchical Knowledge Bases for Forward Model Learning”. IEEE Transactions on Games (2020), S. 1. ISSN: 2475-1502. doi: 10.1109/TG.2020.3008002.Search in Google Scholar
4. Arthur Argenson and Gabriel Dulac-Arnold. Model-Based Offline Planning. 2021. arXiv:2008.05556 [cs.LG].Search in Google Scholar
5. C. B. Browne et al. „A Survey of Monte Carlo Tree Search Methods”. IEEE Transactions on Computational Intelligence and AI in Games 4.1 (2012), S. 1–43. doi: 10.1109/TCIAIG.2012.2186810.Search in Google Scholar
6. Alexander Dockhorn. „Prediction-based Search for Autonomous Game-playing”. Diss. Otto von Guericke University Magdeburg, 2020, S. 1–231.Search in Google Scholar
7. Alexander Dockhorn and Daan Apeldoorn. „Forward Model Approximation for General Video Game Learning”. In: Proceedings of the 2018 IEEE Conference on Computational Intelligence and Games (CIG’18). IEEE, Aug. 2018, S. 425432. doi: 10.1109/CIG.2018.8490411.Search in Google Scholar
8. Alexander Dockhorn and Rudolf Kruse. „Balancing Exploration and Exploitation in Forward Model Learning”. In: Advances in Intelligent Systems Research and Innovation. Elsevier, 2020, S. 1–20.10.1007/978-3-030-78124-8_1Search in Google Scholar
9. Alexander Dockhorn and Rudolf Kruse. „Detecting Sensor Dependencies for Building Complementary Model Ensembles”. In: Proceedings of the 28. Workshop Computational Intelligence, Dortmund, 29.–30. 2018, S. 217–234.Search in Google Scholar
10. Alexander Dockhorn and Rudolf Kruse. „Forward Model Learning for Motion Control Tasks”. In: 2020 IEEE 10th International Conference on Intelligent Systems (IS). IEEE, Aug. 2020, S. 1–5. doi: 10.1109/IS48319.2020.9199978.Search in Google Scholar
11. Alexander Dockhorn, Chris Saxton and Rudolf Kruse. „Association Rule Mining for Unknown Video Games”. In: Fuzzy Approaches for Soft Computing and Approximate Reasoning: Theories and Applications. Hrsg. von Marie-Jeanne Lesot and Christophe Marsala. Springer, 2020.10.1007/978-3-030-54341-9_22Search in Google Scholar
12. Alexander Dockhorn, Tim Tippelt and Rudolf Kruse. „Model Decomposition for Forward Model Approximation”. In: 2018 IEEE Symposium Series on Computational Intelligence (SSCI). IEEE, Nov. 2018, S. 1751–1757. doi: 10.1109/SSCI.2018.8628624.Search in Google Scholar
13. Alexander Dockhorn et al. „Learning Local Forward Models on Unforgiving Games”. In: 2019 IEEE Conference on Games (CoG). London: IEEE, Aug. 2019, S. 1–4. ISBN: 978-1-7281-1884-0. doi: 10.1109/CIG.2019.8848044. arXiv:1909.00442.Search in Google Scholar
14. R. D. Gaina, S. M. Lucas and D. Perez-Liebana. „Rolling Horizon Evolution Enhancements in General Video Game Playing”. In: 2017 IEEE Conference on Computational Intelligence and Games (CIG). 2017, S. 88–95. doi: 10.1109/CIG.2017.8080420.Search in Google Scholar
15. Ian Goodfellow, Yoshua Bengio and Aaron Courville. Deep Learning. http://www.deeplearningbook.org. MIT Press, 2016.Search in Google Scholar
16. David Ha and Jurgen Schmidhuber. „Recurrent World Models Facilitate Policy Evolution”. In: Advances in Neural Information Processing Systems. Hrsg. von S. Bengio Bd. 31. Curran Associates, Inc., 2018, S. 2450–2462.Search in Google Scholar
17. Jus Kocijan et al. „Gaussian Process Model Based Predictive Control”. In: Proceedings of the 2004 American Control Conference. Bd. 3. IEEE. 2004, S. 2214–2219.10.23919/ACC.2004.1383790Search in Google Scholar
18. Simon M. Lucas et al. „A Local Approach to Forward Model Learning: Results on the Game of Life Game”. In: 2019 IEEE Conference on Games (CoG). IEEE, Aug. 2019, S. 18. doi: 10.1109/CIG.2019.8848002. arXiv:1903.12508v1.Search in Google Scholar
19. Volodymyr Mnih et al. „Human-Level Control Through Deep Reinforcement Learning”. Nature 518.7540 (Feb. 2015), S. 529–533. doi: 10.1038/nature14236. arXiv:1312.5602.Search in Google Scholar PubMed
20. Duy Nguyen-Tuong and Jan Peters. „Model Learning for Robot Control: A Survey”. Cognitive Processing 12.4 (2011), S. 319–340. doi: 10.1007/s10339-011-0404-1.Search in Google Scholar PubMed
21. Diego Perez-Liebana et al. „General Video Game AI: Competition, Challenges and Opportunities”. In: Proceedings of the AAAI Conference on Artificial Intelligence. Bd. 30.1. 2016.10.1609/aaai.v30i1.9869Search in Google Scholar
22. Diego Perez-Liebana et al. General Video Game Artificial Intelligence. Bd. 3.2. https://gaigresearch.github.io/gvgaibook/. Morgan & Claypool Publishers, 2019, S. 1191.Search in Google Scholar
23. Aske Plaat, Walter Kosters and Mike Preuss. Deep Model-based Reinforcement Learning for High-dimensional Problems, a Survey. 2020. arXiv:2008.05598 [cs.LG].10.1007/978-3-030-59238-7_3Search in Google Scholar
24. Athanasios S. Polydoros and Lazaros Nalpantidis. „Survey of Model-based Reinforcement Learning: Applications on Robotics”. Journal of Intelligent & Robotic Systems 86.2 (2017), S. 153–173.10.1007/s10846-017-0468-ySearch in Google Scholar
25. Adam Santoro et al. „One-shot Learning with Memory-Augmented Neural Networks”. (2016). arXiv:1605.06065 CoRR.Search in Google Scholar
26. Andrew W. Senior et al. „Improved Protein Structure Prediction Using Potentials from Deep Learning”. Nature 577.7792 (2020), S. 706–710. doi: 10.1038/s41586-019-1923-7.Search in Google Scholar PubMed
27. David Silver et al. „Mastering the Game of Go with Deep Neural Networks and Tree Search”. Nature 529.7587 (Jan. 2016), S. 484–489. doi: 10.1038/nature16961.Search in Google Scholar PubMed
28. Richard S. Sutton and Andrew G. Barto. Reinforcement Learning. 2. Aufl. Cambridge: The MIT Press, 2018. ISBN: 9780262039246.Search in Google Scholar
29. Istvan Szita and Andras Lorincz. „Learning Tetris Using the Noisy Cross-Entropy Method”. Neural Computation 18.12 (2006), S. 2936–2941. doi: 10.1162/neco.2006.18.12.2936.Search in Google Scholar PubMed
30. Yan Wu and Yiannis Demiris. „Towards One Shot Learning by Imitation for Humanoid Robots”. In: 2010 IEEE International Conference on Robotics and Automation. IEEE. 2010, S. 2889–2894.10.1109/ROBOT.2010.5509429Search in Google Scholar
31. Jie Zhou et al. Graph Neural Networks: A Review of Methods and Applications. 2021. arXiv:1812.08434 [cs.LG].10.1007/978-981-16-6054-2_17Search in Google Scholar
© 2021 Walter de Gruyter GmbH, Berlin/Boston