Flow fördern mit KI? Einsatz von Machine-Learning-Gegnern in Games mit Couch in the Woods Interactive

Es ist viel passiert im KI-Pilotprojekt mit Couch in the Woods Interactive seit dem Start des Projekts im April. Damals war noch unklar, ob die KI zur Steuerung der Gegner im Spiel überhaupt schon ausgereift sein würde, um ihr Verhalten zu testen, oder ob ein Wizard-of-Oz-Ansatz erforderlich wird, d.h. die Simulation des KI-Verhaltens durch Menschen. Tatsächlich konnte die KI aber bis Ende Juni auf einen lauffähigen Stand gebracht werden, womit der Testphase nichts mehr im Weg stand. Während ursprünglich qualitative Methoden wie Valenzmethode und UX-Curve angedacht waren, stellten wir im Lauf des Projekts fest, dass diese für das kleine Entwicklerteam kaum angemessen stemmbar wären. So wurde stattdessen ein Fragebogen mit sowohl quantitativen als auch qualitativen Fragen sowie eine Fokusgruppe im Anschluss ins Visier genommen.

Eine Täuschung als Teil der Studie

Eine Besonderheit an der zu testenden Beta-Version (eine noch in Entwicklung befindliche, aber schon zum Teil funktionale Version einer Software) war die Integration eines umgedrehten Wizard-of-Oz-Ansatzes, oder quasi einer Form von Turing-Test im Kontext eines Videospiels: Es wurde ein Online-Modus integriert, in dem die zukünftigen Probanden vermeintlich gegen andere Spieler antreten konnten – dabei handelte es sich jedoch auch um KI-Gegner. Hintergrund dieser Täuschung war, dass die besten Flow-Erlebnisse beim Spielen noch immer dann auftreten, wenn man auf ebenbürtige menschliche Gegner trifft. So sollte überprüft werden, ob die KI-Gegner sich bereits wie menschliche Spieler „anfühlen“, ob und woran den Probanden die Täuschung auffällt und was daraus für die Gestaltung der KI-Gegner gelernt werden kann. Eine solche Täuschung der Probanden in einer Studie bedarf aber vorsichtiger ethischer Abwägung – ist sie für den Erkenntnisgewinn notwendig, entsteht den Probanden dadurch möglicherweise ein Schaden? Diese Fragen wurden natürlich bei der Studienplanung berücksichtigt und die Umfrageteilnehmenden wurden am Ende des Fragebogens aufgeklärt.

Erstellung der Umfrage

Um ein möglichst breites Feedback zur Beta-Version des Spiels sammeln zu können, wurde eine Online-Umfrage erstellt. Diese musste viele Aufgaben erfüllen: Das Team und das Spiel „Space Strikers“ kurz vorstellen, rechtlich notwendige Einverständniserklärungen einholen, die Steuerung und Spielmodi des Spiels erklären, Feedback der Teilnehmenden zu verschiedenen Teilen des Spiels sammeln (z.B. Spielprinzip, Interface, Steuerung), das Flow-Erleben beim Spielen abfragen und auch die Rekrutierung von Interessenten für eine weiterführende Studie ermöglichen. Durch die vielen Inhalte wurde der Online-Fragebogen schnell sehr umfangreich und es musste gut überlegt werden, welche Fragen für das Erreichen der Ziele zwingend notwendig waren. Besonders wichtige Komponenten des Fragebogens waren für uns z.B. die Flow-Kurzskala (FKS) und eine Erhebung der Elemente des Spiels, die den Teilnehmenden besonders gut oder weniger gut gefallen haben. Dadurch sollten zum einen Usability-Probleme entdeckt werden, zum anderen aber auch positives Feedback als Quelle für positives Erleben bei der Arbeit ins Entwicklerteam zurückgespiegelt werden.

Erkenntnisse aus der Umfrage

Der finale Fragebogen hatte auf Google Forms stolze 27 Abschnitte und erforderte nach unserer Schätzung rund 20-30min Zeit zur kompletten Beantwortung – vergleichbar mit einem schriftlichen Interview. Die Rückmeldungen auf den Fragebogen waren nach zwei Wochen Laufzeit noch eher zurückhaltend, weshalb die Betaphase verlängert und die Umfrage weiter geteilt wurde. Bis zum neuen Stichtag, den 26. Juli, waren 14 ausgefüllte Fragebögen eingegangen. Trotz der geringen Rückläuferzahl vermittelten die Rückmeldungen vor allem dank der qualitativen Fragen aufschlussreiche Einblicke in die Wahrnehmung des Spiels von Seiten der Testteilnehmenden. So deutete sich an, dass der Schwierigkeitsgrad der KI-Gegner noch zu hoch war, um ein ideales Flow-Erleben zu ermöglichen. Interessanterweise empfanden auch viele Teilnehmende die vermeintlich echten menschlichen Gegner im Online-Modus als anspruchsvoller als die KI im Einzelspielermodus, obwohl es in beiden Fällen die gleichen KI-Gegner waren.

Planung und Durchführung der Online-Fokusgruppe

Um diese und weitere Phänomene in den Ergebnissen der Umfrage genauer untersuchen zu können, wurde im Anschluss eine weiterführende Fokusgruppe geplant. Die Fokusgruppe wurde am 27. Juli auf dem Discord-Kanal von Couch in the Woods Interactive mit vier Teilnehmenden durchgeführt und begann mit einer Anlehnung an das Erlebnisinterview, indem die Teilnehmenden der Reihe nach von je einem besonders positiven Erlebnis beim Spielen von Space Strikers berichteten. Genannt wurde dabei zum Beispiel das Durchführen anspruchsvoller Manöver, um Tore zu erzielen. Im weiteren Verlauf wurden vier Themenbereiche diskutiert, darunter die Fragen, wie das Flow-Erleben insgesamt noch verbessert werden könnte und worin sich das Verhalten der KI-Gegner noch von menschlichen Gegnern unterscheidet. Die Ergebnisse der Fokusgruppe wurden parallel auf einem digitalen Whiteboard von Conceptboard festgehalten. So wurde u.a. eine spezifische Spielmechanik identifiziert, die bei manchen Spielern das Gefühl von Kontrollverlust und einen „Flow-Bruch“ verursacht hat, und es wurden Ideen erarbeitet, wie diese Mechanik stattdessen gestaltet werden müsste, um diese Wirkung zu vermeiden.

Zu stark, um menschlich zu sein

Auch der Verdacht, den wir aus den Ergebnissen der Umfrage geschöpft hatten, wurde bestätigt: Die KI-Gegner waren in der Beta-Version noch so stark, dass man nur mit höchster Konzentration gegen sie ankommen konnte – und war damit meist etwas zu fordernd, um alleine im Spiel gegen die KI den optimalen Flow empfinden zu können. Das wirkte sich auch auf den experimentellen Täuschungsversuch mit den vermeintlichen Online-Gegnern aus. Ein Teilnehmer der Fokusgruppe berichtete, er erkannte die Täuschung daran, dass seine Gegner schon von Beginn der Runde an extrem stark waren und er schließlich chancenlos besiegt wurde. Ein schon derartig guter Spieler, zur gleichen Zeit online wie er, und das in einer geschlossenen Beta mit einer überschaubaren Anzahl von Spielerinnen und Spielern? Das war für ihn ein zu großer Zufall.

Ausblick

Um die gefundenen Usability-Probleme zu beheben und das Flow-Erleben weiter zu verbessern, wird das Team von Couch in the Woods Interactive in den kommenden Wochen noch einige Anpassungen an Funktionen, Interface und an der KI vornehmen. Mit dem Abschluss der Fokusgruppe endet jedoch unser KI-Pilotprojekt. Wir bedanken uns für die spannende Zusammenarbeit und wünschen dem Team viel Erfolg beim anstehenden Release von Space Strikers! Vielleicht sieht man sich zukünftig noch öfters im virtuellen Weltraum…