Rückblick: Workshop „Mensch-KI-Interaktionen entwerfen und evaluieren mit Wizard-of-Oz-Prototypen“ bei der UIG-Tagung 2019

Am 16.04.2019 erhielten Besucher der UIG-Tagung in der Universität in Mannheim in einem Workshop Einblick darin, wie Interaktionen zwischen einem Menschen und einer künstlichen Intelligenz (KI) mit Wizard-of-Oz-Prototypen entworfen und evaluiert werden können. Bei dem Wizard-of-Oz-Prototyping handelt es sich um eine Methode, bei der potentiellen Nutzern in einem Versuchsaufbau suggeriert wird, mit einem technischen System zu interagieren. Da das System zu dieser Entwicklungsphase allerdings noch nicht oder nur teilweise technisch umgesetzt ist, werden dessen Reaktionen in Wahrheit jedoch von einem Menschen, dem sogenannten „Wizard“, simuliert. 

Im Workshop konnten die Teilnehmenden in einem vereinfachten Versuchsaufbau eine kurze Interaktion mit einem Wizard-of-Oz-Prototypen eines Companion-Systems erfahren. Bei Companion-Systemen handelt es sich um digitale Begleiter, die ihre Nutzer bei verschiedenen Aufgaben, wie zum Beispiel bei der Entscheidungsfindung, unterstützen können. Die Besonderheit dieser Systeme liegt darin, dass sie mithilfe von komplexen Algorithmen und KI die Nutzungssituation, sowie den Zustand des Nutzers analysieren und eine angemessene Reaktion darauf zeigen können. In Zweiergruppen übernahm je ein Workshop-Teilnehmender die Aufgabe des potentiellen Nutzers des Companion-Systems, während dieses von dem jeweils anderen Workshop-Teilnehmenden, in der Rolle des Wizards, simuliert wurde. Die Aufgabe der Nutzer bestand darin, einen Einladungstext mit Hilfe des Companion-Systems zu verfassen. Um den Nutzer bei dieser Aufgabe zu unterstützen, standen den Wizards vorgefertigte Satzbausteine zur Verfügung, die allerdings nicht erweitert werden durften.

Durch die Übung wurden den Workshop-Teilnehmenden sowohl die Potentiale als auch Grenzen der Methode aufgezeigt. Beim Wizard-of-Oz-Prototyping handelt es sich um eine Methode, die sowohl in der Planung als auch Durchführung anspruchsvoll ist und viele Ressourcen beansprucht. Um die Interaktion mit dem noch in Entwicklung befindlichen System glaubhaft zu simulieren, ist es notwendig, dass der Wizard zeitlich und inhaltlich konsistent auf den Nutzer reagiert. Die Verwendung vorgefertigter Reaktionen trägt zwar dazu bei, dass die inhaltliche Konsistenz gewährleistet wird, führt jedoch auch dazu, dass es als Wizard nicht immer möglich ist, angemessen auf den Nutzer einzugehen. Um dies zu vermeiden, sollten bei dem Entwurf der Reaktionen des Prototyps, systematisch alle möglichen Verhaltensweisen der Nutzer betrachtet werden. Darüber hinaus muss festgelegt werden, über welche Funktionen das System, das entwickelt wird, später verfügen soll und welche Grenzen es aufweisen soll. Vor der eigentlichen Untersuchung sollte die Interaktion dann wiederholt in Pilottests auf ihre Vollständigkeit und Logik hin überprüft werden. Die Pilottests sind für den Wizard zudem hilfreich, seine Rolle und die damit verbundenen Reaktionsmöglichkeiten einzuüben, um in einer angemessenen Zeit auf den Nutzer reagieren zu können. 

Trotz dieser Herausforderungen bietet das Wizard-of-Oz-Prototyping auch einige bedeutende Vorteile, gegenüber anderen Prototyping-Methoden. So können die Nutzer bei dem Wizard-of-Oz-Prototyping schon sehr früh in den Entwicklungsprozess einbezogen werden und es besteht ohne Programmierungsaufwand die Möglichkeit, echte Interaktionserlebnisse zu untersuchen. Zudem ermöglicht die Methode einen flüssigen Entwicklungsprozess, da der Wizard die Verhaltensweisen des Nutzers direkt analysieren und seine Reaktionen entsprechend anpassen kann, ohne, dass lange Unterbrechungen durch eine Umprogrammierung entstehen. Insbesondere eignet sich die Methode auch zur alltagsnahen Exploration von Funktionen komplexer Zukunftstechnologien, wie beispielsweise KI, die eine hohe Ähnlichkeit zu kognitiven Fähigkeiten aufweisen, über die Menschen von Natur aus verfügen (z.B. Lernen oder Sprachverstehen). Solche Funktionen können von den Wizards mühelos und realistisch simuliert werden. 

Sie möchten mehr über das Wizard-of-Oz-Protoytping erfahren? Dann kommen Sie am 18.06.2019 zur Fachtagung „Mission UUX“ des Mittelstand 4.0 - Kompetenzzentrum Usability nach Elmshorn bei Hamburg und erleben Sie im Workshop „Entwurf, Gestaltung und Analyse von Mensch-Maschine-Interaktionen mit Wizard-of-Oz-Prototypen“ selbst, welche Herausforderungen und Potentiale die Methode bietet. Melden Sie sich hier gleich an!