Remote Usability Tests - eine kontaktlose Möglichkeit, um Nutzerfeedback einzuholen

Usability Tests sind generell eine gute Methode, um einen Prototypen oder auch ein fertiges Produkt genauer auf Bedienungsprobleme und Verbesserungspotentiale zu untersuchen. Ein derartiger Test ist folgendermaßen aufgebaut:

• Ein potentieller Nutzer verwendet das Produkt oder die App und bekommt Aufgaben gestellt.
• Der Usability Test Leiter moderiert und beobachtet den Test.

Häufig werden auch Aufzeichnungen erstellt, um den Ablauf anschließend nochmal Revue passieren zu lassen. In manchen Fällen wird der Test auch mit zusätzlichen Methoden, beispielsweise Eyetracking, also die Verfolgung von Blickrichtungen, oder speziellen Fragebögen kombiniert. Das Ganze findet üblicherweise gemeinsam am selben Ort, zum Beispiel in einem Usability Labor, statt, um möglichst viel auch von der nonverbalen Kommunikation des Testteilnehmers aufnehmen zu können.

Das Ganze in ein Szenario zu überführen, in dem die Testperson und der Testleiter nicht zusammen am selben Ort sind, ist mit einigen Herausforderungen versehen, aber prinzipiell gut möglich. Man sollte sich über einige weitere Aspekte nähere Gedanken machen.

1. Kommunikation zum Nutzer  – welche Medien nutzen?

Die erste Herausforderung liegt darin, eine geeignete Kommunikationsform zu finden. Die Grundanforderung an eine derartige Software ist natürlich Screensharing, zusätzlich auch die Übertragung von Sprach- und ggf. Videodateien wünschenswert. So ein Setting ist beispielsweise einfach mit Skype zu realisieren, aber auch andere kostenlose oder kostenpflichtige Kollaborationsplattformen wie WebEx, Zoom, GoToMeeting oder ähnliche sind problemlos möglich.

2. Hardware-Ausstattung

Die Teilnehmenden benötigen als Minimum-Ausstattung ein Mikrophon, besser ist es, zusätzlich auch eine Kamera zu haben, um auch Mimik und Gestik interpretieren zu können. Eine Ausstattung mit zwei Monitoren ist ebenfalls vorteilhaft, da dann auf dem zweiten Nebenansichten wie ggf. die Videoübertragung des Moderators oder die Testanweisungen dauerhaft sichtbar sind.

3. Teilnehmer-Briefing

Für manche Teilnehmenden ist es schwierig, das Setting für den Usability-Test aufzusetzen. Das fängt von der möglicherweise notwendigen Installation der Videokonferenz-Software und der Registrierung an und geht bis hin zu generellen Bedienungsproblemen mit einer vielleicht ungewohnten Videokonferenz-Software. Genügend Zeit sollte eingeplant werden, um hier Sicherheit auf Seiten der Teilnehmenden schaffen zu können.

4. Klare, schriftlich vorliegende Instruktionen

Während bei Vor-Ort-Usability-Tests der Moderator immer wieder regulierend eingreifen kann, ist dies bei Remote Usability Tests nur in eingeschränktem Maße möglich. Um so wichtiger ist es, dass die Anweisungen und Aufgabenstellungen für die Teilnehmenden klar und verständlich formuliert sind, so dass sie sie jederzeit nachlesen können. Wenn eine Ausstattung mit zwei Bildschirmen nicht möglich ist, empfiehlt es sich, die Testanweisung per Papier vorliegen zu haben, um die Beanspruchung der Teilnehmenden während des Tests zu reduzieren.

5. Lautes Denken

Das laute Denken ist eine Methodik, mittels derer der Nutzer angehalten wird, immer wieder seine Gedanken zur Software und zur Bedienung laut auszusprechen. Diese Mechanismen funktionieren auch bei Remote Tests sehr gut, um herauszufinden, wo genau die Verständnisprobleme der Nutzenden liegen.

6. Zeitplanung

In der eigentlichen Durchführung sind Remote Tests erfahrungsgemäß ähnlich zeitaufwendig wie Vor Ort Tests. Allerdings ist für die Vorbereitung mehr Zeit einzuplanen:

• Ein geeignetes Setting, mit passenden Programmen, die auch auf Teilnehmerseite vorliegen, muss gefunden werden
• Die Ansprüche an die zu testende Software sind höher, da der Moderator weniger einfach lenkend eingreifen kann. Bugs und Abstürze der zu testenden Software können zu größeren Durchführungsproblemen führen. Daher sollte mehr Zeit darauf verwendet werden, dass zu testende Produkt zu einem gewissen Reifezustand zu bringen.
• Auch bei der Testdurchführung sind ca. 5 Minuten für das Setup einzuplanen. Die Videokonferenz muss begonnen werden, der Teilnehmer muss die Möglichkeit haben, sich seinen Arbeitsplatz passend einzurichten.

Am Fraunhofer IAO haben wir in den letzten beiden Wochen aufgrund der aktuellen Corona-Lage Usability Tests, die eigentlich als Vor-Ort-Tests geplant waren, durch Remote-Tests ersetzt. Das Setting war einfach gehalten: Der Software-Prototyp lief in einem Browser, und der Test wurde per Skype Business übertragen (incl. Desktop und Video-Sharing). Die Tests liefen sehr gut. Ein Resümee, dass alle Projektbeteiligten zogen, war, dass auch ohne Corona so manche Reise wohl vermeidbar wäre. Dies deckt sich im Übrigen auch mit bereits sehr früh durchgeführten Untersuchungen, die – bei damals noch wesentlich unausgereifterer Software – Remote Usability Tests mit Labortests verglichen (z.B. Burmester u. Burger 2007).

In diesem Blogbeitrag wurde der Aufbau eines synchronen Remote Tests für eine Software oder ein App diskutiert, die beim Teilnehmer auf dem Bildschirm läuft. Sollte eine Mobiltelefon-App oder ein Produkt außerhalb von Desktop und Smartphone getestet werden, so muss der Aufbau natürlich dementsprechend angepasst werden. Desweiteren gibt es auch die Möglichkeit, asynchron – also ohne Moderatorbegleitung –  zu testen. Dies erfordert aber einen grundlegend anderen Aufbau des Test Settings.

Planen auch Sie einen Remote Usability Test und wissen nicht genau, wie anfangen? Wir unterstützen Sie gerne. Für kleine und mittelgroße Unternehmen sind unsere Leistungen kostenlos.

Leselinks:

• Pilotprojekt zu Remote Usability Tests
• Methodenkarte Remote Usability Test
• Methodenkarte Usability Test
•  Methodenkarte Lautes Denken
•  Beispielhaftes UX-Labor am Fraunhofer IAO (extener Link)
•  Toolvergleich von 2018 (externer Link)
•  Screensharing Software Vergleich von 2019 (externer Link, englisch)
•  Studie zum Vergleich von Remote Usability Tests mit Labortests (externer Link)

Zusammenfassung: Die wichtigsten Punkte in Kürze:

• Planen Sie für Vorbereitung und Durchführung genügend Zeit ein.
• Sorgen Sie für eine gut funktionierende Übertragungssoftware für Video und Screen.
• Stellen Sie sich darauf ein, den Teilnehmer bei der Einrichtung des Setups zu unterstützen.