Vortrag: Wie gestaltet man die UUX von KI-basierten Entscheidungssystemen in der Finanzwirtschaft?

Auf dem virtuellen Workshop des Zentrums für verantwortungsbewusste Digitalisierung (ZeVeDi) zu Gestaltung und Auswirkung von KI in der Finanzwirtschaft folgten rund 60 TeilnehmerInnen aus Theorie und Praxis dem Vortrag von Prof. Alexander Mädche mit dem Titel „Is This System Biased? – How Users React to Gender Bias in an Explainable AI System“.

Die aktuelle Forschung untersucht, welche Auswirkungen Erklärungen zu Entscheidungen von KI-basierten System haben. Dabei wurde gezeigt, dass Erklärungen von EntscheiderInnen abhängig von ihren individuellen Eigenschaften sehr unterschiedlich wahrgenommen werden. Zudem wurde deutlich, dass NutzerInnen und Nutzungskontext bei der Gestaltung von erklärenden KI-Systemen unbedingt berücksichtigt werden müssen. Wieder mal gilt: Usability und UX matters.

Geschlechtsspezifische Verzerrung, der sogenannte Gender Bias, in KI-Systemen ist als ernstes Problem erkannt worden. Diese Verzerrung kann durch verschiedene Faktoren verursacht werden, z.B. durch einen Mangel an weiblichen Personen in den Trainingsdaten oder durch menschliche Voreingenommenheit, die sich in den für das Training der Algorithmen verwendeten Labels widerspiegelt. Eine mögliche Lösung ist die Transparenz von KI-Systemen durch Erklärungen zu erhöhen. Erklärungen können NutzerInnen helfen, verzerrte Entscheidungsempfehlungen von KI-Systemen zu erkennen und abzulehnen. Auf dem Gebiet der erklärenden KI-Systeme (XAI) wurden viele nützliche Methoden entwickelt. Jedoch fehlt das Verständnis dafür, wie NutzerInnen Erklärungen verstehen und nutzen. Wissenschaftliche Studien zeigten, dass die Interaktion mit einem verzerrten KI-System für die NutzerInnen eine Herausforderung ist. Wenn die NutzerInnen ein geringes Stigma-Bewusstsein haben, nehmen sie das System nicht als verzerrt wahr.  Daher reichen Erklärungen nicht aus, um sicherzustellen, dass ein KI-System, das einem Gender Bias unterliegt, die Entscheidungen nicht beeinflusst. Es ist notwendig, die Einstellungen der NutzerInnen zu sozialen Stereotypen und ihr Bewusstsein für soziale Ungleichheit zu berücksichtigen und adaptive Erklärungen anzubieten. Dies kann vor allem durch eine verbesserte UUX bei der Gestaltung von erklärenden KI-Systemen erreicht werden.