Wie man User Research Standards definiert und nutzbar macht

User Research Standards für Innovationsprojekte

Christoph Erle

Muss aller Anfang eigentlich schwer sein?

Habt ihr schon einmal an einem Innovationsprojekt teilgenommen und wusstet nicht Recht, wohin die Reise gehen soll? Oder, was ihr entwickeln könntet, das die Menschen tatsächlich brauchen? Ja, wir auch. Ein häufiges Problem ist auf der Suche nach etwas Neuem ist dann, dass immer wieder dieselben Ideen aufkommen und eine gewisse Pfadabhängigkeit entsteht, wenn man ausschließlich im eigenen Team bleibt. Und natürlich werde ich jetzt behaupten, dass User Research hier helfen kann; und dann gleich häufige Einwände schon mal vorwegnehmen.

Viele sagen jetzt zum Beispiel: „Naja, wir haben das mit der User Research in der Vergangenheit schon ausprobiert. Wir haben jemanden damit beauftragt und es hat nicht funktioniert. Wie soll es auch hilfreich sein, die Leute zu fragen, was sie wollen? Das wissen die ja oft selbst nicht!“ Und der Kritik will ich mich sogar anschließen, denn oft wird User Research nicht besonders gut gemacht. Mit Methoden, die so stark vereinfacht wurden, dass sie zwar schön „lean“, aber nicht mehr zuverlässig sind. Deshalb will ich hier ein paar Anregungen geben, wie man es „richtig“ machen kann und sollte; denn dann stimmen auch die Ergebnisse.

Zu viele User Interviews nehmen zu viele Abkürzungen

Als ich vor Kurzem mit jemandem über das Thema gesprochen habe, sagte er mir: „Also eigentlich hat man nach solchen Interviews das Gefühl: Okay, jetzt haben wir mal mit jemandem gesprochen. Das war zwar schön, aber was uns das wirklich bringt, ist eine gute Frage. Wo ist der wirkliche Nutzen?“

Wenn wir uns die Branche allgemein angucken, scheint es tatsächlich viele Research-Prozesse zu geben, die zu willkürlichen Ergebnissen führen und die oft nicht in konkrete Maßnahmen oder Strategien übersetzt werden können. Aber woran liegt das? Ich denke, zu guten User Interviews gehört weit mehr als ein bloßes Gespräch; aber gleichzeitig werden, vor allem in der Wirtschaft, viele Abkürzungen genommen, die eine zuverlässig hohe Qualität verhindern. Deshalb hatte ich es mir über das letzte Jahr auch zum Ziel gesetzt, einen Prozess zu bauen, der beides macht: Der User Research Standards etabliert, erfüllt und der vorhersehbar in einem Projekt einsetzbar ist, zum Beispiel als Sprint.

Grundlagen schaffen: Es ist viel Vorbereitung notwendig, wenn man es ernst meint

Um User Research erfolgreich in ein Projekt zu bringen, brauchen wir meiner Einschätzung nach einen Prozess, der nützliche Ergebnisse liefert und deren Qualität sichert. Dazu müssen wir erstmal Sinn und Zweck sowie Ziele des Vorhabens explizit machen; das geht am besten in einem vorbereiteten Kickoff-Briefing. Außerdem brauchen wir ein Forschungsdesign, dass es möglich macht, die richtigen Fragen zu stellen, und eine Evaluationsmethode, die genau die Informationen fokussiert, die für das Projekt relevant und anschlussfähig sind. (Wir müssen quasi das Grundrauschen aus den Interviewgesprächen entfernen.) Nicht zuletzt brauchen wir Interviewer:innen, die wissen, was sie tun, sowie einen Interview-Leitfaden, eine passende Datenbank, eine Infrastruktur und Technik, die datenschutzrechtliche Grundlagen sicherstellt… und wahrscheinlich noch ein paar Kleinigkeiten, die mir hier gerade nicht einfallen. (Bei alldem wird glaube ich klar, warum viele einfach darauf verzichten und angesprochene Abkürzungen nehmen.)

Ich werde später noch einige Tipps geben, was für Werkzeuge man für das ganze ungefähr bauen sollte. Erstmal gehe ich aber auf ein paar Hintergrundinfos dazu ein, warum all das notwendig ist. (Wenn euch die Werkzeuge mehr interessieren, könnt ihr den nächsten Abschnitt aber auch einfach überspringen.)

Schaut das Bild unten an und nehmt euch eine Minute Zeit zum Überlegen: Ist dieses Thermometer ein gutes Messinstrument? Hat es Probleme? Welche könnten das sein?

User Research Standards? Ein kurzer Überblick über sozialwissenschaftliche Gütekriterien

Ein gutes Thermometer zeigt jedem zuverlässig an, was es anzeigen soll (na ja, schon klar… aber)

Was macht also ein gutes Thermometer aus? Dieses kurze Gedankenexperiment rege ich normalerweise in Research-Trainings an. Zum einen sollte ein gutes Thermometer zuverlässig sein, richtig? Wenn die Temperatur 30°C beträgt, sollte es nicht 28 oder 33 oder sogar 40 Grad anzeigen. Das ist das Offensichtlichste. Aber es gibt noch zwei weitere Dinge, die es tun sollte.

Einerseits sollte ein Thermometer keinen Spielraum für Interpretationen lassen: Wenn seine Skala zu ungenau ist, könnten verschiedene Personen unterschiedliche Temperaturen ablesen; auf dem Thermometer in der Abbildung oben zum Beispiel könnte man bei einem flüchtigen Blick 24° statt 28° ablesen. Auch könnte es in diesem Fall schwierig sein, den Unterschied zwischen 29 und 30 zu erkennen. Andererseits muss das Gerät auch das messen, was es eigentlich messen soll. Das heißt, es muss die Temperatur messen und nicht etwa die Windgeschwindigkeit oder die Luftfeuchtigkeit.

Während diese Dinge für ein Thermometer ziemlich offensichtlich sind, handelt es sich um Standards, die alle Messinstrumente erfüllen müssen. Wie zum Beispiel die, die wir in der User Research verwenden wollen. Und an dieser Stelle wird es ein wenig komplizierter.

*Alle* guten Messinstrumente müssen objektiv sein, realiabel und valide Ergebnisse liefern

Ich will jetzt nicht extrem theoretisch werden, deshalb nur ein ganz oberflächlicher Einstieg: In den Sozialwissenschaften (wo die qualitative Forschung erwachsen geworden ist) gibt es sogenannte Gütekriterien, die erfüllt werden müssen, damit man behaupten darf, dass die eigene Forschung belastbar etwas über die Welt aussagen kann.

Beispiel: Nehmen wir an, wir führen eine große Umfrage durch. Wir haben eine Reihe von Fragen mit Antworten auf einer Skala von 1 bis 5. Unser Ziel ist es, zu messen, wie konservativ die Menschen sind, die in unseren Interviews befragt werden. Wir bestimmen nun methodisch eine Stichprobe von etwa tausend Personen und beauftragen 20 Interviewer:innen, ihnen unsere Fragen zu stellen. Dazu händigen wir einen Interviewleitfaden aus und los geht’s. Am Ende erhoffen wir uns quantifizierbare Daten zu dem Thema, das wir untersuchen.

Für eine solche quantitative Forschung gibt es sehr gut erprobte Gütekritieren, die wir erfüllen müssen. Andernfalls wird unsere Forschung keine belastbaren Ergebnisse liefern.

Achtung: Offene User Interviews können die Gütekriterien oben gar nicht erfüllen.

Die oben genannten Kriterien beziehen sich auf die quantitative Forschung; große Umfragen mit vielen Befragten und mathematischen Skalen für die Antworten. Daher kann man im Fall solcher Erhebungen auch mit statistischen Mitteln prüfen, ob Gütekriterien erfüllt werden. In einem Innovationsprojekt werden wir jedoch höchstwahrscheinlich keine quantitative Forschung durchführen, da sie viel zu zeitaufwändig und teuer ist. Stattdessen werden wir wahrscheinlich qualitative User Interviews machen, zum Beispiel als Contextual Inquiry. Diese sind offener und bestehen aus Gesprächen mit einem Gast, der ausführlich erzählen darf. Fragen bereiten wir lediglich vor, um nicht vom Thema abzukommen.

Wie können wir also Objektivität oder Reliabilität in einem User Interview sicherstellen? Naja… eigentlich gar nicht. Bei dieser Art von Gespräch hat nämlich die Interviewerin immer eine aktive Rolle; und damit kann das Gespräch gar nicht objektiv sein. Zum Beispiel haben verschiedene Interviewer unterschiedliche Stile; oder derselbe Interviewer hat vielleicht erst einen schlechten und dann einen guten Tag. Daher ist kein Gespräch gleich, und wir können uns nicht auf die oben beschriebenen Kriterien verlassen. Wir müssen die Qualität auf andere Weise sicherstellen.

Wie können wir also Objektivität oder Reliabilität in einem User Interview sicherstellen? Naja… eigentlich gar nicht.

Christoph Erle, Iconstorm

User Research Standards für Innovationsprojekte

Wie wir Gütekriterien in User Research Standards übersetzen

Bevor ich hier anfange, noch ein ganz wichtiger Hinweis: Die Debatte um Gütekriterien für eine qualitative Forschung ist meiner Einschätzung nach noch lange nicht beendet. Daher haben die Tools, die ich vorschlage, keinen Anspruch darauf, hier eine endgültige Antwort zu geben. (Das wäre dann eher Aufgabe der Wissenschaft; wir können dafür dann einfach schlau sein und deren Arbeit im Nachhinein für uns nutzen.) Was ich aber definitiv gebaut habe, ist ein nützlicher User Research Prozess, der gewissen Standards genügt und vor allen Dingen in Innovationsprojekten funktioniert.

Im Grunde genommen „übersetzt“ der Ansatz wissenschaftliche Gütekriterien für den Einsatz in User Interviews und stellt einige Werkzeuge bereit, die den Prozess streamlinen. Wohlgemerkt, das meiste davon ist nicht einmal neu; viel davon wird in der Sozialforschung schon seit langem praktiziert; ich habe das ganze nur mit Design- und Innovationsthemen zusammengebracht, was meines Wissens vorher noch nie so gemacht wurde.

Aber genug der Vorrede, schauen wir auf Konzepte und Tools!

1) „Objektivität“: Konsistente Replikation der Interviewbedingungen

Wie ich bereits erwähnt habe, ist bei offenen Interviews keine Objektivität möglich, da die Interviewerin das Gespräch beeinflussen wird. Da wir sie nicht aus der Gleichung herausnehmen können, müssen wir dafür sorgen, dass a) alle unsere Interviews unter den bestmöglichen Bedingungen stattfinden und b) alle Interviewer:innen so vorbereitet sind, dass sie diese Bedingungen im Gespräch aufrechterhalten können.

Ich würde sagen, dass es bei Innovationsprojekten das Ziel sein sollte, einen Rahmen zu schaffen, in dem sich der Interviewgast wohl damit fühlt, offen und ausführlich zu erzählen und ehrliche Einblicke zu geben in das, was ihm wichtig ist. Für eine möglichst intersubjektive Gesprächssituation sollten dazu auch immer der Sinn, die Ziele, der Kontext, die Rolle aller Teilnehmer:innen sowie der rechtliche Rahmen des Interviews explizit sein, und zwar für sowohl Interviewer als auch Gast. Und es muss ein „netter“ und öffnender Startpunkt für ein gutes Gespräch geschaffen werden.

Unsere Lösungen, um das zu gewährleisten:

• Strukturierte Vorbereitung mit Kunde

  Wir haben einen Prozess eingeführt, der eine klare Erfassung der Anforderungen ermöglicht. Eine Kombination aus einem Kickoff-Gespräch anhand von Leitfragen mit dem Kunden, Desktop-Recherche und einigen Canvasses zur Vorbereitung von Interviewthemen hilft dabei, Zweck und Ziele von Anfang an sauber zu definieren. Die Einbeziehung des Interviewers von Beginn an gewährleistet später zielgerichtete Interviews, die on point bleiben.

• Interview Leitfaden

  Wir haben einen übersichtlichen Leitfaden für Interviewer erstellt, der durch ein gutes Gespräch hilft. Inklusive sind ein chronologischer und strukturierter Anfangsteil, der den gesamten Rahmen und Ablauf des Gesprächs umreißt und eine kollegiale Atmosphäre schafft, so dass der Interviewer nichts vergisst; außerdem gibt es übersichtliche Abschnitte, mit deren Hilfe Interviewer Überblick über die Themen und Fragen des Gesprächs behalten. Am Ende des Leitfadens finden sich nicht zuletzt detaillierte Hilfestellungen und Tipps für die Gesprächsführung.

• Research-Trainings

  Mit unserer Inhouse-Akademie M1nd haben wir begonnen, Übungsprojekte durchzuführen, um Kolleg:innen auf die Durchführung von User Interviews sowie die Arbeit mit deren Ergebnissen vorzubereiten. Sie geben Teilnehmer:innen die Möglichkeit, sich mit unserem Interviewleitfaden vertraut zu machen, Interviewgespräche zu üben, zu verstehen, welche Fragen wir stellen und warum, die Interviews mit unserer Datenbank auszuwerten, die Ergebnisse in einem Projekt zu verwenden, sich mit der erforderlichen Technik für die Aufzeichnungen sowie den rechtlichen Aspekten, die erfüllt werden müssen, zu befassen … und wahrscheinlich noch mehr.

2) „Reliabilität“: Zuverlässiges Generieren von reproduzierbaren Ergebnissen

Mit einer nachvollziehbaren Interviewstruktur wäre die nächste Idee, einen Research-Prozess zu entwickeln, der zuverlässig nützliche Ergebnisse hervorbringt. Das sollten Ergebnisse sein, die man nahtlos in den weiteren Innovationsprozess einbinden kann; gleichzeitig sollten sie auch reproduzierbar sein, dass heißt, aus ähnlichen Gesprächen sollten ähnliche Ergebnisse hervorgehen können. Und es muss nachvollziebar sein, wie die Ergebnisse zustandekamen. Zu diesem Zweck haben wir eine Infrastruktur aufgebaut, die es uns ermöglicht, alle „Hintergrundgeräusche“ aus einem Gespräch zu entfernen und nur die Inhalte zu erfassen, die beispielsweise für einen Designprozess relevant sind.

Unsere Lösungen, um das zu gewährleisten:

• Statement-Kategorien

  Wir haben die Designmethoden, die wir in Innovationsprojekten anwenden, zusammengetragen und sie dann sozusagen dekonstruiert, um ihre Einzelteile zu isolieren. Wenn man zum Beispiel eine User Story aufschreibt, besteht die aus Teilen wie der Rolle, den Aktionen und den Zielen einer Nutzerin. Um also inhaltliches Futter für User Stories aus Interviews zu ziehen, müssten wir Fragen stellen, die die Leute dazu bringen, über genau diese Kategorien zu sprechen. Wenn man weiß, welche Art Antworten für einen nützlich sind, und das sauber kategorisiert, ist es plötzlich sehr einfach, Interviews vorzubereiten, die brauchbare Ergebnisse liefern. Das muss man einfach für alle Methoden, die man nutzt, wiederholen; Bonuspunkte gibt es, wenn man zwischen den Methoden Überschneidungen und Zusammenhänge feststellt, die sich ergänzen.

• Syntax/Code zur Auswertung

  Für jede feststehende Statement-Kategorie, habe ich zusätzlich ein lockeres grammatikalisches Regelwerk festgelegt, anhand dessen wir „korrekte“ Statements festhalten. Wir zeichnen nun jedes Interview als Audio oder Video auf und filtern dann die für uns nützlichen Statements aus dem Gespräch heraus. Ergebnis sind also keine vollständigen Transkripte oder direkte Zitate, sondern eine semantische bzw. kontextuelle Analyse des Gesprächs. Durch die Syntax entsteht eine definierte Auswahl von Statements, die direkt mit Methoden unseres Design-Playbooks in Verbindung stehen. So entfernen wir jegliche Störgeräusche aus dem Gespräch und nehmen nur mit, was nützlich ist.

• Datenbank

  Schließlich habe ich eine einfach zu verwaltende Datenbank gebaut, die uns bei der Erfassung der Interviewstatements hilft; sie unterscheidet zwischen Kategorien und ermöglicht es uns auch, die Antworten der einzelnen Interviews zu trennen. So können wir die Daten aus verschiedenen Perspektiven betrachten und analysieren. Außerdem können wir jede Statement-Kategorie aus der Datenbank kopieren, auf farbcodierten Stickies einfügen und dann direkt in einem Workshop damit kreativ werden! (Die Datenbank ermöglichte es uns auch, Heuristiken zu erstellen; wir können jetzt vorhersagen, dass jede Stunde Interviewgespräche 80 bis 90 verwertbare Aussagen ergeben wird. Vielleicht macht mich das zu einem großen Nerd, aber meiner Meinung nach ist das ziemlich genial).

Der Unterschied: Wir erhalten keine beliebigen Meinungen mehr darüber, was die beste Lösung sein könnte, sondern wir bekommen ein ausführliches Bild von menschlichem Verhalten in einem Kontext – und entwerfen dann Lösungen selbst.

Christoph Erle, Iconstorm

3) “ Validität:“ Standardisierung von Fragen und Interviewschwerpunkten

Den Nutzer zu fragen, mag sehr einfach erscheinen, ist es aber nicht. Wenn wir die Menschen direkt fragen, was sie wollen, werden wir eine Vielzahl von Antworten erhalten, die überhaupt nicht hilfreich sind. Interviewgäste könnten zum Beispiel Lösungen oder Ideen vorschlagen, die gar nicht umsetzbar oder zu teuer sind; sie könnten zudem zu einem Fachthema nicht so genau Bescheid wissen, dann aber trotzdem etwas Spekulatives erzählen, um nicht „schlecht dazustehen“. Nicht zuletzt: was machen wir, wenn die eine Nutzerin von einer Idee total begeistert ist, eine anderer Nutzer dieselbe Idee aber total blöd findet? Welche Aussage ist dann die Nützliche? Wir können uns also nicht auf Ideen oder Meinungen verlassen und brauchen etwas anderes.

Die einzigen wirklich zuverlässigen Informationen, auf die wir uns in User Interviews konzentrieren können, sind letztendlich die Dinge, über die die Interviewgäste tatsächlich Bescheid wissen. Und das sind sie selbst: Also ihr Verhalten, ihre Ziele, ihre Schwierigkeiten und so weiter. Genau darauf sollten sich auch unsere Fragen konzentrieren, denn dann bekommen wir entweder beobachtbare oder zumindest unmittelbar erlebte Antworten, in denen keine Spekulation involviert ist oder Fachwissen für Antworten benötigt wird.

Diese Art der Gesprächsführung erfordert viel Übung, aber wenn es erst einmal „Klick“ gemacht hat, kann ein Interviewer schon mit einem einzigen Gespräch erstaunliche Ergebnisse erzielen. Ausgestattet mit einfachen Fragen, die leicht zu beantworten sind und einen Bezug zu Innovationsmethoden haben, erhalten wir nun Antworten, die uns im weiteren Projektverlauf helfen. Der Unterschied: Wir erhalten keine beliebigen Meinungen mehr darüber, was die beste Lösung sein könnte, sondern wir bekommen ein ausführliches Bild von menschlichem Verhalten in einem Kontext – und entwerfen dann Lösungen selbst.

Einige Tipps zum Aufbau eines User Research Prozesses für Design und Innovationsprojekte

Vier Schritte für den Einstieg in die User Research

Ich will keine falschen Hoffnungen machen: So einen Prozess aufzubauen ist harte Arbeit. Bei Iconstorm hatten wir dafür sehr günstige Bedingungen, da ich meine Karriere ursprünglich mit einem sozialwissenschaftlichen Hintergrund begann, bevor ich vor etwa sechs Jahren in die Designbranche einstieg. Diese einzigartige Kombination steht euch vielleicht nicht zur Verfügung, so dass eine Menge Grundlagenarbeit nötig sein könnte, um sich über empirische Forschungsmethoden und dergleichen zu informieren. Aber auch ohne das haben wir ca. ein Jahr gebraucht, um diesen Prozess auf die Beine zu stellen (einschließlich Tests und Wiederholungen).

Falls euch das aber jetzt nicht abschreckt oder sogar herausfordert, hier ein paar einfache Schritte, um durchzustarten:

1. Macht einen Audit: Schaut euch an, welche Methoden ihr in euren Innovationsprojekten verwendet, und analysiert, wie sie zusammenpassen. Welche Arten von Ideen und Inhalten sind darin verborgen? Gibt es vielleicht einige Überschneidungen?
   
2. Reverse-Engineering eurer Methoden: Überlegt euch, welche Fragen ihr stellen könntet, um zu den Inhalten zu gelangen, die für eure Methoden relevant sind. Erstellt eine Liste mit Beispielen für jede inhaltliche Kategorie, die ihr findet. (Vergesst nicht, dass die Fragen einfach sein müssen und dass jeder Gast in der Lage sein muss, sie selbstsicher zu beantworten.)
   
3. Definiert eine Syntax: Legt ein paar Regeln für die Erfassung von Statements fest. Testet die Regeln bei der Auswertung eurer ersten Interviews und überarbeitet sie danach definitiv nochmal; behaltet das, was funktioniert, werft weg, was nicht funktioniert. Es ist auch niemals verboten, noch weitere Statementkategorien hinzuzufügen.
   
4. Schreibt einen Leitfaden für Interviewer: Sucht nach geeigneten Beispielen dafür, zum Beispiel aus dem wissenschaftlichen Kontext. Die Universität in eurer Nähe dürfte Literatur oder Gesprächspartner:innen zu diesem Thema haben. Nach dem Schreiben ist es dann „nur“ eine weitere Sache von Test und Iteration.

Mit diesen vier Schritten könnt ihr eigentlich schon User Interviews durchführen und ein bisschen Erfahrung damit sammeln. Wenn ihr die Sache dann wirklich ernsthaft angehen wollt, wäre als nächstes der Aufbau einer geeigneten Infrastruktur dran. (Aber das ist ein eigenes Projekt und auch ein eigener Blogpost, den ich zufällig gerade schreibe.) Je nachdem, was ihr vorhabt, braucht ihr zum Beispiel vielleicht eine Datenbank, datenschutzkonforme Möglichkeiten zur Aufzeichnung von Audio oder Video, das Ganze online oder vor Ort, rechtlich wasserdichte Einverständniserklärungen sowie eine Umgebung für ein Projektmanagement, falls es sich um ein größeres Vorhaben handelt.

Das alles ist dann mehr oder weniger etwas, das ihr auf eure Bedürfnisse zuschneiden müsste. Zum Testen von Interviews an sich reichen aber auch die vier Punkte oben. Im Zweifel könnt ihr aber auch einfach auf mich zukommen, wenn euch das Ganze ein bisschen zu aufwendig scheint, zum Beispiel auf LinkedIn.

So. Und nachdem nun (endlich) alles gesagt ist: Viel Erfolg da draußen!