Crowdtesting – Wie kann man das nutzen?

 

Eine Freundin von mir kam neulich ganz erfreut auf mich zu und erzählte mir von ihren ersten Crowdtesting-Erfahrungen innerhalb ihres aktuellen Projekts. Crowdtesting? Was ist das denn? Und wie kann das in der Praxis funktionieren? Von ihrer Begeisterung ein wenig angesteckt, begab ich mich auf die Suche nach diesen Fragen und löcherte sie nochmal ausgiebig, denn auch ich fand das einen äußerst interessanten und zukunftsträchtigen Ansatz. Schließlich dachte ich mir, das wäre doch eigentlich was für ‘alle’ – Praxiserfahrungen zu einem noch recht neuen Testing der ganz anderen Art! Die Ergebnisse hierzu also im folgenden Blogartikel!

Tests im Online Umfeld – Warum nicht einfach potentielle Endkunden unterstützen lassen? Gedanken und Erfahrungswerte zum Crowdtesting

Der aktuelle Sprint neigt sich dem Ende, ein kleines Feature wurde neu in die Online Anwendung oder App integriert oder steht ein größeres Release kurz vor dem Rollout? Tests wären jetzt noch gut, um nicht nur ein schnelles, sondern auch qualitativ gutes Produkt auf den Markt zu bringen. Ist die Zeit knapp oder stehen nicht ausreichend Tester zur Verfügung – was tun?

Derartige Situationen begegnen den meisten von uns in unseren Online Projekten immer wieder. Die Ursachen sind vielschichtig. “Ihr könnt doch einfach vorausschauender planen, sowohl die Testzyklen, als auch die erforderlichen Ressourcen.” Könnte man sicherlich. Planung ist aber nicht alles. Wir möchten über agile Methodiken den Bedürfnissen besser und schneller gerecht werden. Das erfordert Flexibilität und oft auch ein Abweichen vom ursprünglichen Plan.

Welche Alternativen oder Ergänzungen sind einsetzbar, um immer wiederkehrende Herausforderungen im Testing zu meistern? Ein Modell macht dabei besonders neugierig. Die Möglichkeit quasi auf Knopfdruck eine große Menge an qualitativ hochwertigen Testern zu aktivieren und eine Entwicklung völlig unbedarft testen zu lassen. Am Markt gibt es diverse Dienstleister, die genau solche Crowdtesting Services anbieten.

Und was ist das nun, dieses Crowdtesting?

Beim Crowdtesting bedient man sich im Rahmen von Software Tests einer Masse von Internet Nutzern, der Crowd. Diese Masse vereint das gemeinsame Interesse sich online Geld (dazu) zu verdienen. Die große Community im Netz bietet den Vorteil, sich aus einer Masse geeignete Testkandidaten aussuchen zu können. Wer gehört zu der Zielgruppe, die man ansprechen möchte (Interessen, Alter, Geschlecht, Sprache, Technik Affinität, Regionalität, …)? Wer nutzt die Endgeräte, Betriebssysteme und Browser, die man bedienen möchte?
Die Selektion geeigneter Tester, deren Briefing, Koordination der Tests, Qualitätssicherung der Testergebnisse, sowie Kommunikation und Planung der Testzyklen mit den Testern übernimmt beim Crowdtesting ein Dienstleister. Er fungiert als Schnittstelle zwischen der Community und dem Dienstnutzer.

Welche Testarten werden angeboten?

Im Wesentlichen bieten die Dienstleister drei Optionen für die Tests an:

Usability Tests: Hier geben die Tester eine Rückmeldung wie intuitiv das Produkt zu bedienen ist. Ergebnisse sind Anregungen, was wie verbessert werden kann. Alternativ kann der Dienstnutzer auch einen Fragebogen aushändigen, wozu er genau ein Feedback von der Community haben möchte.

Usecase Tests: Hierbei wird ein konkretes Szenario vorgegeben, das es zu testen gilt. Die Vorgaben können dabei sehr detailliert sein, was der Nutzer wo genau einzugeben und zu klicken hat oder als Aufgabe formuliert sein, wie z.B. “Sende eine Anfrage an das Call-Center”.

Explorative Tests: Hier gilt die Devise für die Tester: “Finde so viele Fehler wie es nur geht, egal wo”.

Getestet werden können sowohl Software-, als auch Hardware-Lösungen. Organisatorisch und finanziell sind Tests von Hardware allerdings aufwändiger als von Software, da zunächst die Hardware an die Community gelangen und dort gegebenenfalls noch installiert und konfiguriert werden muss.

Und wie soll das funktionieren? Projekt- und themenfremde Tester testen das Business?

Laut den berichteten Erfahrungswerten funktioniert es, und das erstaunlich gut.
“In unseren Pilotversuchen haben wir jeweils Anwendungen getestet, die in einem Beispiel für Kunden gedacht sind und im anderen Fall für Kommunen und deren Einwohner allgemein. Die Hürde eines Tester-Briefings war damit nicht sehr hoch, denn dann hätten wir am Ziel vorbei entwickelt, intuitive Lösungen bereitzustellen.
In Summe waren in unseren Piloten kurze Telefonabstimmungen mit dem Crowdtesting Dienstleister ausreichen, um prinzipiell zu skizzieren, worum es bei den Lösungen geht und wo unser Fokus liegt.
Sprechen wir über Lösungen, die ein starkes Fach-Knowhow erfordern, wie zum Beispiel interne Tools und Anwendungen für Fachabteilungen, kann das Crowdtesting sicher nicht sein volles Potential ausspielen. Briefingaufwände und auch Qualitätssicherungsmaßnahmen zu gefundenen Fehlern liegen hier dann um einiges höher, als bei Massen-Anwendungen.”

Resumee – Die Erfahrungen mit Crowdtesting waren sehr positiv!

Im Rahmen von zwei Maßnahmen wurden Crowdtesting Services mit zwei Dienstleistern ausprobiert. Ziel war es, zum einen eine App und ein Kundenportal auf eventuelle Fehlfunktionen hin zu untersuchen und zum anderen eine Rückmeldung zur Bedienbarkeit der Lösung zu erhalten.

Für die Funktionstests wurde beschlossen, den Testern sowohl klar definierte Benutzerpfade im Kundenportal vorzugeben, als auch die Tester einfach auf die Lösungen loszulassen mit dem Auftrag “Findet so viele Fehler, wie ihr nur aufdecken könnt!”.

Die Dienstleister hatten im Vorgehen, Rollenmodell und in den genutzten Tools zum Tracking und zur Dokumentation der gefundenen Fehler nur marginale Unterschiede. Die organisatorische Abwicklung mit den Dienstleistern verlief reibungslos. Es stand ein zentraler Ansprechpartner zur Verfügung. Über diesen erfolgte das Briefing der Tester, sowie jegliche Planungs- und Umsetzungsabstimmungen.
Binnen zweier Tage war alles startklar für die Tests. Für die Durchführung einzelner Testiterationen haben ebenfalls ein bis zwei Tage ausgereicht. Wiederholungstests nach erfolgtem Bugfixing konnten innerhalb von Stunden neu aufgesetzt werden. Für die Dokumentation des Teststatus und der Ergebnisse bieten die Dienstleister eigene Online Portale an. Über geschützte Zugriffe stehen den Dienstleistern dort diverse Dashboards zur Verfügung, die eine ausreichende Transparenz zum Testverlauf geben. Die gefundenen Fehler werden vom Dienstleister zunächst qualitätsgesichert, so dass mehrfach gefundene Fehler nicht redundant gelistet werden. Eine Schnittstelle zu Jira als Bugtracking Tool konnte in beiden Fällen ebenfalls hergestellt werden, so dass die Weiterverarbeitung der Fehler über gewohnte Prozesse und Tools abgewickelt werden konnte.

Die Vorteile des Crowdtesting im Überblick:

• Schnelle Setup Zeiten (Auswahl und Briefing der Tester)
• Schnelle Reaktionszeit zur Durchführung der Tests und ihrer Folge-Iterationen
• Auswahl von speziellen Zielgruppen und Regionen
• Auswahl der abzudeckenden Sprache(n) – Internationalierung
• Vorgabe von Endgeräten (mobil und Desktop) inklusive Kombinationen von Betriebssystemen und Browserversionen
• Tests ohne den Unternehmens-Tunnelblick:
  – Wird der Sprachgebrauch beim Endkunden verstanden?
  – Kann der Endnutzer den Gedankensprüngen in den Prozessen folgen?
  – Sind die Lösungen wirklich so ergonomisch wie sie empfunden werden?
  – Durchführung der Tests auch außerhalb der Bürozeiten (nachts und am Wochenende)
  – Keine Laborbedingungen, sondern reale Umgebungen und Anbindungen

Fazit

Die Stärken des Crowdtestings liegen den berichteten Erfahrungen nach im Usability Feedback und vor allem bei den explorativen Tests. Die Usecase Tests haben gezeigt, dass der interne Aufwand für die Erstellung der Testfälle und Testdaten nach wie vor sehr hoch ist.
Crowdtesting ist kein Heilsbringer in allen Lebenslagen, aber definitiv eine sinnvolle, flexible, preisgünstige Ergänzung zu bisher bewährten Abnahmetests.

Vielen Dank meiner Freundin für die berichteten Erfahrungen und zur Verfügung Stellung ihrer Erkenntnisse und hoffentlich ein interessanter Einblick für viele, die mit Crowdtesting bislang noch keine Berührungspunkte hatten.