Vielleicht werden Sie sich erinnern: Vor einigen Monaten haben wir über zwei Anwenderschulungen im März berichtet. Wir waren in zwei Schulungsklassen mit je neun Wagenmeistern unterwegs, um PRiME längerfristig im Arbeits- bzw. Schulungsalltag zu testen. Bei den anfänglich zwei Schulungen ist es nicht geblieben. Wir nehmen seitdem regelmäßig mit an den Veranstaltungen teil und unterstützen die Klassen mit Tablets und dem dazugehörigen PRiME-System. Interessant ist vor allem, welche Ergebnisse der Einsatz von PRiME in den Schulungen mit sich bringt. Genau darum geht es im heutigen Blogeintrag.

Quelle: Pixabay

Hintergründe

Damit Sie einen Eindruck von den Anwenderworkshops und vor allem von den Ergebnissen bekommen, wollen wir zunächst einmal auf die Teilnehmer an sich eingehen. In den Schulungen ist beispielhaft die Nutzergruppe der Wagenmeister vertreten. Die Teilnehmer sind etwa Ende 40 und haben um die 20 Jahre Berufserfahrung in gleichen oder ähnlichen Tätigkeitsbereichen.

Anfänglich war das PRiME-Team bei den Schulungen mit vor Ort, um z.B. direkt auf Fragen einzugehen. Doch nach und nach wurde das von den verantwortlichen Trainern übernommen, sodass die wöchentlich wechselnden Gruppen das System nun weitgehend eigenständig im Schulungsalltag testen.

Nachdem PRiME in der Schulungswoche über getestet wird, wird am Ende der Woche ein Fragebogen an die Teilnehmer verteilt. Hierbei werden verschiedene Aspekte abgefragt: Vom Nutzen von PRiME über die Benutzbarkeit der Anwendungen bis hin zur Erfolgsaussicht und Motivation. Wichtig dabei sind vor allem die subjektiven Empfindungen der Teilnehmer in Bezug auf den PRiME-Einsatz. Doch was ist bisher nun genau herausgekommen?

Die Ergebnisse

Teil 1: Nutzen von PRiME

In diesem ersten Teil des Fragebogens geht es vor allem darum, wie gut PRiME das Lernen unterstützt. Gemessen wird in verschiedenen Kategorien wie Unterstützung beim Lernen, Reflektieren, bei der Arbeitseffizienz und Kommunikation. Dazu zählt zum Beispiel, ob die Teilnehmer sich aufgrund des Systems intensiver mit den Schulungsunterlagen beschäftigen oder ob das System sie in ihren Arbeitsprozessen unterstützt. Bisher konnten wir hier Werte um die 5 auf einer Likertskala [1;6] (6 als maximal positiver Wert) erzielen, was ca. 80 % entspricht. Besonders auffällig ist hier auch der wahrgenommene Mehrwert bei der Nutzung von Tablets und die sehr gute Integrierbarkeit in die Arbeit.

Teil 2: Benutzbarkeit

Im zweiten Teil des Fragenbogens befragen wir die Teilnehmer zu Aspekten der Benutzbarkeit bzw. Usability der mobilen Anwendungen. Unser Ziel dabei ist es, herauszufinden, wie sich PRiME insgesamt bedienen lässt. Dazu zählt unter anderem, ob es intuitiv und einfach von den Teilnehmern zu bedienen ist oder ob es möglicherweise Widersprüchlichkeiten gibt und es als unnötig komplex wahrgenommen wird. Die Auswertung nehmen wir schließlich in Form einer „System Usability Scale“, kurz SUS, vor. Es handelt sich dabei um eine gängige Methode zur quantitativen Analyse der Gebrauchstauglichkeit eines Systems. Die Werte der SUS reichen von 0 bis 100. Je größer der Wert, desto besser die Benutzbarkeit, wobei generell ab einem Wert von 68 eine gute Benutzbarkeit zu verzeichnen ist. Mit minimalen Schwankungen haben wir mit PRiME einen Wert von etwa 77 erreicht. Dies entspricht einer guten Nutzbarkeit.

Aus den Schulungen heraus nehmen wir Rückmeldungen fortwährend auf, um das PRiME-System peu à peu zu optimieren und an die Nutzerbedürfnisse anzupassen. So kletterte beispielsweise der SUS nach oben, nachdem wir entsprechend der Wünsche der Teilnehmer einen Offline-Speicher ergänzt haben. Dadurch haben sich die Ladezeiten der Seiten noch einmal deutlich verkürzt.

Teil 3: Erfolgsaussicht

Im dritten und letzten Teil des Fragebogens werden insbesondere Aspekte zu den Erfolgsaussichten und zur Nutzerzufriedenheit erfasst. Darüber hinaus besteht hier für die Teilnehmer die Option, offene Fragen zu beantworten und noch eigene Anmerkungen zu ergänzen. Zur Abfrage der Erfolgsaussicht greifen wir auf den sogenannten Net Promoter Score, kurz NPS, zurück. Dieser gibt auf einer Skala von 0 bis 10 Auskunft darüber, wie wahrscheinlich es ist, ob ein Nutzer das System – in diesem Fall PRiME – weiterempfehlen würde (0 = unwahrscheinlich, 10 = äußerst wahrscheinlich). Der NPS ergibt sich aus der Differenz der Anteile von Befürwortern und Kritikern:

Quelle: Impulse

Wie zu erkennen ist, sind die Gruppen Kritiker/Passive/Promotor nicht gleichmäßiger über die Skala verteilt, der NPS ist dementsprechend eine sehr harte Skala. Der Wertebereich liegt damit zwischen +100 % und –100 %. Je nach Branche können die Werte etwas schwanken, aber generell kann man sagen, dass ab einem zweistelligen positiven Wert ein guter NPS vorliegt. Teilweise kann jedoch auch schon ein Wert von 0 in Ordnung sein. In unserem Fall haben wir bisher einen Spitzenwert von 44 erreicht, was einem sehr guten Ergebnis entspricht.

Chancen nutzen

Wie schon etwas weiter oben angedeutet, spielen die Ergebnisse in den Fragebögen, aber auch das Feedback, das uns in den Schulungen direkt gegeben wird, für die Weiterentwicklung von PRiME eine enorm wichtige Rolle. Wünsche und Anregungen versuchen wir schnellstmöglich in den nächsten Zyklen berücksichtigen und umzusetzen, damit letztendlich beide Seiten – sowohl die Teilnehmer als auch wir – glücklich sind.

Und damit wären wir heute auch schon am Schluss. Auch wenn der Blogeintrag etwas theorielastiger war als sonst, hoffen wir, dass Ihnen der Einblick in die Ergebnisse gefallen und etwas Aufschluss gebracht hat.

Das PRiME-Team wünscht Ihnen ein schönes Wochenende,

bis bald!