Der Einsatz von Learning Analytics in PRiME

Den Begriff „Learning Analytics“ haben wir hier schon des Öfteren erwähnt, schließlich ist er ein elementarer Bestandteil in PRiME. Doch was hat es eigentlich damit auf sich? Wir geben zu: So richtig erklärt haben wir das auf unserer Website noch nicht. Doch das werden wir heute nachholen.

Warum überhaupt Learning Analytics?

Beginnen wir mit einem kleinen Versuch: Stellen Sie sich vor, Sie nutzen Ihr Smartphone/Tablet/Notebook für die Lösung einer Arbeitsaufgabe. Gehen Sie in Gedanken doch einmal durch, wo überall Daten entstehen könnten. Wie Sie sich sicher denken können, sind das oftmals eine ganze Menge (Stichwort: Big Data; aber das nur am Rande).

Auch in PRiME ist es nicht ungewöhnlich, dass große Datenmengen aus verschiedenen Quellen entstehen, wenn die unterschiedlichen Anwendungen genutzt werden. Jeder Nutzer hinterlässt dabei Datenspuren, wenn Inhalte bearbeitet werden – sei es durch das Kommentieren eines Beitrages, die Erstellung einer Notiz oder die Benachrichtigung zu einer Änderung an einem abonnierten Dokument.

Für uns stellt sich daher die Frage, wie die vom Lernenden hinterlassenen Daten innerhalb der Apps handhabbar gemacht werden können, sodass das persönliche Lern- und Lehrergebnis bestmöglich unterstützt werden kann. Dazu liefern Learning Analytics-Methoden eine Lösung. Hierbei werden die Daten des Lernenden gespeichert, aufbereitet und schließlich ausgewertet bzw. interpretiert.

Für wen sind sie nützlich?

Mithilfe der Datenanalyse profitieren zunächst einmal die Lernenden selbst. Die Learning Analytics-Elemente liefern ihnen in den unterschiedlichen Anwenderrollen eine pseudonymisierte Analyse ihres individuellen Lernprozesses. Beispielsweise helfen die Auswertungen dabei, die Lernaktivitäten besser zu beobachten und verstärkt zur (Selbst-)Reflexion anzuregen. Hierdurch wird den Lernenden ein Einblick in die persönlichen Lernfortschritte gewährt. Entsprechend der spezifischen Lernbedürfnisse steht das Ziel im Vordergrund, einen nachhaltigen Lerneffekt zu erzielen. Auch Stellen, an denen noch Lernschwierigkeiten auftauchen, sind auf diese Weise besser identifizierbar. Ein wichtiger Punkt hierbei ist, dass wir uns bei jeglichen Umsetzungen in diesem Bereich an die für das Projekt geltenden Datenschutzregeln halten.

Für Autoren von Trainingsunterlagen wiederum, das heißt für die Lehrenden im weiteren Sinne, sind Learning Analytics insofern nützlich, dass die von ihnen bereitgestellten Lernmaterialien den Lernprozess unterstützen. In diesem Kontext ist es für die Autoren auch wichtig zu wissen, wie die erstellten Unterlagen von den Lernenden angenommen werden, das heißt, ob sie hilfreich für die angestrebten Lernziele sind. Daher stellen Learning Analytics-Methoden zusätzlich ein Mittel dar, um eine Qualitätssicherung des Lernmaterials vorzunehmen und einzelne Lerninhalte je nach Bedarf anzupassen. Sinn und Zweck der Datenerhebung und -auswertung ist es also vor allem, die Lernumgebung in PRiME kontinuierlich zu optimieren.

Wie erfolgt die Umsetzung?

Um das zu erreichen, werden folgende Maßnahmen im PRiME umgesetzt:

  • kontextbasierte Suche, z.B. nach den Interessen des Lernenden
  • kontextrelevante Rückmeldungen und Empfehlungen, z.B. durch Erfahrungsberichte oder Annotationen
  • Dashboards zur Ansicht von individuellen Lernaktivitäten und -zielen
  • Visualisierungen, z.B. Auswertungen in Form von Diagrammen und Statistiken

Das Ganze gestaltet sich so, dass im mobilen Backend-Bereich die Anwendung Analyzer zum Einsatz kommt. Diese hat den Zweck, die zusammengefassten Nutzungsinformationen für den Lernenden darzustellen. So wird beispielsweise visualisiert, wie lange und in welchem Rhythmus (z.B. täglich oder wöchentlich) der Lernende im System aktiv war, wie viele Annotationen erstellt oder welche Apps genau geöffnet wurden. Diese Elemente sind einfache Statistiken zur Selbstreflexion, ohne dass sie durch das System bewertet werden. Das folgende Bild zeigt die App-Nutzung eines Users in einem bestimmten Zeitraum:

 

abb3_8_analyzer

Ansicht im Analyzer: Learning Analytics geben u.a. Aufschluss über die App-Nutzung

 

Umfangreicher wird es dann bei anderen Funktionalitäten, wie bei der Suche, für welche die sozialen Strukturen der einzelnen Nutzer (z.B. Mitgliedschaft in Gruppen) mit einfließen. Auf Basis der eigenen Suchbegriffe und abonnierten Dokumente der Kollegen werden die Ergebnisse des Suchvorgangs unterschiedlich gewichtet. Dokumente, die den Suchbegriff beinhalten und auch von engen Kollegen abonniert sind, erscheinen weiter oben als dem persönlichen sozialen Netzwerk komplett unbekannte Dokumente. Das gleiche Verfahren ist auch für Empfehlungen denkbar und soll noch ergänzt werden.

Insgesamt liefern die aufbereiteten Daten also wichtige Erklärungen – sowohl aus Sicht der Lernenden (z.B. Wagenmeister) als auch aus Sicht der Lehrenden (z.B. Trainingsentwickler). Die Learning Analytics in PRiME helfen letztlich dabei, einen tieferen und zugleich strukturierteren Einblick in diese komplexe Zusammenhänge, in diesem Fall des Lernverhaltens zu bekommen.

Und das war er auch schon, unser Überblick zu den Learning Analytics. Haben Sie Fragen? Dann lassen Sie es uns gern wissen, z.B. in den Kommentaren!

 

Wir wünschen Ihnen einen guten Start ins Wochenende!

Ihr PRiME-Team

 

Einblicke in die Ergebnisse der Anwenderworkshops

Vielleicht werden Sie sich erinnern: Vor einigen Monaten haben wir über zwei Anwenderschulungen im März berichtet. Wir waren in zwei Schulungsklassen mit je neun Wagenmeistern unterwegs, um PRiME längerfristig im Arbeits- bzw. Schulungsalltag zu testen. Bei den anfänglich zwei Schulungen ist es nicht geblieben. Wir nehmen seitdem regelmäßig mit an den Veranstaltungen teil und unterstützen die Klassen mit Tablets und dem dazugehörigen PRiME-System. Interessant ist vor allem, welche Ergebnisse der Einsatz von PRiME in den Schulungen mit sich bringt. Genau darum geht es im heutigen Blogeintrag.

 

survey-1594962_1920

Quelle: Pixabay

Hintergründe

Damit Sie einen Eindruck von den Anwenderworkshops und vor allem von den Ergebnissen bekommen, wollen wir zunächst einmal auf die Teilnehmer an sich eingehen. In den Schulungen ist beispielhaft die Nutzergruppe der Wagenmeister vertreten. Die Teilnehmer sind etwa Ende 40 und haben um die 20 Jahre Berufserfahrung in gleichen oder ähnlichen Tätigkeitsbereichen.

Anfänglich war das PRiME-Team bei den Schulungen mit vor Ort, um z.B. direkt auf Fragen einzugehen. Doch nach und nach wurde das von den verantwortlichen Trainern übernommen, sodass die wöchentlich wechselnden Gruppen das System nun weitgehend eigenständig im Schulungsalltag testen.

Nachdem PRiME in der Schulungswoche über getestet wird, wird am Ende der Woche ein Fragebogen an die Teilnehmer verteilt. Hierbei werden verschiedene Aspekte abgefragt: Vom Nutzen von PRiME über die Benutzbarkeit der Anwendungen bis hin zur Erfolgsaussicht und Motivation. Wichtig dabei sind vor allem die subjektiven Empfindungen der Teilnehmer in Bezug auf den PRiME-Einsatz. Doch was ist bisher nun genau herausgekommen?

Die Ergebnisse

Teil 1: Nutzen von PRiME

In diesem ersten Teil des Fragebogens geht es vor allem darum, wie gut PRiME das Lernen unterstützt. Gemessen wird in verschiedenen Kategorien wie Unterstützung beim Lernen, Reflektieren, bei der Arbeitseffizienz und Kommunikation. Dazu zählt zum Beispiel, ob die Teilnehmer sich aufgrund des Systems intensiver mit den Schulungsunterlagen beschäftigen oder ob das System sie in ihren Arbeitsprozessen unterstützt. Bisher konnten wir hier Werte um die 5 auf einer Likertskala [1;6] (6 als maximal positiver Wert) erzielen, was ca. 80 % entspricht. Besonders auffällig ist hier auch der wahrgenommene Mehrwert bei der Nutzung von Tablets und die sehr gute Integrierbarkeit in die Arbeit.

Teil 2: Benutzbarkeit

Im zweiten Teil des Fragenbogens befragen wir die Teilnehmer zu Aspekten der Benutzbarkeit bzw. Usability der mobilen Anwendungen. Unser Ziel dabei ist es, herauszufinden, wie sich PRiME insgesamt bedienen lässt. Dazu zählt unter anderem, ob es intuitiv und einfach von den Teilnehmern zu bedienen ist oder ob es möglicherweise Widersprüchlichkeiten gibt und es als unnötig komplex wahrgenommen wird. Die Auswertung nehmen wir schließlich in Form einer „System Usability Scale“, kurz SUS, vor. Es handelt sich dabei um eine gängige Methode zur quantitativen Analyse der Gebrauchstauglichkeit eines Systems. Die Werte der SUS reichen von 0 bis 100. Je größer der Wert, desto besser die Benutzbarkeit, wobei generell ab einem Wert von 68 eine gute Benutzbarkeit zu verzeichnen ist. Mit minimalen Schwankungen haben wir mit PRiME einen Wert von etwa 77 erreicht. Dies entspricht einer guten Nutzbarkeit.

Aus den Schulungen heraus nehmen wir Rückmeldungen fortwährend auf, um das PRiME-System peu à peu zu optimieren und an die Nutzerbedürfnisse anzupassen. So kletterte beispielsweise der SUS nach oben, nachdem wir entsprechend der Wünsche der Teilnehmer einen Offline-Speicher ergänzt haben. Dadurch haben sich die Ladezeiten der Seiten noch einmal deutlich verkürzt.

Teil 3: Erfolgsaussicht

Im dritten und letzten Teil des Fragebogens werden insbesondere Aspekte zu den Erfolgsaussichten und zur Nutzerzufriedenheit erfasst. Darüber hinaus besteht hier für die Teilnehmer die Option, offene Fragen zu beantworten und noch eigene Anmerkungen zu ergänzen. Zur Abfrage der Erfolgsaussicht greifen wir auf den sogenannten Net Promoter Score, kurz NPS, zurück. Dieser gibt auf einer Skala von 0 bis 10 Auskunft darüber, wie wahrscheinlich es ist, ob ein Nutzer das System – in diesem Fall PRiME – weiterempfehlen würde (0 = unwahrscheinlich, 10 = äußerst wahrscheinlich). Der NPS ergibt sich aus der Differenz der Anteile von Befürwortern und Kritikern:

 

nps2_620

Quelle: Impulse

 

Wie zu erkennen ist, sind die Gruppen Kritiker/Passive/Promotor nicht gleichmäßiger über die Skala verteilt, der NPS ist dementsprechend eine sehr harte Skala. Der Wertebereich liegt damit zwischen +100 % und –100 %. Je nach Branche können die Werte etwas schwanken, aber generell kann man sagen, dass ab einem zweistelligen positiven Wert ein guter NPS vorliegt. Teilweise kann jedoch auch schon ein Wert von 0 in Ordnung sein. In unserem Fall haben wir bisher einen Spitzenwert von 44 erreicht, was einem sehr guten Ergebnis entspricht.

Chancen nutzen

Wie schon etwas weiter oben angedeutet, spielen die Ergebnisse in den Fragebögen, aber auch das Feedback, das uns in den Schulungen direkt gegeben wird, für die Weiterentwicklung von PRiME eine enorm wichtige Rolle. Wünsche und Anregungen versuchen wir schnellstmöglich in den nächsten Zyklen berücksichtigen und umzusetzen, damit letztendlich beide Seiten – sowohl die Teilnehmer als auch wir – glücklich sind.

Und damit wären wir heute auch schon am Schluss. Auch wenn der Blogeintrag etwas theorielastiger war als sonst, hoffen wir, dass Ihnen der Einblick in die Ergebnisse gefallen und etwas Aufschluss gebracht hat.

 

Das PRiME-Team wünscht Ihnen ein schönes Wochenende,

bis bald!