Autorin: Maiken Bonnes, Universität Duisburg-Essen

Bei der Evaluation der Weiterbildungsangebote des Projekts HD@DH.nrw hat sich die Kombination quantitativen und qualitativen Methoden bewährt. In diesem Blogbeitrag möchten wir die Vor- und Nachteile beider Ansätze diskutieren und aufzeigen, wie sie im Projekt eingesetzt werden.

Bei der quantitativen Evaluation kommen Online-Fragebögen zum Einsatz, die geschlossene Fragen, wie z. B. Single-Choice-Fragen und Skalen-Fragen, enthalten, die um offenen Fragen ergänzt werden. Uns interessiert bspw., ob die Teilnehmer*innen das besuchte Format ihren Kolleg*innen weiterempfehlen würden und falls nicht, welche Veränderungen vorgenommen werden sollten, damit sie das Angebot weiterempfehlen würden. Auch Fragen zur Übersichtlichkeit und Struktur unserer asynchronen Formate wie der Lernarchitektur liefern sehr aufschlussreiche Informationen.

Der Vorteil der quantitativen Evaluation liegt darin, dass sie für die Teilnehmer*innen zeiteffizient ist, denn mehr als 10 Minuten benötigt es nicht, die Fragen zu beantworten. Auch bleiben die Befragungsteilnehmer*innen anonym. Auf Seiten des Projekts ermöglicht es die quantitative Evaluation, große Datenmengen zu sammeln und diese schnell auszuwerten. Die Ergebnisse können aggregiert und leicht verglichen werden, so dass Aussagen über die Gesamtheit der Teilnehmenden getroffen werden können.

Ein Nachteil der quantitativen Evaluation ist jedoch, dass sie nur begrenzt Einblick in die individuellen Erfahrungen und Meinungen der Nutzer*innen geben kann. Zudem können wichtige Aspekte, die nicht in den Fragen enthalten sind, nicht erfasst werden. Aus diesem Grund werden qualitativen Methoden wie Fokusgruppen und Feedback-Dialoge durchgeführt. Im unserem Blogartikel vom 20. März 2023 wird das Vorgehen bei der Evaluation der Lernarchitektur beschrieben, das in dieser Form auch zur Evaluation des Digital Teaching Labs und der Lernvideo AG eingesetzt wurde (Link: https://hd.dh.nrw/blog/artikel/2023/03/20/evaluation-der-lernarchitektur).

Geleitet wurden die digital durchgeführten und ca. einstündigen Gesprächsrunden von einer Moderatorin aus dem Baustein EVA QM und einer Kollegin aus dem Baustein.

Ausgangspunkt für die Gesprächsrunden bildeten die Ergebnisse der Online-Befragungen.

Die durchschnittlich fünf Gesprächsteilnehmer*innen beschrieben ihre persönlichen Eindrücke und lieferten so wertvolle Hintergrundinformationen zur Interpretation der Befragungsergebnisse. Weitere offenen Fragen strukturierten die durch Offenheit und Konstruktivität geprägten Gruppengespräche. Es ist erstaunlich, wie tief wir in diesen Gesprächen in die Erfahrungen der Nutzer*innen eintauchen konnten. Dieser Perspektivwechsel ermöglichte es der „Angebotsseite“, ihr Produkt aus Nutzer*innensicht zu sehen und so sehr konkrete Verbesserungspotentiale zu identifizieren, die teilweise auch schon sehr schnell umgesetzt werden konnten.

Der Aufwand ist jedoch nicht zu unterschätzen, denn die inhaltliche Vorbereitung der Gesprächsrunden bedarf der intensiven Abstimmung zwischen der Moderation und der Fachexpertin aus dem Baustein. Auch müssen Terminalternativen gefunden werden zu denen sich die Gesprächsteilnehmer*innen Zeit nehmen können. Nicht zuletzt deshalb sind die Gesprächsgruppen nicht immer repräsentativ für die Grundgesamtheit der Nutzer*innen unserer Angebote. Trotz des Aufwands und dieser Einschränkungen kommen wir aber zum Fazit, dass sich die vertiefte Auseinandersetzung mit den Angeboten aus Nutzer*innensicht gelohnt hat.

An dieser Stelle möchten wir uns herzlich bei allen bedanken, die sich die Zeit genommen haben, an einer oder mehreren Evaluationen der Angebote im Projekt HD@DH.nrw teilzunehmen! Jede Rückmeldung ist wichtig für die Weiterentwicklung der Angebote. Daher können Sie uns auch gerne jederzeit per E-Mail kontaktieren, wenn Sie Feedback und Anregungen zu bestehenden oder für zukünftige Angebote, Formate oder Themenschwerpunkte haben.

Das Team Evaluation und Qualitätsmanagement freut sich über Ihre E-Mail an feedback@hd-dh.nrw.