Zwischen „best practice“ und „grandios gescheitert“ – wie lernen Evaluator*innen aus ihren Evaluationen?
1000 Dank, liebe Leser*innen! 53 von Ihnen haben bei der kleinen Umfrage zum Thema „Lernen aus Evaluation“ mitgemacht. Dabei ging es nicht um die Nutzung von Evaluationsergebnissen aus Perspektive der Auftraggeber*innen, sondern darum, wie wir Evaluator*innen eigentlich aus unserer Arbeit lernen. Die Ergebnisse sind natürlich nicht repräsentativ, aber trotzdem sehr spannend!
Wenn Sie es eilig haben, können Sie ganz unten eine kurze Zusammenfassung in Form einer Infografik lesen.
Wie oft und in welcher Form holen Evaluator*innen Feedback ein?
Drei von vier befragten Evaluator*innen haben ihre Auftraggeber*innen nach Abschluss einer Evaluation schon mal um ein Feedback gebeten.
Überwiegend bitten Evaluator*innen um ein mündliches Feedback (65% der Befragten) – nur wenige bitten um ein schriftliches Feedback (11%) oder um das Ausfüllen eines strukturierten Feedback-Bogens (8%) (*Prozentangaben jeweils bezogen auf die Evaluierenden, die bereits um Feedback gebeten haben; n=38).
Neben diesen Feedback-Formaten gibt es noch mindestens eine weitere Spielart: Ein*e Umfrage-Teilnehmer*in gab an, dass eine „dritte Person“ Follow-Up-Interviews mit der auftraggebenden Seite führt. Die Vorteile der Variante liegen auf der Hand: Für die Feedbackgeber*innen ist es etwas leichter, Kritik zu äußern, wenn es über eine dritte Person weitergegeben wird. Für die Feedbacknehmer*innen wirkt die dritte Person wie ein Filter: Sie kann das Gesagte auf das Wesentliche reduzieren und, sofern ein Vertrauensverhältnis besteht, ggf. auch kritische Aspekte besser rüberbringen.
Immerhin 27% der befragten Evaluator*innen haben angegeben, dass sie ihre Auftraggeber*innen noch nie um Feedback gebeten haben. Über die Gründe dafür kann ich nur spekulieren. Gerade bei Evaluator*innen, die noch am Anfang ihrer Karriere stehen, spielt hier vielleicht Unsicherheit eine Rolle, oder auch einfach ein Mangel an Erfahrung darüber, dass ein Feedback sehr hilfreich sein kann. Gleich zwei der Umfrage-Teilnehmer*innen haben jedoch angegeben, dass ein Feedback aus Ihrer Sicht fester Bestandteil von Evaluationen sein sollte – vielleicht sogar vertraglich verpflichtend, und zwar in beide Richtungen.
Wie nützlich ist das Feedback von Auftraggeber*innen für Evaluator*innen (und warum)?
Das Feedback durch Auftraggeber*innen wird insgesamt als eher hilfreich empfunden. Auf einer Skala von 1 (überhaupt nicht hilfreich) bis 5 (sehr hilfreich) haben die Teilnehmer*innen der Umfrage im Schnitt eine 3,7 angegeben – also sind wir etwas näher am „eher hilfreich“ als am „weder noch“.
Ein paar schöne Beispiele für positives Feedback wurden in der Umfrage auch genannt. Diese bezogen sich auf…
- Den Evaluationsprozess, z.B.: „Absprachen und Rückmeldungen zu partizipativem Ansatz in der Evaluation – in dem Fall zu starke Einbindung des Auftraggebers, war eine Belastung.“
- Evaluationsinhalte, z.B.: „Eine Ermutigung, neue Gedanken eingebracht zu haben und nochmal den Blick auf neue Aspekte gerichtet zu haben.“
- Verwertbarkeit der Ergebnisse, z.B.: „Wie mit unseren Evaluationsergebnissen gearbeitet wurde und welche Veränderungsprozesse dadurch eingeleitet wurden. Das hat mir noch mal die Wichtigkeit praxisrelevanter Empfehlungen vor Augen geführt und v.a. welche Verantwortung man als Evaluator*in hat, wenn man Empfehlungen gibt.“
Damit ein Feedback überhaupt nützlich sein kann müssen bestimmte Voraussetzungen erfüllt sein, darunter beispielweise:
- Es sollte keine Spannungen zwischen Feedbackgeber*in und -empfänger*in vorhanden sein,
- Das Feedback sollte neue Informationen enthalten,
- Das Feedback sollte in die Tiefe gehen,
- Und natürlich muss ein gutes Feedback kritisch und konstruktiv sein.
Wenn ein Feedback nicht nützlich war, lag es den Teilnehmer*innen der Umfrage zufolge am meisten daran, dass das Feedback keine neuen Informationen enthielt, und/oder zu oberflächlich war (je 38%). Rückmeldungen wie „Das sind ja ganz schöne Ergebnisse“ oder „Danke für die gute Zusammenarbeit. Die Ergebnisse sind sehr nützlich für uns.“ geben natürlich gar keinen Anhaltspunkt, wie die eigene Arbeit verbessert werden könnte. Ähnlich oberflächlich und dazu noch unangenehm sind kritische Rückmeldungen zu einem Bericht, der offensichtlich nicht gelesen wurde – auch das kommt vor, wie ein*e Umfrageteilnehmer*in berichtet.
Zum Glück kommt es nicht allzu häufig vor, dass ein Feedback darum nicht hilfreich ist, weil es zuvor Spannungen gegeben hatte – 17% der Befragten gaben an, dass sie schon einmal in der Situation waren. Und, auch das eine gute Nachricht: Immerhin fast jede*r vierte Befragte gab an, dass das erhaltene Feedback bisher immer nützlich war.
Welche Rolle spielt der Austausch unter Kolleg*innen?
Anders als beim Feedback von Auftraggeber*innen ist der Austausch unter Kolleginnen und Kollegen bei Evaluierenden ganz eindeutig Standard: 50 der 53 Befragten gaben an, dass sie ihre Evaluationserfahrungen mit Kolleg*innen besprechen, um daraus zu lernen.
Und der Austausch unter Kolleginnen und Kollegen ist für die professionelle Weiterentwicklung aus Evaluierenden-Sicht deutlich wichtiger als ein Feedback von Auftraggeber*innen: Auf einer Skala von 1 (überhaupt nicht hilfreich) bis 5 (sehr hilfreich) haben die Teilnehmenden der Umfrage im Schnitt eine 4,5 angegeben – das ist doch einiges mehr als die 3,7 in Bezug auf das Auftraggeber*innen-Feedback.
Dabei gestalten die befragten Evaluator*innen den Austausch ganz unterschiedlich:
- Je nach Arbeitskontext findet Austausch mehr oder weniger regelmäßig statt. Evaluator*innen, die Teil eines festen Teams sind, berichten von regelmäßigem Austausch (z.B. als Jour Fix einmal pro Monat). Andere tauschen sich eher mal ad hoc aus.
- Als „Sparring-Partner*innen“ dienen nicht nur das eigene Team oder Kolleg*innen vom Fach, sondern auch Außenstehende wie etwa der Ehemann (davon kann meiner auch ein Lied singen…).
- Austausch kann zu unterschiedlichen Zeitpunkten im Evaluationsprozess stattfinden: Während des Prozesses, aber auch rückblickend nach Abschluss einer Evaluation.
- Der Austausch kann sich inhaltlich auf verschiedenste Aspekte einer Evaluation beziehen. Ein*e Evaluator*in gab an, dass er/sie nach dem Vier-Augen-Prinzip arbeitet: Kein Bericht geht raus, ohne dass eine zweite Person ihn zuvor gelesen hat. Eine andere Person berichtet, dass sie regelmäßig ihre Fragebögen von Kolleg*innen testen lässt. Und natürlich gibt es immer Austausch zu den Herausforderungen, die im Laufe einer Evaluation so auf uns zukommen.
Einige Teilnehmer*innen der Umfrage gaben an, dass sie sich noch mehr Austausch mit Kolleg*innen über ihre Evaluationen wünschen würden. Und wir alle kennen die Gründe dafür, aus denen das dann vielleicht doch zu kurz kommt: Oft fehlt es an der Zeit, und manchmal fehlt es auch an der Offenheit untereinander. Dies betrifft vor allem Solo-Selbstständige, die in einer (gefühlten) Konkurrenz-Situation miteinander stehen.
An dieser Stelle möchte ich gerne auf die Austausch-Gruppe „Evaluator*innen unter sich“ hinweisen, die für einen offenen und ehrlichen Austausch steht. In einem geschützten Raum besprechen die Mitglieder alle paar Wochen all das, was uns Evaluator*innen so bewegt. Ein Einstieg ist jederzeit möglich. Die Gruppe organisiert sich über LinkedIn und ist immer offen für neue Mitglieder, die an einem Austausch interessiert sind. Um in einen Email-Verteiler aufgenommen zu werden melden Sie sich per Email bei Susanne von Jan (s.vonjan@smep-consult.com).
Und wie lernen wir sonst noch aus unseren Evaluationen?
Evaluator*innen nutzen also gerne Feedback, und noch lieber den kollegialen Austausch, um aus ihren Evaluationen zu lernen. Die Umfrage hat aber gezeigt, dass es noch viel mehr Strategien gibt, aus der eigenen Evaluationspraxis zu lernen und sich auf diesem Wege zu professionalisieren.
- Reflektion im Kontext von Fort- und Weiterbildungen: Am besten lernen wir neue Inhalte, wenn wir diese mit eigenen Erfahrungen verknüpfen können. So können wir, um mal ein Beispiel zu nennen, besonders viel aus dem Kurs zum Thema Partizipation mitnehmen, wenn wir ganz konkret an eine vergangene Evaluation denken und diese rückblickend in Bezug auf partizipative Elemente analysieren.
- Schriftliche (Selbst-)Reflektion: Einige Evaluator*innen halten ihre Erfahrungen mit Evaluationen gerne schriftlich fest. Während des Evaluationsprozesses kann das z.B. durch ein Forschungstagebuch geschehen; nach Abschluss der Evaluation kann man ein Kurzprotokoll („Lessons Learnt“) erstellen.
- Veröffentlichungen: Eine besondere Form der (Selbst-)Reflektion ist die Veröffentlichung von Evaluierungen bzw. eine Reflektion darüber im Rahmen eines Fachartikels.
- Meta-Analyse: Und noch eine Spielart der schriftlichen Reflektion: Ein*e Teilnehmer*in der Umfrage gibt an, dass er/sie eigene Evaluationen (zusammen mit den Evaluierungen anderer) systematisch auswertet.
- Präsentation: Einige Umfrage-Teilnehmer*innen geben an, dass sie Evaluierungen präsentieren. Als Raum für Präsentationen werden Fachtagungen genannt, aber auch Lehre. Ein*e Umfrage-Teilnehmer*in schreibt dazu: „Schon bei der Vorbereitung der Präsentation lerne ich, und dann natürlich durch die Fragen und das Feedback.“ Besonders spannend finde ich in dem Zusammenhang die Beobachtung von einer Person, dass wir (natürlich) bei Tagungen in erster Linie über best practice sprechen. Mit ihren Worten wäre es interessant, „(…) auch Tagungsbeiträge zum Thema, was nicht geklappt hat, wo ich auf dem Holzweg war und was ich daraus lerne, anzuregen. Statt ‚Hochglanz-Beiträgen‘ stärker ‚grandioses Scheitern‘ oder Ähnliches. Denn daraus lässt sich auch für andere viel lernen!“ Vielleicht können wir hier irgendwann mal etwas aus der Welt der Startups lernen, in denen sich mit den beliebten „Fuck-Up-Nights“ schon lange ein Format über den Umgang mit dem Scheitern etabliert hat.
Kurz und knackig! Hier die zusammengefassten Ergebnisse der Umfrage in einer Infografik:
Die Ergebnisse der Umfrage als Infografik
Finden Sie sich in den Ergebnissen der Umfrage wieder? Fehlt hier noch was? Diskutieren Sie mit!
Pingback: Interview Jessica – PME-Campus