MEINE TAKE-AWAYS VON DER DEGEVAL-JAHRESTAGUNG 2020

Die DeGEval-Jahrestagung fand in diesem Jahr erstmals als Online-Tagung statt. Das Setting war ungewohnt und brachte einige Herausforderungen mit sich, aber auch Positives: Ich hätte in diesem Jahr wahrscheinlich nicht nach Linz reisen können. Virtuell teilzunehmen war für mich die einzige Chance auf neuen fachlichen Input und den wie immer sehr wertvollen Austausch mit Kolleg*innen mit unterschiedlichsten Hintergründen.

Das diesjährige Thema „Kommunikation – Verständigung und Sprache in der Evaluation“ finde ich extrem relevant. Egal, ob Lernen oder Rechenschaftslegung im Mittelpunkt stehen – der Erfolg einer Evaluation steht und fällt meiner Erfahrung nach mit der Kommunikation.

Ich habe von der Tagung einige interessante Informationen, Ideen und Anregungen mitgenommen, die ich gerne hier mit Ihnen teilen möchte.

1. In der Entwicklungszusammenarbeit evaluieren wir ab sofort 6 OECD-DAC-Kriterien – oder auch weniger, wenn’s denn unbedingt sein muss…

Die OECD-DAC Kriterien und ihre Überarbeitung

Bei diesem Punkt muss ich ein kleines bisschen ausholen: In entwicklungspolitischen Evaluationen spielen die Evaluationskriterien des OECD-DAC eine wichtige Rolle, sowohl im deutschsprachigen Raum als auch international. Die Kriterien sind ein normatives Abbild davon, wie die Gemeinschaft der OECD-Länder und ihre Partner Entwicklungszusammenarbeit gestalten wollen. Fast jede EZ-Evaluation behandelt Fragen, die sich an den Kriterien orientieren – nur in begründeten Ausnahmen werden Kriterien ausgeklammert. Nun gab es ja 2019 einen Reformprozess, und die ehemals fünf Kriterien (Relevanz, Effizienz, Effektivität, Nachhaltigkeit, Impact) wurden um ein sechstes ergänzt: Kohärenz. Kohärenz bezieht sich auf den Kontext einer Intervention, sowohl lokal (Region) als auch institutionell (andere Akteure). Kohärenz fragt danach, wie gut eine Intervention in diesen Kontext passt. Es geht dabei um Synergien und förderliche/hinderliche Bedingungen, die sich aus dem Kontext ergeben.

Der Orientierungsleitfaden des BMZ

Das BMZ hat nun in Zusammenarbeit mit dem DEval und unter Einbeziehung von anderen deutschen Organisationen einen Orientierungsleitfaden (OL) zu den OECD-DAC Kriterien erarbeitet, der kurz vor seiner Veröffentlichung steht. So wie bisher gilt verbindlich, dass in entwicklungspolitischen Evaluationen alle sechs Kriterien in den Blick genommen werden sollen. Es gibt natürlich weiterhin die Möglichkeit, Schwerpunkte zu setzen und die Kriterien durch die entsprechende Formulierung von Evaluationsfragen anzupassen und auf den jeweiligen Fall zuzuspitzen. Die Mitglieder des AK Entwicklungspolitik/Humanitäre Hilfe diskutierten kritisch, welche Vor- und Nachteile daraus entstehen, dass alle sechs Kriterien als verbindlich angesehen werden. Dabei signalisierten die Referenten von DEval und BMZ, dass nicht-staatliche Durchführungsorganisationen auf jeden Fall Kriterien ausschließen können, wenn es dafür gute Gründe gibt und diese Gründe auch überzeugend dargelegt werden. Ich bin gespannt, ob diese Option es in die finale Version des OL schafft.

Ein kurzer Nachtrag vom 25.09.2020: Der OL wurde am 3. September von der zuständigen Arbeitsgruppe im BMZ verabschiedet und wird, sobald das Layout fertiggestellt ist, auf der Webseite des BMZ veröffentlicht. Erarbeitet wurde der OL von der GIZ, KfW, PTB und BGR, unterstützt durch das DEval und unter Leitung des BMZ. Darüber hinaus wurden verschiedenste EZ-Evaluierungseinheiten von NRO und politischen Stiftungen sowie einzelne Gutachter*innen, der AK EPol/HuHi der DeGEval, VENRO usw. konsultiert… ein ziemlich aufwändiger Prozess!

Können wir immer alle sechs Kriterien evaluieren?

Meine persönliche Meinung dazu ist:

Dem inhaltlichen Anspruch, ein entwicklungspolitisches Vorhaben in Bezug auf sechs Aspekte zu untersuchen, die jedes für sich genommen sehr komplex sind, kann eine „real life“ Evaluation in der Regel nicht ohne Qualitätseinbußen nachkommen.

Auf gut deutsch: Die durchschnittliche externe Evaluation mit vielleicht 20 Gutachter*innen-Tagen kann eine wissenschaftlich fundierte Beantwortung von Evaluationsfragen, die alle sechs Kriterien abbilden, in der Regel nicht leisten. Je mehr Kriterien und Fragen berücksichtigt werden müssen, desto oberflächlicher (und dadurch weniger nutzbar) werden die Ergebnisse zwangsläufig. Umso wichtiger, dass das BMZ hier ganz klare Signale sendet, dass der Ausschluss von Kriterien z.B. zugunsten der Qualität einer Evaluation möglich ist und bleibt. Und umso wichtiger, dass wir Evaluator*innen unsere Auftraggeber*innen ganz klar dahingehend beraten, wie Kriterien und Fragen in einer Evaluation begrenzt und zugespitzt werden können.

Nur am Rande: Der Begriff der „Zielgruppe“

Ein interessantes Detail im Zusammenhang mit dem OL, das auch wunderbar zum Thema der Jahrestagung passt und mit dem ich mich bisher nicht auseinander gesetzt hatte, betrifft das Wörtchen „Zielgruppe“. Die Verfasser*innen des OL verzichten explizit auf den Begriff, den sie als zu einseitig beschreiben. Es scheint dazu tatsächlich auch innerhalb des OECD-DAC eine Diskussion zu geben, in die ich allerdings nicht involviert bin und zu der ich auch keine Quellen finden konnte. „Zielgruppe“ suggeriert, dass eine Maßnahme einen klaren Ursprung (die Geber-Seite) und einen klaren Endpunkt (die Nehmer-Seite) hat. Somit wird sie unserem Anspruch, EZ als Zusammenarbeit zwischen gleichberechtigten Partnern zu denken und zu leben, nicht gerecht. Als alternativer Begriff wurde unter anderem „Beteiligte“ genannt.

2. Wir sind weiterhin gezwungen, „remote“ zu evaluieren und zu tagen – machen wir das Beste draus!

Möglichkeit des Austauschs zum Thema „remote Evaluation“

Das Thema „remote Evaluation“ hatte vor dem Ausbruch der Corona-Pandemie kaum jemand auf dem Schirm. Als wir unseren Alltag und unsere Arbeit alle von heute auf morgen ganz neu denken mussten, hat sich im Rahmen der DeGEval eine Arbeitsgruppe „Remote“ zusammengefunden, die sich genau damit beschäftigt. Dort werden hilfreiche Tools geteilt und es gibt die Möglichkeit, sich in einem geschützten Raum auszutauschen und von den vielseitigen Erfahrungen zu profitieren, die die Mitglieder der AG mitbringen. Wer sich der AG anschließen und in den Verteiler aufgenommen werden möchte kann mich gerne kontaktieren; ich leite Anfragen weiter!

Meine persönlichen Herausforderungen mit dem online-Format der Jahrestagung

Die DeGEval ist mit ihrer Entscheidung, die Jahrestagung online abzuhalten, ein Risiko eingegangen. Für mich als Teilnehmerin war die Tagung ein Erfolg, aber ich hatte auch mit einigen Herausforderungen zu kämpfen:

Ich weiß, dass es Vielen so geht: die Gefahr der Ablenkung ist bei virtuellen Veranstaltungen deutlich größer als „in real life“. Während der Vortrag läuft, kann man mal kurz die Mails checken, was nachschauen, und sich einen Kaffee machen (fürs Catering ist ja jede*r selbst verantwortlich). Auf das sehr komplexe Thema Ablenkung kann ich hier nicht weiter eingehen, möchte aber das total spannende „indistractable“ von Nir Eyal dazu empfehlen. Was mir jetzt ganz konkret bei der Jahrestagung gegen Ablenkung geholfen hat:
- Mein Handy in einen anderen Raum legen und lautlos stellen.
- Für jegliche Recherchen im Internet und den kurzen Blick in Outlook habe ich mir eine Regel gemacht: „Nicht jetzt, sondern in 10 Minuten.“ Wenn die 10 Minuten um waren war ich meist wieder voll im Thema und hatte gar nicht mehr den Impuls, mich ablenken zu lassen.
- Für die „social accountability“ habe ich meine Webcam in den meisten Sessions eingeschaltet. Bei mir hilft das ziemlich gut; außerdem finde ich es höflicher, wenn die Vortragenden ihre Zuhörer*innen sehen können. Was eigentlich selbstverständlich sein sollte hat sich allerdings leider noch lange nicht durchgesetzt – in einigen Sessions haben sich zeitweise bis zu 2/3 aller Teilnehmenden optisch ausgeklinkt. Da gibt es also noch viel Luft nach oben.
Informeller Austausch. Für mich war das in den vergangenen Jahren immer das, was Konferenzen und Tagungen über die Inhalte hinaus so wertvoll gemacht hat. Gerade die Teilnehmer*innen der DeGEval-Veranstaltungen haben die unterschiedlichsten Hintergründe; hier kommen Auftraggeber*innen, Evaluator*innen und Evaluationsforscher*innen aus ganz verschiedenen Sektoren in Deutschland, Österreich und der Schweiz zusammen. Die zufälligen Begegnungen und der Austausch mit Menschen aus ganz anderen Bereichen hat meine Praxis immer ungemein bereichert. Virtuell ist so etwas kaum nachzubilden, aber was gut war:
- Die DeGEval hat virtuelle Pausenräume geschaffen, denen jeweils 3-4 Personen zufällig (oder nach Wunsch) zugeteilt wurden. Ich habe diese Pausenräume gerne genutzt und hatte ein paar tolle Gespräche. Ob die Resonanz insgesamt gut war, kann ich nicht beurteilen, aber für mich hat es wunderbar funktioniert.
- Das Netzwerken auf anderen Kanälen lief flüssiger als bei nicht-virtuellen Veranstaltungen: Da wir ohnehin alle vorm Rechner saßen, war die Kontakt-Anfrage bei LinkedIn oder Xing schnell gestellt.

**3. Eine gute Kommunikation in der Evaluation ist extrem wichtig und extrem aufwändig – in erster Linie für uns Evaluator*innen.**

In ihrer Keynote am Donnerstag führte Monika Taddicken, Professorin für Kommunikationswissenschaft an der TU Braunschweig, die „Lasswell-Formel“ ein, die die wesentlichen Aspekte von Kommunikation umreißt:

WER sagt WAS über WELCHEN KANAL zu WEM mit WELCHER WIRKUNG?

Ich greife diese Formel hier auf und nutze sie als Struktur für meine folgenden Take-Aways zum Tagungsthema…

WER?

Beim Thema Kommunikation sehe ich im Moment in erster Linie uns Evaluator*innen in der Pflicht. Wir überblicken den gesamten Evaluationsprozess und tragen am Ende einen Großteil der Verantwortung dafür, ob die Kommunikation rundherum gelingt oder nicht. Ganz konkret bedeutet das unter anderem:

Evaluierende müssen zu Beginn einer Evaluierung alle Informationen einholen, die sie für eine erfolgreiche Kommunikation brauchen.
Evaluierende müssen sich die Zeit nehmen und die Details einer Kommunikationsstrategie (s.u.) genau mit der Auftraggeber*innen-Seite abstimmen (egal, ob diese Strategie z.B. im Inception Report verschriftlicht wird oder nicht).
Evaluierende müssen ihre Grenzen in Bezug auf Kommunikation kennen und klar kommunizieren. Zum Beispiel sind die meisten von uns keine Grafik-Designer*innen und keine Journalist*innen. Wenn entsprechende Kenntnisse und Fähigkeiten im Zusammenhang mit einer Evaluation gebraucht werden, sollten wir darauf hinweisen und die jeweiligen Fachmenschen hinzuziehen.
Wir müssen ehrlich mit uns selbst sein und ganz sensibel darauf achten, ob die Abhängigkeit von einem Auftraggeber eine offene und kritische Kommunikation über Herausforderungen einschränkt.

WAS (und WIE)?

In der Evaluation sind wir ja bestens damit vertraut, dass Qualität ein subjektiver Begriff ist. Je nach Gegenstand, nach Standpunkt, Kontext und nach Beteiligten können unsere Erwartungen an und Bewertungen von Qualität stark variieren. Dieses Phänomen ist unter dem Begriff „Theory of Subjective Quality Assessment“ erforscht (z.B. Wolling 2004; Wolling 2009; Maier et al. 2016; Milde and Barkela 2016). Monika Taddicken hat in ihrer Keynote Qualitätskriterien von Wissenschaftskommunikation vorgestellt, die sicherlich zu einem gewissen Teil auch auf die Kommunikation von Evaluationsergebnissen übertragbar sind (Wicke and Taddicken 2020; Taddicken, Wicke und Willems 2020). Demnach wird Wissenschaftskommunikation als qualitativ hochwertig empfunden, wenn…

Komplexe Themen verständlich dargestellt sind,
Prozesse und Methoden erklärt werden,
Unsicherheiten und Widersprüche von wissenschaftlichen Ergebnissen thematisiert werden,
Die Vielfalt von Perspektiven dargestellt wird,
Die Alltagsrelevanz wissenschaftlicher Fragen hervorgehoben wird, und
Wenn auch Neuigkeits- und Unterhaltungswert berücksichtigt werden.

Einige dieser Aspekte spiegeln sich in den Evaluationsstandards der DeGEval, aber sie gehen doch weit darüber hinaus. Ich denke, für die meisten Evaluator*innen gibt es hier noch viel Neues und Lohnenswertes zu lernen.

Wie können wir besser visualisieren?

Ein etwas technischerer Aspekt des „wie“ ist das Thema Visualisierungen. In einer sehr spannenden Präsentation zum Thema Visualisierung von qualitativen Daten haben Hannah Pütz und Elitsa Uzunova von Univation unter anderem ein paar Grundprinzipien von Visualisierungen genannt:

Visualisierungen können der Exploration von Daten dienen (z.B. um einen Evaluationsgegenstand kennenzulernen), aber ebenso auch der Erklärung und Kommunikation von Daten (z.B. um Methoden oder Strukturen zu beschreiben)
Grundsätzlich kommen für Visualisierungen drei Formate in Frage: Zeichnungen, Fotos und Grafiken. Mein persönlicher Eindruck ist, dass wir im Evaluationskontext v.a. Grafiken nutzen, während Fotos und Zeichnungen in ihrem Aussagepotential eher unterschätzt werden.
Ein wichtiges Element von Visualisierungen sind Farben und Formen. Hier kann man sich zunutze machen, dass wir auf bestimmte Signale intuitiv reagieren (Ampelfarben, hell vs. dunkel, grau für weniger wichtige Elemente usw.).
Ebenso können wir mit einem Blick die Bedeutung von Größe und Nähe von Elementen erfassen. In Visualisierungen kann dies genutzt werden, um Wichtigkeiten und Verbindungen darzustellen.
Als Varianten zur Visualisierung qualitativer Daten nannten Hannah und Elitsa noch Zitate, Timeslines, Wortwolken, Mind Concepts/Maps sowie Heatmaps/Farbschattierungen, Infografiken, Foto-Stories…

Wer sich mehr mit dem Thema Visualisierungen befassen möchte kann sich hier Inspiration holen:

https://prezi.com/view/TkC0z6Y860qgfM5bxRiF/ (Die Präsentation von Hannah und Elitsa!)
https://blog.duncangeere.com/sketchbook-pages-2/
https://depictdatastudio.com/how-to-visualize-qualitative-data/
https://lydiahooper.com/blog/visualizing-qualitative-data
https://aea365.org/blog/category/data-visualization-and-reporting/
https://stephanieevergreen.com/qualitative-chart-chooser/

(Über welchen) KANAL?

Im Themenbereich „Kommunikationskanal“ gab es einige Diskussionen rund um den guten alten Evaluationsbericht und andere Evaluationsprodukte. Es wurde deutlich: Den „one size fits all“ Bericht gibt es nicht. Idealerweise sollten die verschiedenen Adressaten einer Evaluation auch mit verschiedenen Produkten angesprochen werden, die sich inhaltlich und in ihrer Form sicherlich voneinander unterscheiden werden. Hier müssen die Evaluierenden, wie oben schon erwähnt, selbstkritisch sein und gegebenenfalls auch die Kommunikation in andere Hände (z.B. Journalismus oder Grafik-Design) abgeben.

Sehr wichtig finde ich in diesem Kontext auch, dass der Evaluationsprozess selbst und die Kommunikation während einer laufenden Evaluierung einen wichtigen Kanal darstellen. Gerade wenn es um die Kommunikation von negativen Ergebnissen, Fehlern und Herausforderungen geht, sollte man nicht zu lange warten. Je früher die betroffenen Stakeholder in die Analyse dieser Aspekte eingebunden werden, desto eher können sie diese Ergebnisse auch annehmen und daraus Lernprozesse ableiten. Dies gilt in besonderem Maße für die Entwicklungszusammenarbeit, wie in einer Session diskutiert wurde: Obwohl die EZ per se ein „Risikogeschäft“ ist, gibt es nach wie vor wenig Akzeptanz für negative Ergebnisse.

Zu WEM?

Wie oben bereits mehrfach angeklungen ist: Wir richten uns im Bereich PME an eine Vielzahl von Adressat*innen: Geldgeber, Öffentlichkeit, Partnerorganisationen, Projektmitarbeiter*innen… Wichtig ist, dass diese Adressat*innen als „aktives Publikum“ zu verstehen sind, das Inhalte ähnlich wie bei der Rezeption von anderen Medien bedürfnisorientiert und zielgerichtet aussucht (vgl. dazu Taddicken und Wicke 2020). Diese verschiedenen Bedürfnisse und Ziele der Adressat*innen von Evaluation müssen wir im Blick halten.

Mit welcher WIRKUNG?

An vielen Stellen klang während der Jahrestagung an, dass Evaluierungen ihre Wirkungen nicht erst nach Abgabe des Berichts entfalten, sondern auch während des Prozesses. „Process use“ hat MQ Patton definiert als

“individual changes in thinking and behaviour and program or organizational changes in procedures and culture that occur among those involved in evaluation as a result of the learning that occurs during the evaluation process” (Patton 1997, p. 90).

Vor allem die Kommunikation negativer Ergebnisse kann nicht früh genug während des Prozesses erfolgen.

Ein neues Arbeitsinstrument? Die Evaluations-Kommunikationsstrategie

Viele von den Aspekten, die ich bis hierhin genannt habe, können im Rahmen einer Evaluierung in einer Kommunikationsstrategie festgehalten werden. Ich sehe eine solche Strategie als ein internes Arbeitsdokument, das wir Evaluator*innen während der Planungsphase erstellen sollten. Je nach Umfang der Evaluierung insgesamt könnte die Kommunikationsstrategie auch mit den Auftraggeber*innen abgestimmt und als Teil des Inception Reports verschriftlicht werden. Das Thema hab ich mir ganz oben auf meine Liste für künftige Blogposts gesetzt und werde dann von hier aus dorthin verlinken.

Das waren in aller Kürze (puh!) meine Take-Aways der Tagung. Was würden Sie noch ergänzen?