GUTE EVALUATIONSFRAGEN

Evaluationsfragen sind der Kern einer jeden Evaluation. Wenn sie klug gewählt sind, liefern sie am Ende die nötige Evidenz, um die richtigen operativen und strategischen Entscheidungen zu treffen. Wenn Evaluationsfragen hingegen vernachlässigt werden, kommt im schlechtesten Fall am Ende einer Evaluierung ganz viel Material zusammen, das zwar schön illustriert, aber ansonsten keine Relevanz für die Auftraggeber hat. Mit anderen Worten: Evaluationsfragen machen zwar für sich noch keine gute Evaluation, aber ohne sie haben wir von Anfang an so gut wie verloren.

Dabei ist es keine Quantenphysik, die richtigen Fragen zu stellen. In diesem Blogpost stelle ich drei zentrale Fragen vor, mit denen Sie sich beschäftigen sollten, bevor Sie Ihre Evaluationsfragen auswählen:

Warum findet die Evaluation statt?
Wie soll evaluiert werden?
Wer stellt die Fragen?

Bevor ich auf jeden dieser drei Punkte eingehe noch mal kurz vorweg ein paar Grundlagen:

Was sind eigentlich Evaluationsfragen, und wie müssen sie formuliert sein?

Evaluationsfragen sind die Forschungsfragen, die einer Evaluation den Fokus geben. Sie zielen auf einzelne Aspekte einer Maßnahme und – mindestens genauso wichtig! – blenden andere Aspekte aus. So kann sichergestellt werden, dass eine Evaluation sich auch wirklich mit den Dingen beschäftigt, die für anstehende Entscheidungen relevant sind.

Für die Formulierung von Evaluationsfragen gilt das gleiche wie für die Formulierung von Indikatoren: Sie müssen SMART sein. Was heißt das?

Specific: Evaluationsfragen sollen spezifisch sein. Je breiter eine Evaluationsfrage gefasst ist, desto breiter werden auch die Ergebnisse sein. Wir können also über ganz viele Dinge ein bisschen erfahren, was wir aber wahrscheinlich doch längst schon wissen – oder wir gehen bei den wirklich relevanten Themen in die Tiefe. Gezielte Tröpfchenbewässerung direkt an der Wurzel vs. Gießkanne.
Measurable: Evaluationsfragen sollen beantwortbar sein. Anders ausgedrückt muss es Daten und Analyseverfahren geben, die die Beantwortung der Frage prinzipiell möglich machen.
Achievable: Evaluationsfragen sollen realistisch gestellt sein. Hier gilt es, die bisher gemachten praktischen Erfahrungen mit einer Maßnahme und ihrem jeweiligen Kontext zu berücksichtigen und kritisch zu hinterfragen, ob die dahinter stehenden Annahmen plausibel sind.
Relevant: Evaluationsfragen sollen relevant sein – für die beteiligten Akteure und für die Zielgruppen der Maßnahme. Oft bedeutet das, dass die Ziele einer Maßnahme sich in den Evaluationsfragen wiederspiegeln.
Time-Bound: Evaluationsfragen müssen zeit-gebunden sein. Abhängig vom Zeitpunkt der Evaluierung (ex-ante, mid-term oder ex-post) können unterschiedliche Fragen im Vordergrund stehen.

Nun aber zum Kern:

Drei zentrale Fragen, mit denen Sie sich befassen sollten, bevor Sie Ihre Evaluationsfragen auswählen können.

1. Warum findet die Evaluation statt?

Die Entscheidung, dass eine Maßnahme evaluiert werden soll, fällt meist schon in der Planungsphase. Schließlich muss die Evaluation bei kofinanzierten Vorhaben schon bei der Antragstellung im Budget berücksichtigt werden. Für viele Organisationen ist externe Evaluation heutzutage Standard, wenn bestimmte formale Kriterien erfüllt sind (z.B. wenn ein bestimmtes Projektvolumen überschritten wird oder wenn eine Maßnahme bereits eine bestimmte Anzahl an Projektzyklen durchlaufen hat).

Wenn nun die Zeit gekommen ist und die Evaluation konkret geplant wird stehen die Auftraggeber*innen vor der großen Aufgabe, die formale Entscheidung für eine Evaluation auch inhaltlich zu füllen. Denn Evaluation sollte nicht die Erfüllung einer lästigen Pflicht sein, sondern einen Nutzen bringen, der nicht zuletzt auch den Zielgruppen dient.

Hier können die drei klassischen Evaluationsziele Orientierung geben:

Eine Evaluation kann Legitimation anstreben. Ganz klassisch ist damit Rechenschaftslegung gegenüber Geldgeber*innen gemeint. Legitimation kann aber durchaus auch als Rechenschaft gegenüber Partnern und Zielgruppen verstanden werden.
Unser aller Lieblingsziel: Evaluation bedeutet Lernen. Es ist eine extrem hilfreiche Übung, die Lernziele in der Planungsphase einer Evaluation genauer zu definieren. Welche strategischen Entscheidungen stehen an, für die die Evaluation Daten liefern soll? Welche operativen Entscheidungen hängen von den Evaluationsergebnissen ab? Wer sind die Zielgruppen des Lernens?
Manchmal ist auch Kontrolle ein Ziel von Evaluation. In diesem Zusammenhang ist darunter oft ein einfacher Realitätsabgleich zu verstehen. Passiert in der Maßnahme auch wirklich das, was wir geplant haben? Wenn es Abweichungen gibt – wie sind diese zu erklären?

Für alle drei Arten von Evaluationszielen gilt: Es wird sich auszahlen, wenn Sie in der Planungsphase der Evaluation über mögliche Konsequenzen der Ergebnisse reflektieren. Welche Reaktionen erwarten Sie von den Adressat*innen der Evaluation? Wie werden die Ergebnisse in operative und strategische Entscheidungen einfließen?

Je mehr Klarheit Sie über die Ziele der Evaluation und ihre möglichen Konsequenzen hast, desto fokussierter können Ihre Evaluationsfragen formuliert werden. Desto nützlicher kann die Evaluation am Ende sein.

2. Wie soll evaluiert werden?

Entwicklungspolitische Organisationen unterscheiden sich sehr stark darin, wie eng ihre Vorgaben zu Evaluationsdesigns sind. Das eine Extrem sind Organisationen, die sehr genaue Vorstellungen von Ansätzen und Methoden haben, und diese entsprechend detailliert an die externen Evaluator*innen weitergeben. Das andere Extrem sind die Organisationen, die große Zurückhaltung üben und den beauftragten Gutachter*innen weitestgehend die Kompetenz zur Ausarbeitung eines Designs übertragen.

Die meisten Organisationen bewegen sich aus guten Gründen irgendwo zwischen diesen beiden Polen. Denn jede Organisation hat bereits ihre Erfahrungen mit Evaluation gesammelt und kennt Methoden und Ansätze, die in der Vergangenheit erfolgreich erprobt wurden und zur Organisationskultur passen. Gleichzeitig bringen alle externen Evaluator*innen wertvolle neue Perspektiven mit ein und haben idealerweise auch Erfahrungen damit, welche Ansätze in bestimmten Situationen gut passen, und welche nicht.

Es gibt eine gewisse Schnittmenge zwischen allen möglichen Evaluationsdesigns und allen möglichen Evaluationsfragen – aber nicht alle Designs können alle Fragen beantworten und vice versa. Wenn eine Organisation eine rigorose kausale Zuordnung von Veränderungen zu ihren Maßnahmen braucht und sich deshalb für einen quasi-experimentellen Ansatz entscheidet werden die wichtigsten Evaluationsfragen ob- und wieviel-Fragen sein. Welche Wirkungen hat unsere Maßnahme erzielt? Welchen Beitrag hatte unsere Maßnahme an den beobachteten positiven Veränderungen bei der Zielgruppe? Wie stark konnten unsere Zielgruppen von der Maßnahme profitieren?

In eine ganz andere Richtung gehen die Evaluationsfragen, wenn von Anfang an feststeht, dass nicht-experimentelle Ansätze gewählt werden. Deren Stärke liegt nämlich nicht in der Beantwortung der Ob- und Wieviel-Fragen, sondern im Ergründen des Wie und Warum. Wie hat eine Maßnahme gewirkt? Welche Wirkungsmechanismen liegen den beobachteten Veränderungen zugrunde?

3. Wer stellt die Fragen?

Die Auswahl der richtigen Fragen ist für den Erfolg einer Evaluation eine notwendige Voraussetzung. Und damit ist auch klar: Wir müssen uns ganz genau anschauen, wer die Fragen eigentlich stellt – und wer nicht. Die Spannbreite ist hier enorm. Es gibt Konstellationen, in denen eine Vielzahl heterogener Stakeholder ihre Fragen unterbringen will; ebenso gibt es einfach strukturierte Maßnahmen, bei denen im Wesentlichen nur zwei Organisationen miteinander kooperieren.

Wenn Organisationen einen großen Wert auf Partizipation legen ist es ratsam, Partner und evtl. auch Zielgruppen bereits in der Designphase am Evaluationsprozess zu beteiligen. Dies kann über eine einfache Abfrage erfolgen, sollte jedoch immer auch ein bisschen gesteuert werden, vor allem was die Anzahl der Fragen angeht (dazu kommen wir gleich!). Seid ihr mit unserer Auswahl der Fragen einverstanden? Gibt es etwas, was euch darüber hinaus noch interessiert? Was sind eure drei wichtigsten Fragen an das Evaluator*innen-Team?

Nachdem ich hier einige Anregungen gegeben habe, die die Qualität von Evaluationsfragen betreffen, möchte ich abschließend noch kurz die quantitative Seite der Medaille betrachten.

Ganz wichtig: Wieviele Fragen können in einer Evaluation beantwortet werden?

Für mich ist das eigentlich die Frage aller Fragen. Und ich habe hier eine starke Meinung. In einer Meta-Analyse von Evaluierungsberichten, die ich im Rahmen meiner Promotion durchführe, habe ich unter anderem auch Evaluationsfragen gezählt und dabei herausgefunden, dass viele Evaluierungen 30 Fragen und mehr behandeln. Das ist definitiv viel zu viel. Wir können das ja mal durchrechnen. Wenn man von 50 Seiten reinem Text ausgeht werden bestimmt 15 Seiten mit Executive Summary, Einleitung, Evaluationsgegenstand und Methodologie gefüllt. Es bleiben 35 Seiten. Das ist pro Frage eine gute Seite Text, in dem die entsprechenden Ergebnisse präsentiert, Schlussfolgerungen abgeleitet und Empfehlungen ausgesprochen werden müssen. Wie intensiv kann sich eine Evaluatorin wohl mit jeder Frage auseinandersetzen, wenn sie 30 auf ihrer Liste stehen hat? Wie viele Quellen können pro Frage berücksichtigt werden, wie nachvollziehbar kann die Analyse durchgeführt und dargestellt werden?

In der Wissenschaft ist es durchaus üblich, selbst bei großen Forschungsvorhaben wie etwa einer Promotion eine zentrale Frage zu stellen, die sich vielleicht in eine handvoll Unterfragen aufteilen lässt. Auch für Hausarbeiten wird empfohlen, sich ein klares Thema zu setzen und eine Frage in den Mittelpunkt zu stellen, damit die Arbeit einen roten Faden bekommen kann. Warum halten wir uns in Evaluationen nicht an das, was wir z.B. aus dem Studium wissen? Eine Erkärung dafür ist, dass in einer Evaluierung häufig sehr viele Interessen bedient werden wollen, die alle legitim sind.

Wenn Sie einen Evaluationsprozess koordinieren haben Sie einen gewissen Spielraum, regulierend auf die Anzahl der gestellten Fragen einzuwirken. Sicherlich ist es nicht möglich und auch nicht sinnvoll, wie in der Wissenschaft nur eine Frage pro Evaluation zu stellen. Aber Sie sollten doch im Hinterkopf behalten, dass eine höhere Anzahl von Evaluationsfragen sich zwangsläufig auf die Qualität der Antworten auswirken wird. Hier gilt es letztlich, eine angemessene Balance zu finden.

Wenn Sie als Auftragnehmer*in am Anfang einer Evaluation stehen, können Sie Ihre Auftraggeber*innen in Bezug auf die Anzahl von Fragen beraten. Gemeinsam können Sie die oben genannten Fragen diskutieren und kritisch prüfen, welche Evaluationsfragen wirklich wichtig sind, und welche dann noch irgendwie mit reingerutscht sind („das wäre doch auch mal interessant!“). Vielen Auftraggeber*innen ist nicht so richtig klar, wie sich eine große Anzahl an Fragen auf die Qualität der Evaluation auswirkt.

Welche Erfahrungen haben Sie mit Evaluationen gemacht, bei denen besonders viele (oder besonders wenige) Fragen gestellt wurden? Erzählen Sie gerne von Ihren Erfahrungen in den Kommentaren.