Überfrachtung von Evaluation

Zur Einordnung: Meine Überlegungen zum Thema „Überfrachtung“ habe ich am 20. Oktober 2020 in der Gruppe „Evaluator*innen unter sich“ präsentiert, die sich über LinkedIn organisiert. An dieser Stelle herzlichen Dank an die Teilnehmer*innen für die gute Diskussion und euer Einverständnis, dass ich darüber im PME-Blog schreiben kann.

Überfrachtete Ausschreibungen

Freiberufliche Kolleg*innen kennen das Problem. Eine Ausschreibung flattert ins Haus. Der Blick in die Terms of Reference ist zunächst vielversprechend: Spannendes Thema, tolle Organisation, die Anforderungen an Fähigkeiten und Kenntnisse passen perfekt zum eigenen Profil. Aber dann: In der Evaluation sollen 30 Fragen beantwortet werden. Oder auch 40. Oder 50. Und da es sich um ein entwicklungspolitisches Projekt handelt, müssen alle 6 Evaluationskriterien des OECD-DAC abgedeckt werden. Nur leider reicht das Budget für die Evaluation bei Weitem nicht für eine Anzahl von Gutachter*innen-Tagen, die bei einem so großen Unterfangen angemessen wären. Hand aufs Herz: Wer rauft sich da nicht die Haare?

Auch die Folgen von überfrachteten Evaluationen sind uns schmerzlich bekannt. Wenn die beauftragten externen Evaluator*innen nicht zusätzliche – selbstverständlich unbezahlte – Zeit investieren, dann wird eine überfrachtete Evaluation zwangsweise oberflächlich. Je größer die Anzahl von Fragen, desto weniger ausführlich können wir im Endbericht auf jede einzelne eingehen. Die Validität der Ergebnisse leidet also. Und natürlich bedeutet diese Oberflächlichkeit auch, dass die Ergebnisse für die Auftraggeber*innen-Seite kaum nutzbar sein werden.

Wie kommt es zu einer Überfrachtung in Evaluationen?

Um das Problem besser greifen zu können, lohnt ein Blick auf die Ursachen. Ich sehe hier drei zentrale Faktoren:

1. Viele Beteiligte = viele Fragen?

Häufig wächst die Anzahl von Fragen proportional zur Anzahl der Personen, die bei der Formulierung der ToR mitreden dürfen. Wenn also Partizipation im Planungsprozess nicht gut moderiert wird, kann das zu Überfrachtung führen.

2. Viele Fragen – vom Geldgeber gefordert?

Eine zweite Ursache von Überfrachtung ist in formalen (politischen) Vorgaben für Evaluation zu suchen. Sehr interessant ist in dem Zusammenhang ein Beispiel aus der Entwicklungszusammenarbeit, und zwar der Vergleich davon, wie unterschiedlich die österreichische ADA und das deutsche BMZ mit den OECD-DAC Evaluationskriterien umgehen. In aller Kürze: Die OECD-DAC Evaluationskriterien umfassen insgesamt sechs normative Vorgaben an entwicklungspolitische Projekte, zu deren Einhaltung sich alle Mitglieder des OECD-DAC – also auch Österreich und Deutschland – verpflichtet haben.

Die ADA empfiehlt in ihren „Guidelines for Programme and Project Evaluations“ ganz klar, dass für eine Evaluation eine Auswahl von Evaluationskriterien getroffen werden muss. Dort heißt es: „Evaluation criteria must be used and selected thoughtfully for programme and project evaluations at ADA.” (S. 9) Und: “Sometimes evaluation objectives are formulated using the OECD/DAC evaluation criteria (…). It is recommended to formulate between one and three objectives, yet there is flexibility in this number.“ (S. 15)

Und das BMZ? Im Orientierungsleitfaden für Evaluierungen des BMZ und der Durchführungsorganisationen heißt es: „Die Anwendung der fünf Kriterien Relevanz, Effektivität, Effizienz, entwicklungspolitische Wirkungen und Nachhaltigkeit ist für alle bilateralen Durchführungsorganisationen verbindlich.“ (S. 2) Damit unterscheidet sich das BMZ hier maßgeblich von der ADA. Anstatt explizit zu einer bewussten Auswahl von Evaluationskriterien aufzufordern macht das BMZ die umfassende Analyse zur Pflicht. Auch im neuen Orientierungsleitfaden, der kurz vor der Veröffentlichung steht und sich auf nunmehr sechs OECD-DAC Evaluierungskriterien bezieht, bleibt die Analyse sämtlicher Kriterien verbindlich. Im Rahmen einer Veranstaltung der DeGEval-Jahrestagung 2020 (darüber habe ich hier geschrieben) signalisierten die Referenten von DEval und BMZ immerhin, dass die Durchführungsorganisationen auf jeden Fall Kriterien ausschließen können, wenn es dafür gute Gründe gibt und diese Gründe auch überzeugend dargelegt werden. Ob diese Option es in die finale Version des Orientierungsleitfadens geschafft hat weiß ich nicht.

[Ergänzung am 7.11.2020 nach einem Leserinnen-Hinweis] Die Anwendung der sechs Evaluierungskriterien ist übrigens nur für die Durchführungsorganisationen (GIZ, KfW, PTB usw.) verpflichtend. Den nicht-staatlichen Organisationen, dem DEval und dem BMZ selbst dienen sie explizit nur zur Orientierung.

3. Viele Fragen – na und?

Nicht wenige Auftraggeber*innen haben keine richtige Vorstellung davon, welche Konsequenzen die Überfrachtung einer Evaluation für deren Nutzbarkeit hat. Häufig sind Planung, Monitoring und Evaluation für Projektreferent*innen – gerade in kleineren Organisationen – ein Aufgabenbereich unter vielen. Sie sind zwar verantwortlich für das Thema Evaluation, haben aber gar nicht die Zeit, sich ausführlich in alle Details einzuarbeiten.

Zu viele Evaluationsfragen in den ToR – was nun?

Sicherlich stimmen Sie mir zu: Eine Überfrachtung von Evaluation sollte am besten von Anfang an durch die Formulierung sparsamer Terms of Reference verhindert werden. Wenn nun aber das Kind bereits in den Brunnen gefallen ist und 50 Fragen in den ToR stehen – wie kann ich als Evaluatorin darauf reagieren?

  1. Der einfachste Weg: Ich schreibe ein Angebot, in dem ich die Beantwortung aller Fragen zusichere. Wenn mein Angebot erfolgreich ist, führe ich die Evaluation so oberflächlich durch, dass ich im Rahmen der vertraglich vereinbarten Gutachterinnen-Tage bleiben kann. Es leiden Qualität und Nutzbarkeit der Evaluation.
  2. Tatsächlich kommt es sehr oft vor, dass freiberufliche Evaluator*innen auch über die bezahlten Tage hinaus auf eigene Kosten Mehrarbeit leisten, um in die Tiefe gehen zu können. So viele Kolleg*innen arbeiten mit viel Leidenschaft und Überzeugung als Evaluator*innen und möchten ihren Auftraggeber*innen ein Lernen aus Evaluation ermöglichen. Das ist meiner Meinung nach aber ebenso wenig eine gute Lösung, denn bei aller Liebe zu unserem Berufsfeld – auch wir müssen unsere Rechnungen zahlen!
  3. Wenn eine Ausschreibung ganz offensichtlich überfrachtet ist und wir Evaluator*innen ohnehin immer mal wieder im Austausch mit der ausschreibenden Organisation stehen, kann es auch mal vorkommen, dass wir auf ein eigenes Angebot verzichten und die Gründe dafür rückmelden. Das passiert allerdings, soweit ich das überblicken kann, ziemlich selten.
  4. Schließlich gibt es die Variante, die ich persönlich bevorzuge: Ich schreibe ein Angebot zu den überfrachteten ToR und mache darin konstruktiv Vorschläge zur Zuspitzung der Evaluation. Im Folgenden skizziere ich kurz, wie das konkret aussehen kann.

Konstruktiver Umgang mit überfrachteten ToR

Der erste Schritt ist eine genaue Betrachtung der in den ToR genannten Evaluationsziele. Wofür sollen laut ToR die Ergebnisse der Evaluation genau genutzt werden? Wenn man in diesem Punkt Klarheit hat kann man eine lange Liste von Evaluationsfragen mit einem ganz anderen Blick lesen und sieht schnell, welche Fragen wirklich notwendig sind, um die eigentlichen Ziele der Evaluation zu erreichen, und welche lediglich „nice to know“.

Darüber hinaus empfehle ich eine systematische Untersuchung aller Evaluationsfragen in einer Evaluationsmatrix. Das ist eine ganz einfache Tabelle, in der zu jeder Frage ein paar Merkmale festgehalten werden. Und all diese Merkmale haben Implikationen für die Gefahr einer Überfrachtung.

  • Was ist das jeweils übergeordnete Kriterium/Thema? –> Analyse: Gibt es Kriterien oder Themen, die besonders häufig vorkommen – und solche, die nur mit wenigen Fragen abgedeckt sind? Sind manche Themen vielleicht nur der Vollständigkeit halber in den ToR, während bei anderen ein differenzierteres Erkenntnisinteresse durchscheint?
  • Was ist der Fragetyp (beschreibend, erklärend, bewertend, empfehlend)? –> Analyse: Der Fragetyp ist eine wesentliche Information, da z.B. eine erklärende Frage deutlich schwieriger zu beantworten ist als eine beschreibende Frage. Und eine bewertende oder empfehlende Frage braucht immer eine gewisse Datengrundlage, damit wir sie beantworten können – und damit diese Daten erhoben werden brauchen wir wiederum eine Reihe von Evaluationsfragen. Ich muss also schauen: Wie lassen sich die Evaluationsfragen den vier Fragetypen zuordnen? Überwiegen eher die „leichten“ Fragen, oder erfordern die Fragen besondere Anstrengungen?
  • Aus welchen Quellen kann ich Daten erheben, die eine Beantwortung der Frage ermöglichen? –> Eine Analyse der benötigten Quellen kann Muster aufdecken. Sind die Quellen immer für die Beantwortung mehrerer Fragen nutzbar? Oder gibt es auch Quellen, die nur ganz vereinzelt eine Rolle spielen?
  • Mit welchen Methoden muss ich Daten erheben, um die Evaluationsfragen beantworten zu können? –> Analyse: Ähnlich wie beim Thema Quellen kann ich hier kritisch überprüfen, ob Erhebungsmethoden breit nutzbar sind oder manche Methoden nur für die Beantwortung vereinzelter Fragen eine Rolle spielen.

Die Evaluationsmatrix als Tool zur Analyse von Überfrachtung

Ja, es ist aufwändig, bereits bei der Angebotserstellung eine Evaluationsmatrix zu erarbeiten. Ich empfehle es trotzdem, da ich nur so einen systematischen Überblick über das Wesen der Evaluationsfragen bekommen und angemessene Änderungsvorschläge formulieren kann.

Kommunikation zwischen Auftraggeber*in und Evaluator*in über überfrachtete ToR

Wenn ich durch eine Analyse mehr Klarheit darüber bekommen habe, worin genau die Überfrachtung von einem Ausschreibungstext besteht, kann ich in meinem Angebot schriftlich darauf eingehen. In manchen Fällen kann es auch möglich sein, noch vor der Abgabe eines Angebots direkt das Gespräch zu suchen. In jedem Fall sollten Evaluator*innen abklären, ob das vergaberechtlich im jeweiligen Einzelfall erlaubt ist.

Für beide Fälle – mündliche und schriftliche Kommunikation – gelten ähnliche Grundsätze:

  • Wichtig ist es immer, Verständnis für die auftraggebende Seite zu demonstrieren. Ich muss zeigen, dass ich verstanden habe, was genau die Ziele der Evaluation sind. Und selbstverständlich muss ich anerkennen, dass in den Evaluationsfragen viel Arbeit steckt und sie vermutlich ein großes Erkenntnisinteresse aller Beteiligten wiederspiegeln.
  • Die Überfrachtung sollte höflich, aber dennoch möglichst direkt angesprochen werden. Es empfiehlt sich, die Ergebnisse der eigenen Analyse von Evaluationsfragen zunächst neutral darzustellen, dann mögliche Konsequenzen aufzuzeigen und schließlich Empfehlungen abzugeben. Empfehlungen können z.B. in einer Zuspitzung oder Bündelung von Fragen bestehen, oder auch eine Priorisierung von Themen beinhalten, bei der einige Fragen besonders hervorgehoben und methodisch aufwändiger untersucht werden sollen, während für andere Fragen eine Beantwortung lediglich auf Grundlage von anekdotischer Evidenz vorgeschlagen wird.
  • Vor allem im mündlichen Gespräch kann sich herausstellen, dass Auftraggeber*innen die Überfrachtung eigentlich ganz ähnlich empfinden. In dem Fall kann es helfen, wenn Evaluator*innen noch ein paar gute Gründe für eine fokussierte Evaluation liefern und die auftraggebende Seite dadurch argumentativ gegenüber anderen Parteien wie etwa dem Geldgeber stärken. Das stärkste Argument ist sicherlich, dass Evaluationen in der Regel aus Projektmitteln finanziert werden und diese natürlich möglichst effizient eingesetzt werden sollten, d.h. mit größtmöglichem Nutzen.

Das beste Mittel gegen Überfrachtung? Wissen über Evaluation!

Es klingt so simpel, ist aber so wahr: Je mehr alle Beteiligten über Evaluation wissen, desto geringer ist die Gefahr einer Überfrachtung. Hier sind alle in der Pflicht:

  • Evaluator*innen brauchen solides wissenschaftliches Handwerkszeug, um die trade-offs von Quantität und Qualität abschätzen zu können. Darüber hinaus müssen wir es schaffen, unser Wissen angemessen und verständlich zu kommunizieren. Das ist vielleicht sogar die größte Herausforderung.
  • Auch die Auftraggeber*innen von Evaluation benötigen ein exzellentes Überblickswissen über den Evaluationsablauf. Auch wenn sie „nur“ in Auftrag geben und begleiten.
  • Schließlich sollten die Geldgeber das Thema Überfrachtung mehr in den Blick nehmen und, ähnlich wie es die ADA in Österreich tut, ihre Vorgaben an Evaluationen dementsprechend formulieren.

Wissen über Evaluation kann zu so viel mehr Nutzbarkeit von Evaluation führen. Natürlich sind unser aller Zeit und Mittel begrenzt und wir müssen sehr bewusst entscheiden, zu welchen Themen wir uns fortbilden. Aber die Grundlagen sind keine Quantenphysik, und wenn wir ohnehin evaluieren (lassen), dann gibt es an der Stelle im Zeitalter digitaler Wissensvermittlung keine guten Ausreden mehr, finde ich.

Sind Sie neu beim Thema Evaluation, oder wollen Sie Ihr Wissen auffrischen? Dann ist dieses Angebot vielleicht interessant für Sie: Am 13. Januar 2021 startet mein 12-wöchiger Online-Kurs „Gut evaluieren (lassen) – Schritt für Schritt“. Es sind noch Plätze frei.

Welche Erfahrungen haben Sie mit überfrachteten Evaluationen gemacht? Erzählen Sie doch mal!

1 Kommentar

Trackbacks & Pingbacks

  1. […] gehe hier nicht weiter auf das Thema ein, weil ich mich zu Evaluationsfragen hier und hier schon ausführlich geäußert […]

Diskutieren Sie mit!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.