Was Evaluator*innen können und wissen sollten

Der Begriff Evaluator*in ist nicht geschützt. Wer sich so nennen möchte, darf sich so nennen – und zwar zunächst einmal völlig unabhängig von Ausbildungen, Abschlüssen und Zertifikaten. Es gibt also keinen verbindlichen Katalog von Kenntnissen und Fähigkeiten für Evaluator*innen. Und wer als Evaluator*in erfolgreich sein möchte, muss darum nicht einen ganz bestimmten Bildungs- und/oder Karriereweg gehen. Viele Wege führen nach Rom.

…aus Sicht der Praxis

Wer als Evaluator*in erfolgreich sein möchte, tut gut daran, sich zunächst an der Nachfrage zu orientieren. In jeder neuen Bewerbungssituation – sei es bei der Erstellung eines Angebots, sei es bei einer Bewerbung für eine Position in einer organisationsinternen Evaluationseinheit – müssen Evaluator*innen bestimmte Anforderungen erfüllen, die die Praxis an sie heranträgt. Das sind z.B. Studienabschlüsse im sozialwissenschaftlichen Bereich, Aus- und Fortbildungen mit Evaluationsbezug, Evaluationserfahrung und Publikationen zu Evaluationsthemen. Diese Anforderungen haben natürlich ihre Berechtigung. Sie sind das Ergebnis von Jahre- und Jahrzehntelanger Zusammenarbeit mit Evaluator*innen auf Auftraggebender Seite und dienen aus Mangel an Alternativen als Indikatoren für die Kompetenz und Glaubwürdigkeit von Evaluator*innen. Gleichzeitig bleiben sie doch oft an der Oberfläche des professionellen Selbstverständnisses der Evaluation.

…und wie ist das professionelle Selbstverständnis von Evaluator*innen?

Anforderungen an Evaluator*innen aus der Praxis bilden das professionelle Selbstverständnis des Berufsfelds nur unzureichend ab. Eine deutlich präzisere Darstellung bieten die Empfehlungen für Aus- und Weiterbildung in der Evaluation der DeGEval. Sie führen auf 40 Seiten aus, was Evaluator*innen alles können und wissen sollten, um professionell evaluieren zu können. Die Empfehlungen wurden 2004 erstmals veröffentlicht und stehen hier zum Download bereit:

https://www.degeval.org/publikationen/aus-und-weiterbildung/

Die Empfehlungen der DeGEval verfolgen zwei Ziele:

  1. „Sie sollen definieren, welche Kenntnisse und Kompetenzen im Sinne eines grundlegenden Anforderungsprofils für die Tätigkeit als Evaluatorin oder Evaluator notwendig sind und entsprechend in ein Programm zur Aus- und Weiterbildung aufgenommen werden sollten.

  2. Sie sollen dazu beitragen, auf Seiten der Auftraggeber im Bereich der Evaluation, aber auch bei den Evaluatorinnen und Evaluatoren selbst Sicherheit über die zu erwartenden Kompetenzen zu erlangen.“

(DeGEval 2004: S. 8, Hervorhebungen von mir)

Ich bin ehrlich: Viele Jahre lang habe ich die Empfehlungen tatsächlich nur im Sinne des ersten Ziels wahrgenommen – als Hinweise zur Curriculumsentwicklung für Anbieter*innen von Aus- und Weiterbildung rund um die Evaluation.

Interessanter finde ich heute aber das zweite Ziel: Die Empfehlungen sollen als Referenz dienen, um Wissen und Kenntnisse von Evaluator*innen beurteilen zu können. Sie richten sich also auch an alle Evaluator*innen und laden dazu ein, die eigene, ganz persönliche Professionalisierung selbstkritisch zu betrachten.

4+1 Kompetenzfelder von Evaluator*innen

Die DeGEval-Empfehlungen beschreiben, auf Grundlage der Standards für Evaluation, vier Kompetenzfelder:

  1. Theorie und Geschichte der Evaluation: Evaluator*innen sollten über ein grundlegendes Wissen über zentrale Begriffe und Konzepte der Evaluation verfügen. Hierzu zählen vor allem theoretische und methodologische Ansätze/Paradigmen und die Evaluationsstandards. Auch der Überblick über die Entwicklung der Evaluation als eigenständiges Berufsfeld gehört dazu.
  2. Methodenkompetenzen: Evaluator*innen sollten nicht nur Methoden der empirischen Sozialforschung kennen und anwenden können, sondern auch ein „Grundwissen in der Projektführung“ vorweisen können. Letzteres umfasst Methoden der Zeit- und Durchführungsplanung und -kontrolle, sowie die Planung und Kontrolle von Evaluationskosten. Projektmanagement eben.
  3. Organisations- und Feldkenntnisse: Evaluator*innen sollten als Berater*innen von Organisationen über gutes Organisationswissen verfügen: Wie können Organisationen definiert werden, welche Grenzen und welche Handlungsräume können darin identifiziert werden; und wie laufen Reorganisationsprozesse in Organisationen ab? Darüber hinaus sollten Evaluator*innen, den Empfehlungen folgend, ein gewisses Rechts- und Verwaltungswissen vorweisen können sowie spezifische Kenntnisse einzelner Anwendungsfelder.
  4. Sozial- und Selbstkompetenzen: Persönlichkeit, Werthaltungen und Einstellungen von Evaluator*innen sind ein wichtiger Faktor für die Nützlichkeit/Nutzbarkeit von Evaluation. Dementsprechend legen die Empfehlungen nahe, dass sich Evaluator*innen in den fünf Bereichen soziale Kompetenz, kommunikative Kompetenz, Kooperationskompetenz, Selbstmanagementkompetenz sowie Lern- und Problemlösekompetenz aus- und weiterbilden.

Nun wird es interessant. Neben den vier Kompetenzfeldern gibt es noch das „+1“: Die „Praxis der Evaluation“. Darunter verstehen die Empfehlungen der DeGEval „die Erlangung von Kompetenzen im Rahmen von Praktika als Form der systematischen Einführung in Evaluationsfelder und -aufgaben“. Dass die Praxis an dieser Stelle so prominent als eigener Punkt aufgeführt wird, zeigt: Evaluation kann nicht rein theoretisch gelernt werden. In den Worten der DeGEval zeichnet sich Evaluation vielmehr dadurch aus, dass „in der Praxis die Gleichzeitigkeit unterschiedlicher Kompetenzen abverlangt wird“ (S. 26).

Die Empfehlungen machen noch nähere Angaben zum erstrebenswerten Umfang von Praktika, zur Qualität der Ausbilder*innen und zu den verschiedenen Phasen einer Evaluation, die während eines Praktikums abgedeckt werden sollten. Da Praktika notwendigerweise zeitlich begrenzt sein müssen, so heißt es, sei „eine Beteiligung der Praktikantinnen und Praktikanten an unterschiedlichen Evaluationen in unterschiedlichen Phasen zu präferieren“ (S. 27).

Was fehlt in und an den Empfehlungen?

In ihrer Ausführlichkeit sind die Empfehlungen der DeGEval eine beeindruckende Sammlung von Wissen und Kompetenzen, über die professionelle Evaluator*innen verfügen sollten. Dennoch möchte ich ein paar Punkte anmerken:

  • Im Bereich der Methodenkompetenzen fehlt ein wichtiger Aspekt. Evaluator*innen arbeiten in der Regel entweder freiberuflich als Solo-Selbstständige oder in Konsortien, oder sie sind angestellt bei einer Evaluations-Agentur. In allen Fällen stehen sie in Konkurrenz zu anderen Evaluator*innen und müssen sich in dieser Wettbewerbssituation behaupten. Dazu sind betriebswirtschaftliche Kenntnisse und Fähigkeiten, z.B. die Positionierung am Markt, unerlässlich. Dieser Punkt ist umso wichtiger, als dass so viele Evaluator*innen einen akademischen, meist sozialwissenschaftlichen Hintergrund haben, in dem entrepreneurship quasi nicht vorkommt.
  • Die Nennung der Praxis als eigener Punkt zeigt, wie wichtig dieser Aspekt den Autor*innen der Empfehlungen war. Schauen wir uns jedoch im Feld der Evaluation um, gibt es kaum Beispiele von Praktikumsangeboten, wie sie hier vorgeschlagen werden. Praktika in organisationsinternen Evaluationseinheiten mögen vorkommen, auch gibt es wenige Evaluationsagenturen, die Praktika ermöglichen. Ansonsten sehe ich jedoch keine Möglichkeiten für junge Evaluator*innen, sich im Rahmen von Praktika an der Durchführung von Evaluationen zu beteiligen. Dies ist natürlich kein Mangel der Empfehlungen; vielmehr die Beobachtung dessen, dass das Berufsfeld diese zentrale Voraussetzung für nachhaltige Professionalisierung nicht erfüllen kann.
  • Wie eingangs beschrieben trägt die Praxis bestimmte Anforderungen an Evaluator*innen heran – diese bleiben jedoch oft an der Oberfläche unseres professionellen Selbstverständnisses. Somit fehlt hier an entscheidender Stelle ein Anreiz, die Empfehlungen ernst zu nehmen. Es ist aber auch klar, dass sich die Anforderungen an Evaluator*innen aus der Praxis heraus kaum erhöhen werden, solange diese ohnehin aufgrund von mangelnden Aus- und Weiterbildungsmöglichkeiten ohnehin nicht erfüllt werden könnten. Da beißt sich die Katze in den Schwanz.

Fazit: Schauen Sie mal in die Empfehlungen für Aus- und Weiterbildung!

Die Empfehlungen der DeGEval sind eine wertvolle Ressource für die Bewertung der eigenen Kenntnisse und Fähigkeiten, mithilfe derer wir z.B. persönliche Weiterbildungsthemen identifizieren können. Auch geben sie einen guten Überblick über das professionelle Selbstverständnis des Berufsfelds Evaluation. Bevor dieses Selbstverständnis jedoch auch von Außenstehenden übernommen werden kann müssen wir noch viel leisten – ganz individuell, aber auch im Bereich der Institutionen, vor allem bei der Ermöglichung von Praktika.

Was meinen Sie zu den Empfehlungen für Aus- und Weiterbildung? Ein guter Blog braucht gute Kommentare – ich freue mich über Ihre Gedanken zu diesem Thema!

Sind Sie neu beim Thema Evaluation, oder wollen Sie Ihr Wissen auffrischen? Dann ist dieses Angebot vielleicht interessant für Sie: Am 8. April 2021 startet mein 12-wöchiger Online-Kurs „Gut evaluieren (lassen) – Schritt für Schritt“. Es sind noch Plätze frei. Hier gibts weitere Informationen:

2 Kommentare
  1. Sandra Schopper
    Sandra Schopper sagte:

    Liebe Evelyn,

    vielen Dank für deinen Blogbeitrag zu den Empfehlungen! Er zeigt, wie wichtig und aktuell die Empfehlungen hinsichtlich der Curriculumbildung im Rahmen der Aus- und Weiterbildung sind. Gleichzeitig dienen sie aber auch (wie du richtig angemerkt hast), als gute Übersicht zu den Anforderungsprofilen von Evaluierenden. Diese Anforderungsprofile wandeln sich, weshalb derzeit eine Adhoc-Gruppe der DeGEval die Empfehlungen einer Revision unterziehen. Aktuelle Kompetenzen, die im Bereich der Evaluation relevant sind sowie evaluationsspezifische Kompetenzen sollen in den aktualisierten Empfehlungen berücksichtigt werden.
    Danke auch für deinen Hinweis auf die Bedeutung der Praxis im Rahmen einer Evaluationsausbildung! Als langjährige Koordinatorin des Masterstudiengangs Evaluation in Saarbrücken weiß ich um die Schwierigkeit, geeignete Praktikumsplätze zu finden. Gleichzeitig kann ich aber die von dir beschriebene Bedeutung eines Praktikums als Einstieg in die praktische Evaluationstätigkeit unterstreichen. Hierbei ist es meiner Beobachtung nach besonders von Vorteil, wenn Praktikant*innen die Möglichkeit haben, ihre theoretisch erlernten Kenntnisse im Rahmen eines von Evaluationsexpert*innen betreuten Praktikums in die Praxis umsetzen zu können. Diese Art der Betreuung kann oft leider eher von größeren Evaluierungseinheiten geleistet werden. Dennoch können auch kleinere Evaluationsnagenturen von Praktikant*innen profitieren.

    In Saarbrücken wird derzeit an einem Folgemodell des Masterstudiengangs Evaluation gearbeitet, welches (hoffentlich) im Jahr 2022 starten wird. Da es sich bei der Evaluation um eine angewandte Sozialwissenschaft handelt, soll auch Im Rahmen dieses Weiterbildungsangebots die Praxis eine sehr große Rolle spielen. Ziel ist es, mit diesem Angebot einen akademischen Beitrag zur nachhaltigen Professionalisierung (in) der Evaluation zu leisten.

    Sandra Schopper
    Studiengangskoordination „Master of Evaluation“, Saarbrücken

    Antworten
    • Evelyn Funk
      Evelyn Funk sagte:

      Hallo liebe Sandra, danke dir für deinen Kommentar!
      Die Adhoc-Gruppe hatte ich noch gar nicht wahrgenommen, aber ja – da findet sich ein Hinweis: https://www.degeval.org/arbeitskreise/ad-hoc-gruppen/ Sobald die Revision veröffentlicht ist stell ich sie auch gerne noch mal hier im Blog vor.
      Was die Praktika angeht finde ich die Frage auch sehr spannend, wie „young and emerging evaluators“ mehr an konkreten Evaluationsprojekten beteiligt werden könnten. Wie du schon schreibst, gibt es da vielleicht vereinzelt Evaluationsagenturen, die das ermöglichen können, aber es ist und bleibt schwierig. Vielleicht können wir dazu ja mal gemeinsam einen Blogbeitrag machen? 🙂
      Liebe Grüße nach Saarbrücken,
      Evelyn

      Antworten

Diskutieren Sie mit!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.