Wirkung messen: Die Evaluationsphase in Hochschulkooperationen

Future Lab: Kooperationsgovernance – Diskussionspapier 5

Future Lab Kooperationsgovernance (Cover)
  • Evaluationen haben in Kooperationsvorhaben nicht nur eine wichtige Rechenschaftsfunktion, sondern bieten auch für die Qualitätssicherung und Steuerung laufender Projekte vielfältige Potenziale.
  • Verfahren, Ziele und Leistungskriterien von Evaluationen sollten bereits mit Start des Kooperationsvorhabens vereinbart werden. Damit werden zentrale Schritte der Kooperationsphase in früheren Phasen umgesetzt.
  • Die Steuerung und Organisation von Kooperationen sollte regelmäßig reflektiert und als Teil der Evaluation betrachtet werden.
  • Aufbauend auf Mission und Zielen können Wirkungsmodelle überfachlich-strategisch orientierten Kooperationen wichtige Impulse für die Planung, Steuerung und Analyse der Vorhaben bieten.

 
Idealtypisch durchlaufen Kooperationen in ihrem Lebenszyklus vier Phasen:
Orientierung, Konfiguration, Umsetzung und Evaluation. Das Ergebnis der Orientierungsphase stellt einen Konsens aller Beteiligten zu Zielen, Vorgehensweisen, Ressourcen auf Basis einer gemeinsam getragenen Vision bzw. Mission dar. In der Konfigurationsphase sollte eine Organisations- und Rechtsform aufgesetzt oder modifiziert werden, welche das Erreichen der Zielsetzung und die Erfüllung des Leistungsversprechens effizient ermöglicht. Die Umsetzungsphase wiederum ist geprägt durch die Leistungserbringung im Rahmen des geschaffenen Ordnungsrahmens. Dabei gilt es für das Kooperationsmanagement komplexen und dynamischen Akteurskonstellationen, oft hohem Ergebnisdruck oder rechtlichen Erfordernissen des Leistungsaustauschs gerecht zu werden. Elemente des agilen Projektmanagements können sich dabei als Erfolgsfaktoren einer guten Governance herausstellen.

Dieses im Juli 2020 veröffentlichte Papier wirft einen Blick auf zentrale Schritte innerhalb der vierten Verlaufsphase von Kooperationen – der Evaluationsphase. Wie können die Erfüllung von Erwartungen und das Erreichen von Zielen erfasst und beurteilt werden? Welche Funktion haben Evaluationsergebnisse für die Kooperationspartner? Wie können Fehlentwicklungen frühzeitig erkannt und gegengesteuert werden? Die Empfehlungen fokussieren insbesondere auf den Zeitpunkt von Evaluationen, ihre Einbettung in Wirkungsmodelle sowie ihre Ausgestaltung.

Hintergrund für die hier dargelegten Ausführungen und Empfehlungen sind Erkenntnisse aus dem Future Lab: Kooperationsgovernance des Stifterverbandes. Mit der Reihe soll für typische Herausforderungen sensibilisiert, die Bedeutung eines professionellen Kooperationsmanagements verdeutlicht und praktische Hilfestellung gegeben werden.

 

Empfehlungen für die Evaluationsphase

Evaluationen bereits in der Konfigurationsphase anlegen

  • Kooperationspartner und Mittelgeber sollten sich am Projektanfang über die Evaluationsziele und Instrumente verständigen, sonst drohen zu einem späteren Zeitpunkt Konflikte im Kooperationsvorhaben. Hierzu gehört auch die Benennung von Konsequenzen, die aus Evaluationen erwachsen können.
  • Beteiligte und Betroffene sollten aufbauend auf den vereinbarten Evaluationszielen frühzeitig verbindliche Parameter zur Messung erreichter Leistungen und der Erfassung dieser Parameter festlegen. Zur Erarbeitung eignen sich partizipative Workshop-Formate, bei der etwaige Vorgaben und Denkweisen von Mittelgebern oder Kontrollorganen und die Eignung vereinbarter Parameter bewusst mitgedacht werden. Der gesamte Prozess sollte anschließend kommuniziert und somit transparent gemacht werden. Er beinhaltet auch die Zeitpunkte der Evaluation und etwaiger Zwischenevaluationen sowie die Klärung der Durchführung (intern, extern, critical friends, Beiräte etc.).
  • Kooperationspartner sollten klare policies vereinbaren, etwa zu Koautorschaften, Autorenreihung, zur Nennung der Affiliationen bei Autorschaften oder zu intellectual property rights (auch im Hinblick auf Patentanmeldungen). Derartige Regelungen zu quantifizierbaren Leistungen verhindern Konflikte, erleichtern das benchmarking mit vergleichbaren Organisationen und ermöglichen ein Monitoring der wichtigsten Leistungs- und Prozessdimensionen.

Aufbauend auf Vision und Kooperationszielen eigene Wirkungsmodelle aufsetzen

Gerade für überfachlich-strategisch orientierte Kooperationen, welche auf eine bestimmte (gesellschaftliche) Wirkung abzielen, kann es bereits in der Orientierungs- oder Konfigurationsphase sinnvoll sein, Wirkungsmodelle wie die Theory of Change zu nutzen. Denn Wirkungsmodelle können gleichermaßen in der Planung, Steuerung und Analyse von Kooperationsvorhaben einen Mehrwert bieten.

Als Planungsinstrument werden ausgehend von einer Mission beziehungsweise der angestrebten Wirkung, die benötigten Ressourcen und die geplanten Maßnahmen in eine logische, systematische Beziehung zueinander gesetzt. Solche Wirkungslogiken erleichtern es, Vorhaben auf ihre Machbarkeit zu überprüfen und sind zugleich Grundlage für die Entwicklung von Kennzahlen zur fortlaufenden Überprüfung von (Wirkungs-)Zielen.

  • Kooperationspartner sollten sich bereits in der Konfigurationsphase auf ein Wirkungsmodell verständigen. Das Wirkungsmodell sollte auf der in der Orientierungsphase formulierten Vision beziehungsweise Mission aufsetzen.
  • Verbundleitungen sollten regelmäßig prüfen, wie die eigenen Maßnahmen angenommen werden und welche Effekte aus ihnen resultieren. Ein solches Monitoring kann als Bestandteil eines regelmäßigen Reportings alle Beteiligten bei der Anpassung von Maßnahmen oder auch Ressourcen unterstützen.

Neben messbaren auch beschreibbare Leistungskennzahlen vereinbaren

Abhängig von den Kooperationszielen kann es sich ergeben, dass sich bestimmte Wirkungen nicht in Form von Indikatoren messen oder sich einzelne Kausalbeziehungen nicht abbilden lassen. Die Beteiligten sollten daher neben quantitativen Leistungskennzahlen auch alternative Ansätze wie Storytelling oder qualitative Dokumentenanalysen von Gesetzen, Leitlinien etc. in Erwägung ziehen.

  • Politik und Fördermittelgeber sollten bei Vorhaben, die auf gesellschaftlichen Impact abzielen, längere Evaluationszyklen in Betracht ziehen, da sich gesellschaftliche Wirkungen häufig nicht mit Projektabschluss zeigen. Zudem ist die Zuordnung zu einzelnen Programmen in diesen Fällen ohnehin kaum möglich. Als Instrument bieten sich hier Impact Stories an.

Governance als Teil der Evaluation sehen und regelmäßig reflektieren

Kooperationspartner und Verbundleitungen sollten im Idealfall regelmäßig die Governance im Verbund sowie die Zufriedenheit der Beteiligten mit dem Kooperationsvorhaben evaluieren. Hierzu eignen sich regelmäßige Governace-Meetings oder Retrospektiven sowie Befragungen.

Aufwand und Nutzen von Evaluation berücksichtigen und ausreichend Ressourcen bereitstellen

  • Kooperationspartner und Mittelgeber sollen ein angemessenes und effizientes Verfahren wählen, bei dem der Aufwand für die Evaluation in einem angemessenen Verhältnis zum Nutzen der Evaluation steht.
  • Die Beteiligten sollten ihre jeweiligen Rechte und Pflichten an der Evaluation festlegen und kommunizieren. Zudem sollten sie ausreichende finanzielle und personelle Ressourcen – gegebenenfalls auch nach Abschluss des Kooperationsvorhabens – bereitstellen.

Learnings zusammentragen und in der Organisation verbreiten

  • Beteiligte sollten die Ergebnisse der Evaluation und dazugehörige Dokumentationen allen Betroffenen möglichst umfänglich zugänglich machen.
  • Kooperationspartner sollten reflektieren, ob die angestrebten Ziele jeweils erreicht wurden und die erzielten Mehrwerte die Transaktionskosten rechtfertigen. Die Bewertung kann zu einer Neuausrichtung des Verhältnisses der Partner beziehungsweise zu einer Anpassung von Zielen und Maßnahmen führen.
  • Verbundleitungen sollten Evaluationen zum Anlass für die Entwicklung einer positiven Feedback- und Fehlerkultur nehmen.
  • Kooperationspartner sollten die Ergebnisse des Kooperationsvorhabens in geeigneter Weise in die Gesellschaft transferieren. Hierzu können nach Abschluss des Vorhabens auch Überlegungen zu Ausgründungen und Gründungen gehören.

Nur weil etwas schriftlich existiert, wird es noch lange nicht gelebt.

Teilnehmer des Future Labs

Autoren
Nick Wagner (Stifterverband)
Stefan Hornbostel (Deutsches Zentrum für Hochschul- und Wissenschaftsforschung)

Herausgeber
Stifterverband für die Deutsche Wissenschaft

Diskussionspapiere

Ziel der Papiere ist es, Orientierung für die Organisation und Gestaltung von Kooperationen zu geben, um häufige Problemlagen vermeiden zu können. Die Ausführungen und Empfehlungen basieren auf Erkenntnissen aus dem Future Lab: Kooperationsgovernance des Stifterverbandes.

Future Lab Kooperationsgovernance (Cover)

Im ersten Diskussionspapier nimmt das Future Lab die Herausforderungen bei der Organisation und Gestaltung kooperativer Wissenschaft unter die Lupe: Hochschulen arbeiten auf vielfältige Weise mit Partnern zusammen – in agilen Netzwerken, komplexen Verbundstrukturen und hochschulübergreifenden Einrichtungen.
Mehr Info & Download

Smart starten (Cover)

Im zweiten Diskussionspapier stellt das Future Lab ein Vier-Phasen-Modell für Hochschulkooperationen vor: Sie unterliegen einer Art Lebenszyklus, den das Wissenschaftsmanagement mittels spezifischer Schritte und Instrumente gestaltet und begleitet.
Mehr Info & Download

Clever konfigurieren (Cover)

Das dritte Diskussionspapier wirft einen Blick auf die wichtigen Schritte innerhalb der zweiten Verlaufsphase von Kooperationen – der Konfigurationsphase. Dabei geht es konkret um die Entscheidung für einen rechtlichen Ordnungsrahmen, für grundlegende Organisationsprinzipien und zentrale Prozesse.
Mehr Info & Download

Zusammenarbeit agil und kollaborativ gestalten (Cover)

Das vierte Diskussionspapier betrachtet die Umsetzungsphase in Kooperationen. Die Empfehlungen fokussieren insbesondere auf agiles wissenschaftliches Projektmanagement, die kooperationsadäquate Zusammenstellung von Teams und die effiziente Durchführung von Besprechungen in heterogenen Partnerstrukturen.
Mehr Info & Download

FutureLab (Logo)

Mit dem Future Lab bringt der Stifterverband Vertreter aus Hochschulen und Partnereinrichtungen mit Governance-Experten zusammen und erarbeitet Lösungen für Governance-Herausforderungen. Begleitet wird das Future Lab durch das vom Bundesministerium für Bildung und Forschung (BMBF) geförderte Integrationsprojekt "Determinanten und Effekte von Kooperationen in homogenen und heterogenen Forschungsverbünden" des Deutschen Zentrums für Hochschul- und Wissenschaftsforschung, der Universität Düsseldorf und des Stifterverbandes.