Werkzeuge zur Selbstevaluation

Hintergrund und Zielsetzung: Evaluationsprozesse können oft energie- und zeitintensiv sein. Die erste Projektphase hat gezeigt, dass komplexe Instrumente und Indikatorensets zum Monitoring auf der Makro-Ebene auf Widerstand stoßen. Vielmehr bedarf es Instrumente, die die Mitarbeitenden der Wirtschaftsförderung befähigen, über die Projektlaufzeit hinaus die eigenen Aktivitäten und Projekte zu reflektieren, zu evaluieren und gegebenenfalls anzupassen. Ein solcher Prozess verlangt zugleich ein kontinuierliches Wissensmanagement und einen Wissensaustausch (siehe Kapitel 4). Vor diesem Hintergrund hat das Institut Arbeit und Technik in der zweiten Projektphase ein Werkzeugkasten konkret für die Bedürfnisse der Wirtschaftsförderung erarbeitet und mit den Mitarbeitenden im Amt pilotiert.

Durchführung: Als Ausgangspunkt dienten bekannte Werkzeuge aus der Organisations- und Innovationsentwicklung, die um weitere Werkzeuge der Gruppenmoderation angereichert wurden. Jedes Werkzeug wurde mit einem Arbeitsblatt und einer Methodenbeschreibung ausgestattet, die an die Bedarfe der Wirtschaftsförderung angepasst wurden. Der Werkzeugkasten umfasst 22 Werkzeuge in drei Themenfeldern/Bereichen:


	Werkzeuge	Anwendungsziel
Themen & Schnittstellen identifizieren	Problem definieren Herausforderungen überprüfen Stärken-Schwächen-Analyse Reflexion Ist-Soll-Zustand Protokolle Ergebnisse von Ideen- & Projektentwicklung bzw. Evaluation und Monitoring	Wissensmanagement Strategieentwicklung
Ideen & Projekte entwickeln	Pinnwandkarten Mindmap Ideenkarte Ideenauswahl Projekt- & Netzwerk-Canvas Storytelling Zielgruppe Wertversprechen Maßnahmensteckbrief Ressourcen Assessment Motivations-Matrix Stakeholder-Karte	aktive und kreative Arbeit in Gruppen Brainstorming Priorisierung Entwicklung von Projekten und Maßnahmen (Stakeholdermonitoring)
Evaluation & Monitoring	Datenerhebungsplan Reflexionsbogen Wirklogik Nachhaltigkeitscheck Ressourcen Assessment Motivations-Matrix Stakeholder-Karte	Planung und Anpassung von Strategien für den Standort Evaluation von ganzen Themen, einzelnen Projekte oder konkreten Maßnahmen Begleitendes Messen und Dokumentation von Fortschritten, (Miss-)Erfolgen und Ergebnissen


	Werkzeuge
Themen & Schnittstellen identifizieren	Problem definieren Herausforderungen überprüfen Stärken-Schwächen-Analyse Reflexion Ist-Soll-Zustand Protokolle Ergebnisse von Ideen- & Projektentwicklung bzw. Evaluation und Monitoring
Ideen & Projekte entwickeln	Pinnwandkarten Mindmap Ideenkarte Ideenauswahl Projekt- & Netzwerk-Canvas Storytelling Zielgruppe Wertversprechen Maßnahmensteckbrief Ressourcen Assessment Motivations-Matrix Stakeholder-Karte
Evaluation & Monitoring	Datenerhebungsplan Reflexionsbogen Wirklogik Nachhaltigkeitscheck Ressourcen Assessment Motivations-Matrix Stakeholder-Karte
	Anwendungsziel
Themen & Schnittstellen identifizieren	Wissensmanagement Strategieentwicklung
Ideen & Projekte entwickeln	aktive und kreative Arbeit in Gruppen Brainstorming Priorisierung Entwicklung von Projekten und Maßnahmen (Stakeholdermonitoring)
Evaluation & Monitoring	Planung und Anpassung von Strategien für den Standort Evaluation von ganzen Themen, einzelnen Projekte oder konkreten Maßnahmen Begleitendes Messen und Dokumentation von Fortschritten, (Miss-)Erfolgen und Ergebnissen

Pilotierung: In der Projektlaufzeit wurde der Werkzeugkasten den Mitarbeitenden des Amtes für Wirtschaftsförderung und Standortmanagement vorgestellt und gemeinsam ausprobiert. Angewandt wurden die Gruppenwerkzeuge (siehe Kapitel 4) und die Werkzeuge zur Evaluation & zum Monitoring (siehe unten). Die Durchführung zeigt, dass Selbstevaluation zwar möglich ist, jedoch ein Wissensmanagement und die Kenntnis der Werkzeuge voraussetzt. Die Werkzeuge für Evaluation und Monitoring z.B. sollten bereits von Beginn an, in der Planungsphase der entsprechenden Maßnahmen und Projekte, eingesetzt werden. Da die meisten Maßnahmen und Projekte innerhalb der Reallabore eine Laufzeit von mindestens einem Jahr haben, ist es wichtig, kontinuierlich den Fortschritt zu dokumentieren, damit keine wichtigen Informationen verloren gehen. Diese Dokumentation war bei den Reallaboren zwar vorhanden, aber in Abhängigkeit von dem/der Durchführenden in sehr unterschiedlicher Form (ausführlicher Bericht, Mindmaps, Veranstaltungsprotokolle etc.). Eine Vereinheitlichung der Form der Dokumentation mittels Steckbrief war daher zu Beginn der Evaluation erforderlich. Zudem ist eine Evaluation im Team (mindestens 2 Personen) empfehlenswert, da die wichtigen Punkte im Gespräch schneller und klarer formuliert werden können. Die Methodenbeschreibung der Werkzeuge kann hilfreich sein, dennoch war für die Evaluation der Reallabore eine intensive Moderation seitens des IAT notwendig. Insbesondere vor dem Hintergrund, dass die Instrumente vorher nicht bekannt waren und zum ersten Mal zum Einsatz kamen.

Tabelle 4: Werkzeuge für Evaluation und Monitoring
Werkzeug	Vorteile	Voraussetzungen	Umsetzung in Bottrop
Maßnahmensteckbrief	Gut geeignet für Wissensmanagement Auf wenig Platz das Wichtigste über ein Projekt oder eine Maßnahme zusammenfassen Einheitliche Dokumentation durch formularähnliche Struktur	Als lebendes Dokument verstehen Sukzessive ausfüllen	Zum Abschluss der Reallabore ausgefüllt, dadurch zeitintensiv In verkürzte Form bestehende Informationen zusammenfassen und auf andere Dokumenten bzw. Quellen verweisen
Reflexionsbogen	»leichtes« Werkzeug durch vorformulierte Fragen Schnell auszufüllen	Endevaluation soll im Team zusammen mit der Leitung durchgeführt werden, um strategische Schlüsse zu ziehen	Zum Schluss der Reallabore Beantwortung der vordefinierten Fragen Endevaluation auf einem gemeinsamen Workshop mit der Beteiligung aller Projektpartnern
Wirklogik	Ausführlicher Arbeitsblatt zur Selbstmoderation Ermöglicht einen Vergleich zwischen vorformulierte Outputs, Outcomes und Wirkungen mit den tatsächlich erreichten	Am Anfang ausfüllen Am Ende –vergleichen Fokus nicht verlieren und Querdenken ermöglichen Moderation durch eine nicht inhaltlich involvierte Person
Datenerhebungsplan	Nützlich, um Messstrategien festzulegen Eignet sich zur Planung von Projekten und Maßnahmen Unterstützt bei der Evaluation	Sich gedanklich von den vorhandenen Daten und bekannten Methoden loslösen und an mögliche zusätzliche Aktivitäten zur Messung denken	Zum Schluss der Reallabore durchgeführt Schwierigkeiten alternative Messmethoden zu formulieren (z.B. Feedback-Umfragen)
Nachhaltigkeitscheck	Auf einem Blick das Gleichgewicht zwischen ökonomische, ökologische und soziale Wirkung zeigen Gleich für unterschiedlich große Vorhaben anzuwenden (Wirtschaftsförderung allgemein, einzelne Reallabore oder Maßnahmen)	Wirkungslogik als Grundlage nutzen Qualitative Schätzung abgeben	Für jedes Reallabor auf Basis der Wirklogik Im gemeinsamen Workshop zur Abbildung der Wirkung des Amts für Wirtschaftsförderung und Standortmanagement

Tabelle 4: Werkzeuge für Evaluation und Monitoring
Werkzeug	Vorteile
Maßnahmensteckbrief	Gut geeignet für Wissensmanagement Auf wenig Platz das Wichtigste über ein Projekt oder eine Maßnahme zusammenfassen Einheitliche Dokumentation durch formularähnliche Struktur
Reflexionsbogen	»leichtes« Werkzeug durch vorformulierte Fragen Schnell auszufüllen
Wirklogik	Ausführlicher Arbeitsblatt zur Selbstmoderation Ermöglicht einen Vergleich zwischen vorformulierte Outputs, Outcomes und Wirkungen mit den tatsächlich erreichten
Datenerhebungsplan	Nützlich, um Messstrategien festzulegen Eignet sich zur Planung von Projekten und Maßnahmen Unterstützt bei der Evaluation
Nachhaltigkeitscheck	Auf einem Blick das Gleichgewicht zwischen ökonomische, ökologische und soziale Wirkung zeigen Gleich für unterschiedlich große Vorhaben anzuwenden (Wirtschaftsförderung allgemein, einzelne Reallabore oder Maßnahmen)
Werkzeug	Voraussetzungen
Maßnahmensteckbrief	Als lebendes Dokument verstehen Sukzessive ausfüllen
Reflexionsbogen	Endevaluation soll im Team zusammen mit der Leitung durchgeführt werden, um strategische Schlüsse zu ziehen
Wirklogik	Am Anfang ausfüllen Am Ende –vergleichen Fokus nicht verlieren und Querdenken ermöglichen Moderation durch eine nicht inhaltlich involvierte Person
Datenerhebungsplan	Sich gedanklich von den vorhandenen Daten und bekannten Methoden loslösen und an mögliche zusätzliche Aktivitäten zur Messung denken
Nachhaltigkeitscheck	Wirkungslogik als Grundlage nutzen Qualitative Schätzung abgeben
Werkzeug	Umsetzung in Bottrop
Maßnahmensteckbrief	Zum Abschluss der Reallabore ausgefüllt, dadurch zeitintensiv In verkürzte Form bestehende Informationen zusammenfassen und auf andere Dokumenten bzw. Quellen verweisen
Reflexionsbogen	Zum Schluss der Reallabore Beantwortung der vordefinierten Fragen Endevaluation auf einem gemeinsamen Workshop mit der Beteiligung aller Projektpartnern
Wirklogik
Datenerhebungsplan	Zum Schluss der Reallabore durchgeführt Schwierigkeiten alternative Messmethoden zu formulieren (z.B. Feedback-Umfragen)
Nachhaltigkeitscheck	Für jedes Reallabor auf Basis der Wirklogik Im gemeinsamen Workshop zur Abbildung der Wirkung des Amts für Wirtschaftsförderung und Standortmanagement

Zukunftsperspektive: Der Werkzeugkasten hat sich als handhabbar erwiesen und soll über die Projektlaufzeit hinaus im Amt zum Einsatz kommen.

Zum Weiterlesen:

Rabadjieva, M. & Terstriep, J. (2022): Werkzeugkasten für die partizipative Wirtschaftsförderung. Handreichung Instrumente. Ergebnis des Projekts »Bottrop2018+ - Auf dem Weg zu einer nachhaltigen und resilienten Wirtschaftsstruktur - Verstetigung der partizipativen Governance«. FONA, Berlin: Bundesministerium für Bildung und Forschung.