Werkzeuge zur Selbstevaluation

Hintergrund und Zielsetzung: Evaluationsprozesse können oft energie- und zeitintensiv sein. Die erste Projektphase hat gezeigt, dass komplexe Instrumente und Indikatorensets zum Monitoring auf der Makro-Ebene auf Widerstand stoßen. Vielmehr bedarf es Instrumente, die die Mitarbeitenden der Wirtschaftsförderung befähigen, über die Projektlaufzeit hinaus die eigenen Aktivitäten und Projekte zu reflektieren, zu evaluieren und gegebenenfalls anzupassen. Ein solcher Prozess verlangt zugleich ein kontinuierliches Wissensmanagement und einen Wissensaustausch (siehe Kapitel 4). Vor diesem Hintergrund hat das Institut Arbeit und Technik in der zweiten Projektphase ein Werkzeugkasten konkret für die Bedürfnisse der Wirtschaftsförderung erarbeitet und mit den Mitarbeitenden im Amt pilotiert.

Durchführung: Als Ausgangspunkt dienten bekannte Werkzeuge aus der Organisations- und Innovationsentwicklung, die um weitere Werkzeuge der Gruppenmoderation angereichert wurden. Jedes Werkzeug wurde mit einem Arbeitsblatt und einer Methodenbeschreibung ausgestattet, die an die Bedarfe der Wirtschaftsförderung angepasst wurden. Der Werkzeugkasten umfasst 22 Werkzeuge in drei Themenfeldern/Bereichen:

WerkzeugeAnwendungsziel
Themen & Schnittstellen identifizieren
  • Problem definieren
  • Herausforderungen überprüfen
  • Stärken-Schwächen-Analyse
  • Reflexion
  • Ist-Soll-Zustand
  • Protokolle Ergebnisse von Ideen- & Projektentwicklung bzw. Evaluation und Monitoring
  • Wissensmanagement 
  • Strategieentwicklung
Ideen & Projekte entwickeln
  • Pinnwandkarten
  • Mindmap
  • Ideenkarte
  • Ideenauswahl
  • Projekt- & Netzwerk-Canvas
  • Storytelling
  • Zielgruppe
  • Wertversprechen
  • Maßnahmensteckbrief
  • Ressourcen Assessment
  • Motivations-Matrix Stakeholder-Karte
  • aktive und kreative Arbeit in Gruppen
  • Brainstorming
  • Priorisierung
  • Entwicklung von Projekten und Maßnahmen (Stakeholdermonitoring)

Evaluation & Monitoring
  • Datenerhebungsplan
  • Reflexionsbogen
  • Wirklogik
  • Nachhaltigkeitscheck
  • Ressourcen Assessment
  • Motivations-Matrix Stakeholder-Karte

  • Planung und Anpassung von Strategien für den Standort
  • Evaluation von ganzen Themen, einzelnen Projekte oder konkreten Maßnahmen Begleitendes Messen und Dokumentation von Fortschritten, (Miss-)Erfolgen und Ergebnissen

Werkzeuge
Themen & Schnittstellen identifizieren
  • Problem definieren
  • Herausforderungen überprüfen
  • Stärken-Schwächen-Analyse
  • Reflexion
  • Ist-Soll-Zustand
  • Protokolle Ergebnisse von Ideen- & Projektentwicklung bzw. Evaluation und Monitoring
Ideen & Projekte entwickeln
  • Pinnwandkarten
  • Mindmap
  • Ideenkarte
  • Ideenauswahl
  • Projekt- & Netzwerk-Canvas
  • Storytelling
  • Zielgruppe
  • Wertversprechen
  • Maßnahmensteckbrief
  • Ressourcen Assessment
  • Motivations-Matrix Stakeholder-Karte
Evaluation & Monitoring
  • Datenerhebungsplan
  • Reflexionsbogen
  • Wirklogik
  • Nachhaltigkeitscheck
  • Ressourcen Assessment
  • Motivations-Matrix Stakeholder-Karte

Anwendungsziel
Themen & Schnittstellen identifizieren
  • Wissensmanagement 
  • Strategieentwicklung
Ideen & Projekte entwickeln
  • aktive und kreative Arbeit in Gruppen
  • Brainstorming
  • Priorisierung
  • Entwicklung von Projekten und Maßnahmen (Stakeholdermonitoring)

Evaluation & Monitoring
  • Planung und Anpassung von Strategien für den Standort
  • Evaluation von ganzen Themen, einzelnen Projekte oder konkreten Maßnahmen Begleitendes Messen und Dokumentation von Fortschritten, (Miss-)Erfolgen und Ergebnissen

Pilotierung: In der Projektlaufzeit wurde der Werkzeugkasten den Mitarbeitenden des Amtes für Wirtschaftsförderung und Standortmanagement vorgestellt und gemeinsam ausprobiert. Angewandt wurden die Gruppenwerkzeuge (siehe Kapitel 4) und die Werkzeuge zur Evaluation & zum Monitoring (siehe unten). Die Durchführung zeigt, dass Selbstevaluation zwar möglich ist, jedoch ein Wissensmanagement und die Kenntnis der Werkzeuge voraussetzt. Die Werkzeuge für Evaluation und Monitoring z.B. sollten bereits von Beginn an, in der Planungsphase der entsprechenden Maßnahmen und Projekte, eingesetzt werden. Da die meisten Maßnahmen und Projekte innerhalb der Reallabore eine Laufzeit von mindestens einem Jahr haben, ist es wichtig, kontinuierlich den Fortschritt zu dokumentieren, damit keine wichtigen Informationen verloren gehen. Diese Dokumentation war bei den Reallaboren zwar vorhanden, aber in Abhängigkeit von dem/der Durchführenden in sehr unterschiedlicher Form (ausführlicher Bericht, Mindmaps, Veranstaltungsprotokolle etc.). Eine Vereinheitlichung der Form der Dokumentation mittels Steckbrief war daher zu Beginn der Evaluation erforderlich. Zudem ist eine Evaluation im Team (mindestens 2 Personen) empfehlenswert, da die wichtigen Punkte im Gespräch schneller und klarer formuliert werden können. Die Methodenbeschreibung der Werkzeuge kann hilfreich sein, dennoch war für die Evaluation der Reallabore eine intensive Moderation seitens des IAT notwendig. Insbesondere vor dem Hintergrund, dass die Instrumente vorher nicht bekannt waren und zum ersten Mal zum Einsatz kamen.

Tabelle 4: Werkzeuge für Evaluation und Monitoring

Werkzeug VorteileVoraussetzungenUmsetzung in Bottrop
Maßnahmensteckbrief
  • Gut geeignet für Wissensmanagement
  • Auf wenig Platz das Wichtigste über ein Projekt oder eine Maßnahme zusammenfassen 
  • Einheitliche Dokumentation durch formularähnliche Struktur
  • Als lebendes Dokument verstehen Sukzessive ausfüllen
  • Zum Abschluss der Reallabore ausgefüllt, dadurch zeitintensiv
  • In verkürzte Form bestehende Informationen zusammenfassen und auf andere Dokumenten bzw. Quellen verweisen
Reflexionsbogen
  • »leichtes« Werkzeug durch vorformulierte Fragen
  • Schnell auszufüllen
  • Endevaluation soll im Team zusammen mit der Leitung durchgeführt werden, um strategische Schlüsse zu ziehen
  • Zum Schluss der Reallabore
  • Beantwortung der vordefinierten Fragen
  • Endevaluation auf einem gemeinsamen Workshop mit der Beteiligung aller Projektpartnern
Wirklogik
  • Ausführlicher Arbeitsblatt zur Selbstmoderation
  • Ermöglicht einen Vergleich zwischen vorformulierte Outputs, Outcomes und Wirkungen mit den tatsächlich erreichten
  • Am Anfang ausfüllen
  • Am Ende –vergleichen
  • Fokus nicht verlieren und Querdenken ermöglichen Moderation durch eine nicht inhaltlich involvierte Person
    Datenerhebungsplan
    • Nützlich, um Messstrategien festzulegen
    • Eignet sich zur Planung von Projekten und Maßnahmen Unterstützt bei der Evaluation
    • Sich gedanklich von den vorhandenen Daten und bekannten Methoden loslösen und an mögliche zusätzliche Aktivitäten zur Messung denken
    • Zum Schluss der Reallabore durchgeführt 
    • Schwierigkeiten alternative Messmethoden zu formulieren (z.B. Feedback-Umfragen)
    Nachhaltigkeitscheck
    • Auf einem Blick das Gleichgewicht zwischen ökonomische, ökologische und soziale Wirkung zeigen
    • Gleich für unterschiedlich große Vorhaben anzuwenden (Wirtschaftsförderung allgemein, einzelne Reallabore oder Maßnahmen)
    • Wirkungslogik als Grundlage nutzen
    • Qualitative Schätzung abgeben
    • Für jedes Reallabor auf Basis der Wirklogik
    • Im gemeinsamen Workshop zur Abbildung der Wirkung des Amts für Wirtschaftsförderung und Standortmanagement

    Tabelle 4: Werkzeuge für Evaluation und Monitoring

    Werkzeug Vorteile
    Maßnahmensteckbrief
    • Gut geeignet für Wissensmanagement
    • Auf wenig Platz das Wichtigste über ein Projekt oder eine Maßnahme zusammenfassen 
    • Einheitliche Dokumentation durch formularähnliche Struktur
    Reflexionsbogen
    • »leichtes« Werkzeug durch vorformulierte Fragen
    • Schnell auszufüllen
    Wirklogik
    • Ausführlicher Arbeitsblatt zur Selbstmoderation
    • Ermöglicht einen Vergleich zwischen vorformulierte Outputs, Outcomes und Wirkungen mit den tatsächlich erreichten
    Datenerhebungsplan
    • Nützlich, um Messstrategien festzulegen
    • Eignet sich zur Planung von Projekten und Maßnahmen Unterstützt bei der Evaluation
    Nachhaltigkeitscheck
    • Auf einem Blick das Gleichgewicht zwischen ökonomische, ökologische und soziale Wirkung zeigen
    • Gleich für unterschiedlich große Vorhaben anzuwenden (Wirtschaftsförderung allgemein, einzelne Reallabore oder Maßnahmen)
    Werkzeug Voraussetzungen
    Maßnahmensteckbrief
    • Als lebendes Dokument verstehen Sukzessive ausfüllen
    Reflexionsbogen
    • Endevaluation soll im Team zusammen mit der Leitung durchgeführt werden, um strategische Schlüsse zu ziehen
    Wirklogik
    • Am Anfang ausfüllen
    • Am Ende –vergleichen
    • Fokus nicht verlieren und Querdenken ermöglichen Moderation durch eine nicht inhaltlich involvierte Person
    Datenerhebungsplan
    • Sich gedanklich von den vorhandenen Daten und bekannten Methoden loslösen und an mögliche zusätzliche Aktivitäten zur Messung denken
    Nachhaltigkeitscheck
    • Wirkungslogik als Grundlage nutzen
    • Qualitative Schätzung abgeben
    Werkzeug Umsetzung in Bottrop
    Maßnahmensteckbrief
    • Zum Abschluss der Reallabore ausgefüllt, dadurch zeitintensiv
    • In verkürzte Form bestehende Informationen zusammenfassen und auf andere Dokumenten bzw. Quellen verweisen
    Reflexionsbogen
    • Zum Schluss der Reallabore
    • Beantwortung der vordefinierten Fragen
    • Endevaluation auf einem gemeinsamen Workshop mit der Beteiligung aller Projektpartnern
    Wirklogik
      Datenerhebungsplan
      • Zum Schluss der Reallabore durchgeführt 
      • Schwierigkeiten alternative Messmethoden zu formulieren (z.B. Feedback-Umfragen)
      Nachhaltigkeitscheck
      • Für jedes Reallabor auf Basis der Wirklogik
      • Im gemeinsamen Workshop zur Abbildung der Wirkung des Amts für Wirtschaftsförderung und Standortmanagement

      Zukunftsperspektive: Der Werkzeugkasten hat sich als handhabbar erwiesen und soll über die Projektlaufzeit hinaus im Amt zum Einsatz kommen. 

      Zum Weiterlesen: 

      Rabadjieva, M. & Terstriep, J. (2022): Werkzeugkasten für die partizipative Wirtschaftsförderung. Handreichung Instrumente. Ergebnis des Projekts »Bottrop2018+ - Auf dem Weg zu einer nachhaltigen und resilienten Wirtschaftsstruktur - Verstetigung der partizipativen Governance«. FONA, Berlin: Bundesministerium für Bildung und Forschung.