We can't find the internet
Attempting to reconnect
Wirksamkeitsmessung in der internationalen Zusammenarbeit
Résumé
Gegenstand: Für die internationale Zusammenarbeit (IZA) sind die Direktion für Entwicklung und Zusammenarbeit (DEZA), das Staatssekretariat für Wirtschaft (SECO) und die Abteilung Frieden und Menschenrechte (AFM) zuständig. Evaluationen sollen ihnen Informationen für die Entscheidfindung liefern und dazu beitragen, die Qualität der Interventionen zu verbessern. Die DEZA und das SECO berechnen anhand von extern durchgeführten Evaluationen Erfolgsquoten, um gegenüber dem Parlament über die Ergebnisse der IZA Bericht erstatten zu können. Allerdings wurden Zweifel an der Qualität dieser Evaluationen geäussert. Auch wurde in Frage gestellt, ob diese für die Steuerung der IZA tatsächlich genutzt werden und weshalb deren Kosten stark variieren. Auftrag und Fragestellungen: Die GPK beauftragten die PVK am 25 Januar 2022, die Wirksamkeitsmessung in der IZA zu evaluieren. Die zuständige Subkommission EDA/VBS der GPK-S beschloss an ihrer Sitzung vom 23. Mai 2022, dass die Evaluation der PVK die folgenden Fragestellungen beantworten soll: Stimmt die Qualität der Evaluationen in der IZA? Werden die Evaluationen auf geeignete Weise für die Steuerung der IZA genutzt? Sind die Evaluationskosten angemessen? Vorgehen: Die DEZA hatte jüngst eine Meta-Evaluation zur Qualität ihrer externen Evaluationen durchgeführt. Die PVK vergab deshalb ein Mandat für eine vergleichbare Meta-Evaluation beim SECO und bei der AFM. Weiter unterzieht die PVK die Hilfsmittel, Weisungen und Verfahrensbeschriebe für die Durchführung und Verwertung von Evaluationen einer Dokumentenanalyse. Zudem führt sie Interviews mit Mitarbeitenden der drei Verwaltungseinheiten, einige davon in Form von Gruppengesprächen. Schliesslich führt die PVK eine Kostenanalyse durch. Geplanter Abschluss: Der Bericht der PVK zuhanden der Subkommission EDA/VBS der GPK-S sollte im zweiten Quartal 2023 vorliegen.
Textes supplémentaires
Publikationssprachen
Abstract
Der Einsatz von Evaluationen, um die Wirksamkeit der internationalen Zusammenarbeit (IZA) zu messen, ist insgesamt teilweise zweckmässig. Evaluationen werden für die Steuerung der IZA auf unterschiedlichen Ebenen verwendet und kostentransparent durchgeführt. Die Evaluationsberichte sowie die Rechenschaftslegung zuhanden des Parlaments und der Öffentlichkeit weisen jedoch Mängel auf. Im Januar 2022 beauftragten die Geschäftsprüfungskommissionen der eidgenössischen Räte (GPK) die Parlamentarische Verwaltungskontrolle (PVK), die Wirksamkeitsmessung in der IZA zu evaluieren. Die zuständige Subkommission EDA/VBS der GPK des Ständerates (GPK-S) entschied, dass sich die PVK auf ein bestimmtes Instrument der Wirksamkeitsmessung konzentrieren soll: die Evaluation. Die PVK untersuchte die Wirksamkeit der IZA folglich nicht selber, sondern befasste sich vielmehr mit der Art und Weise, wie die drei für die IZA zuständigen Verwaltungseinheiten – die Direktion für Entwicklung und Zusammenarbeit (DEZA), das Staatssekretariat für Wirtschaft (SECO) und die Abteilung Frieden und Menschenrechte (AFM) – die Wirksamkeit ihrer Interventionen anhand von Evaluationen messen und darüber Rechenschaft ablegen. Die PVK analysierte die Hilfsmittel für die Durchführung von Evaluationen sowie die Kosten der Evaluationen. Sie führte mit mehr als dreissig Mitarbeitenden der Bundesverwaltung und Fachleuten Interviews. Im Rahmen einer extern vergebenen Meta-Evaluation wurde die Qualität der Evaluationen analysiert. Die Analysen kamen im Wesentlichen zu folgenden Ergebnissen: Die externen Evaluationen weisen Stärken, aber auch Schwächen auf Die DEZA, das SECO und die AFM messen die Wirksamkeit ihrer Projekte insbesondere anhand von externen Evaluationen, die sie in Auftrag geben. Die Pflichtenhefte der Verwaltung, die auch einen Einfluss auf die Qualität der Evaluationen haben, sind insgesamt zufriedenstellend (Ziff. 3.1.). Die Evaluationsberichte enthalten klare Zusammenfassungen, transparent dargestellte Daten und kohärente Schlussfolgerungen, was besonders hilfreich ist, um die Evaluationen für die Projektsteuerung zu nutzen (Ziff. 3.2). Die Darstellung der Methodik und der Ergebnisse ist hingegen nicht zufriedenstellend, was sich negativ auf die Nachvollziehbarkeit der externen Evaluationen und somit auf ihre Nützlichkeit für die Rechenschaftslegung auswirkt. Trotz dieser Mängel ist die Qualität der Evaluationen mit jener in anderen Ländern vergleichbar (Ziff. 3.3). Die Hilfsmittel für das Evaluationsmanagement sind mehrheitlich angemessen, jedoch unterschiedlich umfangreich Die Verwaltung führt die Evaluationen nicht selber durch, muss sie jedoch steuern und ihre Qualität sicherstellen. Die Analyse der Richtlinien und Prozesse, in denen die einzelnen Schritte und Verantwortlichkeiten beschrieben werden, ergaben bei den drei untersuchten Verwaltungseinheiten ein heterogenes Bild. Die Hilfsmittel der DEZA und des SECO sind klar und umfassend, wobei die Dokumente bei der DEZA sehr zahlreich sind und wenig verwendet werden. Die AFM hingegen verfügt über wenige und nicht besonders ausführliche Hilfsmittel. Sie ist zwar bedeutend kleiner als die beiden anderen Einheiten, ihre Hilfsmittel scheinen jedoch unzureichend, um die Qualität der Evaluationen sicherzustellen. In allen drei Einheiten schätzen die Projektverantwortlichen die Fachkompetenz und die Unterstützung ihrer jeweiligen Evaluationseinheiten (Ziff. 3.4). Die Evaluationen werden für die Steuerung insgesamt angemessen genutzt Die Evaluationen sollen der Steuerung der IZA auf unterschiedlichen Ebenen dienen. Die externen Evaluationen werden in erster Linie für die Steuerung der evaluierten Projekte genutzt (Ziff. 4.1). Die unabhängigen Evaluationen hingegen dienen den Führungsverantwortlichen vor allem als Basis für ihre strategischen Entscheidungen (Ziff. 4.2). Diese unterschiedliche Nutzung der Evaluationen kann als angemessen bezeichnet werden. Allerdings werden die Empfehlungen der externen Evaluationen nicht systematisch nachverfolgt, weshalb ihr Mehrwert im Hinblick auf eine Verbesserung der IZA-Projekte nicht bekannt ist (Ziff. 4.1). Die Nutzung von Evaluationen für die Rechenschaftslegung gegenüber Parlament und Öffentlichkeit ist nicht angemessen Es ist fundamental, dass das Parlament und die Öffentlichkeit Kenntnis von der Wirksamkeit der IZA erhalten. Allerdings machen die Evaluationen oft keine expliziten Angaben dazu, inwiefern die jeweiligen Interventionen zur Erreichung der Ziele beitragen, die in der Botschaft über die IZA-Strategie genannt sind. Die Schlussberichte zur Umsetzung der IZA-Strategie zuhanden des Parlamentes präsentieren einige Ergebnisse, jedoch keine systematische Bilanz zur Zielerreichung (Ziff. 4.3). Die Erfolgsquoten, die in den Schlussberichten Rechenschaft über die Wirksamkeit der IZA ablegen sollten, widerspiegeln nicht die Gesamtheit der Interventionen der IZA und sind nicht aussagekräftig (Ziff. 4.4). Die Kosten der Evaluationen sind transparent und insgesamt tief Die Evaluationskosten können für alle drei Verwaltungseinheiten transparent ermittelt werden (Ziff. 5.1). Sie machen im Allgemeinen weniger als 2,5 Prozent der Kosten der evaluierten Interventionen aus. Im internationalen Vergleich liegt dieser Prozentsatz eher am unteren Ende dessen, was in der IZA für Evaluationen ausgegeben wird (Ziff. 5.2).
Participants
Simone Ledermann
Kontaktperson
Simone.Ledermann@parl.admin.ch
Parlamentarische Verwaltungskontrolle Parlamentsdienste Simone Ledermann 3003 Bern BE CH
Détails du projet
- Office de recherche
- PVK
- Statut du projet
- Abgeschlossen
- Type de projet
- Evaluationsprojekt
- Date de début
- 2022-05-23
- Date de fin
- 2023-04-26
- Coûts totaux approuvés
- -
- Section
- Wirksamkeitsüberprüfungen
- Domaine politique NABS
- -