Wirksamkeitsmessung in der internationalen Zusammenarbeit

Résumé

Gegenstand: Für die internationale Zusammenarbeit (IZA) sind die Direktion für Ent­wicklung und Zusammenarbeit (DEZA), das Staatssekretariat für Wirtschaft (SECO) und die Abteilung Frieden und Menschenrechte (AFM) zuständig. Evaluationen sol­len ihnen Informationen für die Entscheidfindung liefern und dazu beitragen, die Qua­lität der Interventionen zu verbessern. Die DEZA und das SECO berechnen anhand von extern durchgeführten Evaluationen Erfolgsquoten, um gegenüber dem Parlament über die Ergebnisse der IZA Bericht erstatten zu können. Allerdings wurden Zweifel an der Qualität dieser Evaluationen geäussert. Auch wurde in Frage gestellt, ob diese für die Steuerung der IZA tatsächlich genutzt werden und weshalb deren Kosten stark variieren. Auftrag und Fragestellungen: Die GPK beauftragten die PVK am 25 Januar 2022, die Wirksamkeitsmessung in der IZA zu evaluieren. Die zuständige Subkommission EDA/VBS der GPK-S beschloss an ihrer Sitzung vom 23. Mai 2022, dass die Evalu­ation der PVK die folgenden Frage­stellungen beantwor­ten soll: Stimmt die Qualität der Evaluationen in der IZA? Werden die Evaluationen auf geeignete Weise für die Steuerung der IZA genutzt? Sind die Evaluationskosten angemessen? Vorgehen: Die DEZA hatte jüngst eine Meta-Evaluation zur Qualität ihrer externen Evaluationen durchgeführt. Die PVK vergab deshalb ein Mandat für eine vergleich­bare Meta-Evaluation beim SECO und bei der AFM. Weiter unterzieht die PVK die Hilfsmittel, Weisungen und Verfahrensbeschriebe für die Durchführung und Verwer­tung von Evaluationen einer Dokumentenanalyse. Zudem führt sie Interviews mit Mitarbeitenden der drei Verwaltungseinheiten, einige davon in Form von Gruppenge­sprächen. Schliesslich führt die PVK eine Kostenanalyse durch. Geplanter Abschluss: Der Bericht der PVK zuhanden der Subkommission EDA/VBS der GPK-S sollte im zweiten Quartal 2023 vorliegen.

Textes supplémentaires

Publikationssprachen

Abstract

Der Einsatz von Evaluationen, um die Wirksamkeit der internationalen Zusam­menarbeit (IZA) zu messen, ist insgesamt teilweise zweckmässig. Evaluationen wer­den für die Steuerung der IZA auf unterschiedlichen Ebenen verwendet und kostentransparent durchgeführt. Die Evaluationsberichte sowie die Rechenschafts­legung zuhanden des Parlaments und der Öffentlichkeit weisen jedoch Mängel auf. Im Januar 2022 beauftragten die Geschäftsprüfungskommissionen der eidgenössi­schen Räte (GPK) die Parlamentarische Verwaltungskontrolle (PVK), die Wirksam­keitsmessung in der IZA zu evaluieren. Die zuständige Subkommission EDA/VBS der GPK des Ständerates (GPK-S) ent­schied, dass sich die PVK auf ein bestimmtes Instrument der Wirksamkeitsmessung konzentrieren soll: die Evaluation. Die PVK untersuchte die Wirksamkeit der IZA folglich nicht selber, sondern befasste sich vielmehr mit der Art und Weise, wie die drei für die IZA zuständigen Verwaltungseinheiten – die Direktion für Entwicklung und Zusammenarbeit (DEZA), das Staatssekretariat für Wirtschaft (SECO) und die Abteilung Frieden und Menschenrechte (AFM) – die Wirksamkeit ihrer Interventio­nen anhand von Evaluationen messen und darüber Rechenschaft ablegen. Die PVK analysierte die Hilfsmittel für die Durchführung von Evaluationen sowie die Kosten der Evaluationen. Sie führte mit mehr als dreissig Mitarbeitenden der Bun­desverwaltung und Fachleuten Interviews. Im Rahmen einer extern vergebenen Meta-Evaluation wurde die Qualität der Evaluationen analysiert. Die Analysen kamen im Wesentlichen zu folgenden Ergebnissen: Die externen Evaluationen weisen Stärken, aber auch Schwächen auf Die DEZA, das SECO und die AFM messen die Wirksamkeit ihrer Projekte insbeson­dere anhand von externen Evaluationen, die sie in Auftrag geben. Die Pflichtenhefte der Verwaltung, die auch einen Einfluss auf die Qualität der Evaluationen haben, sind insgesamt zufriedenstellend (Ziff. 3.1.). Die Evaluationsberichte enthalten klare Zusammenfassungen, transparent dargestellte Daten und kohärente Schlussfolgerun­gen, was besonders hilfreich ist, um die Evaluationen für die Projektsteuerung zu nut­zen (Ziff. 3.2). Die Darstellung der Methodik und der Ergebnisse ist hingegen nicht zufriedenstellend, was sich negativ auf die Nachvollziehbarkeit der externen Evalua­tionen und somit auf ihre Nützlichkeit für die Rechenschaftslegung auswirkt. Trotz dieser Mängel ist die Qualität der Evaluationen mit jener in anderen Ländern ver­gleichbar (Ziff. 3.3). Die Hilfsmittel für das Evaluationsmanagement sind mehrheitlich angemessen, jedoch unterschiedlich umfangreich Die Verwaltung führt die Evaluationen nicht selber durch, muss sie jedoch steuern und ihre Qualität sicherstellen. Die Analyse der Richtlinien und Prozesse, in denen die einzelnen Schritte und Verantwortlichkeiten beschrieben werden, ergaben bei den drei untersuchten Verwaltungseinheiten ein heterogenes Bild. Die Hilfsmittel der DEZA und des SECO sind klar und umfassend, wobei die Dokumente bei der DEZA sehr zahlreich sind und wenig verwendet werden. Die AFM hingegen verfügt über wenige und nicht besonders ausführliche Hilfsmittel. Sie ist zwar bedeutend kleiner als die beiden anderen Einheiten, ihre Hilfsmittel scheinen jedoch unzureichend, um die Qualität der Evaluationen sicherzustellen. In allen drei Einheiten schätzen die Projektverantwortlichen die Fachkompetenz und die Unterstützung ihrer jeweiligen Evaluationseinheiten (Ziff. 3.4). Die Evaluationen werden für die Steuerung insgesamt angemessen genutzt Die Evaluationen sollen der Steuerung der IZA auf unterschiedlichen Ebenen dienen. Die externen Evaluationen werden in erster Linie für die Steuerung der evaluierten Projekte genutzt (Ziff. 4.1). Die unabhängigen Evaluationen hingegen dienen den Führungsverantwortlichen vor allem als Basis für ihre strategischen Entscheidungen (Ziff. 4.2). Diese unterschiedliche Nutzung der Evaluationen kann als angemessen bezeichnet werden. Allerdings werden die Empfehlungen der externen Evaluationen nicht systematisch nachverfolgt, weshalb ihr Mehrwert im Hinblick auf eine Verbes­serung der IZA-Projekte nicht bekannt ist (Ziff. 4.1). Die Nutzung von Evaluationen für die Rechenschaftslegung gegenüber Parlament und Öffentlichkeit ist nicht angemessen Es ist fundamental, dass das Parlament und die Öffentlichkeit Kenntnis von der Wirk­samkeit der IZA erhalten. Allerdings machen die Evaluationen oft keine expliziten Angaben dazu, inwiefern die jeweiligen Interventionen zur Erreichung der Ziele bei­tragen, die in der Botschaft über die IZA-Strategie genannt sind. Die Schlussberichte zur Umsetzung der IZA-Strategie zuhanden des Parlamentes präsentieren einige Ergebnisse, jedoch keine systematische Bilanz zur Zielerreichung (Ziff. 4.3). Die Erfolgsquoten, die in den Schlussberichten Rechenschaft über die Wirksamkeit der IZA ablegen sollten, widerspiegeln nicht die Gesamtheit der Interventionen der IZA und sind nicht aussagekräftig (Ziff. 4.4). Die Kosten der Evaluationen sind transparent und insgesamt tief Die Evaluationskosten können für alle drei Verwaltungseinheiten transparent ermit­telt werden (Ziff. 5.1). Sie machen im Allgemeinen weniger als 2,5 Prozent der Kosten der evaluierten Interventionen aus. Im internationalen Vergleich liegt dieser Prozent­satz eher am unteren Ende dessen, was in der IZA für Evaluationen ausgegeben wird (Ziff. 5.2).

Participants

Simone Ledermann

Kontaktperson

Simone.Ledermann@parl.admin.ch

Parlamentarische Verwaltungskontrolle Parlamentsdienste Simone Ledermann 3003 Bern BE CH

Détails du projet

Office de recherche
PVK
Statut du projet
Abgeschlossen
Type de projet
Evaluationsprojekt
Date de début
2022-05-23
Date de fin
2023-04-26
Coûts totaux approuvés
-
Section
Wirksamkeitsüberprüfungen
Domaine politique NABS
-