Evaluationen

Evaluationsstudien

Consciente will es genau wissen: Seit 2016 untersuchen wir systematisch und wissenschaftlich die Wirkung unserer Projekte. Wir arbeiten zu diesem Zweck intensiv mit universitären und politischen Institutionen in der Schweiz und in El Salvador zusammen.

  • CAL-IMPACT

    Einführung von computerunterstützten Lernmethoden (CAL) an Schulen in Morazán und Untersuchung der kausalen Effekte von CAL auf die Mathematikleistungen (mehr Infos zum Design der Studie)
    Forschungspartner: Universität Bern
    Abschluss: Dezember 2018

  • PISCO

    Evaluations-Studie mit über 2800 Gymnasiums-Schülerinnen und Schüler in Morazán zur Wirkung der Consciente-Workshops 2017
    Projektleitung: Christoph Kühnhanss, Martina Jakob (Schweiz) / Jasael Torres (El Salvador)
    Forschungspartner: Universität Bern
    Abschluss: Herbst 2018

.

Ziel

Wir wollen letztlich die Frage beantworten, die auch Euch am meisten interessiert: Was bewirkt Eure Spende wirklich?

Dazu wollen wir nicht nur die lokalen Begebenheiten und Probleme besser verstehen, sondern insbesondere unsere Ansätze zu deren Lösung selbstkritisch prüfen. So nehmen wir neue Projektideen in einer „Pilotphase“ zunächst genau unter die Lupe. Nur Projekte, die auch wirklich die gewünschte Wirkung zeigen, werden weitergeführt und ausgebaut.

Methode

Unser methodische Credo sind Impact-Evaluationsstudien auf der Basis von Randomized Controlled Trials (RTC). Diese wissenschaftliche Methode ermöglicht eine zuverlässige Schätzung des „kausalen Effekts“ eines Projekts.

Kooperationspartner

Finanzierung

Unsere Evaluationsprojekte werden nicht durch Spendengelder finanziert, sondern durch Beiträge von unseren Forschungspartnern oder etwa den „Impact Evaluation Award“ der DEZA, den wir 2017 erhalten haben.

CAL-IMPACT

Projekt

In 120 Schulklassen im Departement Morazán, El Salvador, hat am 16. April 2018 unser „Computer-assisted Learning“-Projekt begonnen. In zusätzlichen obligatorischen Schulstunden werden ca. 2400 Kinder der 3. bis 6. Klasse bis Ende Oktober an zwei Nachmittagen pro Woche Mathematik lernen, davon 1600 mit Unterstützung von Computern und der Software „Khan Aademy“. Dabei werden sie durch von CONSCIENTE bezahlte und sorgfältig vorbereitete Lehrpersonen begleitet und unterstützt. Die Intervention wird von CONSCIENTE El Salvador in Koordination mit dem Bildungsministerium von Morazán durchgeführt.

Das Projekt hat den „Impact Evaluation Award 2017“ der Schweizer Direktion für Entwicklung und Zusammenarbeit DEZA und des Center for Development and Cooperation NADEL der Eidgenössischen Technischen Hochschule ETHZ gewonnen.

Mehr zum Projekt
Impact-Evaluationsstudie

Mithilfe einer „Randomized Controlled Trial“-Studie soll der Impact des Programms auf (1) die mathematische Kompetenzen der Schülerinnen und Schüler und (2) auf ihre Bildungsmotivation gemessen werden. Zusätzlich wollen wir herausfinden, welche Programmvariante am besten funktioniert. Dazu werden 200 Schulklassen per Zufall in vier Gruppen eingeteilt: Gruppe 1 (40 Klassen) erhält computerbasierten Mathematikunterricht mit einer Lehrperson, Gruppe 2 (40 Klassen) nimmt an zusätzlichen CAL-Lektionen ohne Lehrperson teil, Gruppe 3 (40 Klassen) erhält Mathematikunterricht ohne Computer und Gruppe 4 (80 Klassen) nimmt als Kontrollgruppe nicht am Projekt teil.

In allen Gruppen wird vor und nach der Intervention eine Mathematik-Prüfung durchgeführt. Durch einen Vergleich zwischen den Leistungen in Kontroll- und Treatmentgruppen kann der kausale Effekt der Intervention geschätzt werden. Nach den Prüfungen füllen die Kinder zusätzlich einen Fragebogen aus, in welchem sie insbesondere auch zu Bildungsmotivation, Studienplänen etc. befragt werden. So können auch potentielle Effekte auf diese Zielgrössen identifiziert werden.

PISCO
Projekt

Consciente führt seit 2015 jährlich Themen-Workshops in Schulklassen von Morazán durch. Aufgrund des grossen Anklangs wurden 2017 in rund 100 Schulklassen mit über 2800 Schülerinnen und Schülern Workshops zu den Themen Gender & Gewalt und Umwelt durchgeführt.

In Zusammenarbeit mit dem soziologischen Institut der Universität Bern hat PISCO das umfangreiche und aufwändige Consciente-Projekt wissenschaftlich begleitet.

Projekt-Design

Mithilfe eines „Randomized Controlled Trial“-Designs soll der Effekt des Workshops-Programms auf Wissen, Werte & Einstellungen sowie Handlungsabsichten der Schülerinnen und Schüler in den beiden Themenbereichen nachgewiesen werden.

Vor den Workshops (der Intervention) wurde mittels Fragebögen der „Ist-Zustand“ in 100 zufällig und repräsentativ erhobenen Schulklassen mit über 2’800 Schülerinnen und Schüler erhoben (Juli ’17).

Anschliessend wurden die beiden Themenworkshops zufällig verteilt und in jeweils 50 Schulklassen zu je 1’400 Schülerinnen und Schüler durchgeführt (Juli/Aug. ’17). Dadurch konnten die beiden Gruppen sowohl als Versuchsgruppe als auch als Kontrollgruppe der anderen fungieren. In einer zweiten Befragung sechs Wochen nach der Intervention werden die Veränderungen in Wissen, Werten & Einstellungen und Handlungsabsichten bei wiederum allen Schülerinnen und Schülern erhoben (Aug./Sept. ’17).

Das RTC-Design der Studie erlaubt es, durch Vergleich der Gruppen die ausschliesslich auf die Workshops zurückzuführenden Veränderung zu isolieren und andere Lerneffekte und Veränderungen auszuschliessen.

Ergebnisse

Es ist zu hoffen und zu erwarten, dass deutliche Lern- und Veränderungseffekte bei den Schülerinnen und Schülern auftreten.

Idealerweise werden wir nach Auswertung der Daten etwa sagen können, dass sich das Umweltbewusstsein der Schülerinnen und Schülern im Umwelt-Workshop um „25 Prozent“ verbessert hat.

Die Auswertung der Daten und die Publikation der Ergebnisse wird auf Herbst 2018 erwartet.