Auftraggeber: Ministerium für Soziales, Jugend, Familie, Senioren, Integration und Gleichstellung des Landes Schleswig-Holstein

Projektlaufzeit: 2025 – 2026

Die ‚mitten-drin Netzwerk Ostholstein gGmbH‘ bietet im Kreis Ostholstein Leistungen der qualifizierten Assistenz an. In einem Pilotprojekt werden im Rahmen dieser Leistung auch Erfahrungspartner:innen eingesetzt. Diese unterstützen die Fachkräfte bei der Durchführung der Assistenzleistung und bieten auch Gruppenangebote eigenständig an.
Das Institut für Praxisforschung und Evaluation wurde mit der wissenschaftlichen Begleitung im Rahmen einer Wirkungsanalyse beauftragt. Ziel dieser Wirkungsanalyse ist es, die Wirksamkeit des Angebots und den Einsatz von Erfahrungspartner:innen zu evaluieren, den Mehrwert der Arbeit mit Erfahrungspartner:innen darzustellen sowie die Umsetzung zu reflektieren. Überdies ist es von herausgehobenem Interesse des Auftraggebers mit diesem Projekt herauszuarbeiten, wie mit dem Thema Wirksamkeit in der Eingliederungshilfe zukünftig vertragsrechtlich umzugehen ist; bezogen auf die entsprechenden Ausführungen im Landesrahmenvertrag SGB IX des Landes Schleswig-Holstein.
Im Rahmen der wissenschaftlichen Begleitung wird am Anfang ein Wirkmodell entwickelt, um die Wirkannahmen des Angebots festzuhalten. Aus diesem werden dann Wirkungsindikatoren für die weiteren Analysen abgeleitet. Ein Erhebungsinstrument für die Fremd- und Selbsteinschätzung wird entwickelt, mit dessen Hilfe Effekte (Veränderungen und Stabilisierungen) bei der Zielgruppe dargestellt werden können und das außerdem die Grundlage für eine Wirksamkeitsbetrachtung darstellt. Die Daten werden neben dem Angebot mit den Erfahrungspartner:innen auch in Angeboten der qualifizierten Assistenz erhoben, bei denen keine Erfahrungspartner:innen eingesetzt werden (Vergleichsgruppe). Am Ende des Prozesses werden die Methoden und das Vorgehen dokumentiert, sodass diese auch auf die Evaluation anderer Leistungsarten in der Eingliederungshilfe in Schleswig-Holstein übertragen werden können.
 

Auftraggeber: Proitera GmbH, Basel

Projektlaufzeit: 2024 – 2026

Die Proitera GmbH aus Basel bietet Firmen in der Schweiz die Möglichkeit der externen betrieblichen Sozialberatung. Neben klassischen Beratungsterminen in Präsenz werden digitale Formate genutzt, um Anliegen niedrigschwellig zu begegnen. 
Zur Steigerung der Effizienz und Effektivität der Beratung entwickelt und erprobt Proitera mit einer Projektgruppe aus Beratenden den systematischen, konzeptionell fundierten und passgenauen Einsatz von analogen und digitalen Kommunikationssettings im Rahmen des Blended Counseling. 
Die Umsetzung des Ansatzes wird im Rahmen einer Wirkungsanalyse durch das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit am Institut für Praxisforschung und Evaluation wissenschaftlich begleitet. Ziel ist die Erstellung eines Wirkmodells, der Nachweis der Wirksamkeit sowie die Umsetzung des Blended Counseling-Ansatzes systematisch zu reflektieren.
Das Wirkmodell und die Erhebungsinstrumente werden partizipativ mit Vertretenden der Proitera GmbH entwickelt. Mittels Vergleichsgruppendesign werden Beratende und Beratungsnutzende mit einem Online-Fragebogen befragt, um die Wirksamkeit des Ansatzes und der betireblichen Sozialberatung nachzuweisen. Im Projekt wird dazu ein wirkungsorientiertes Monitoring aufgebaut, das auch langfristig in die Angebote von Proitera integriert werden kann. Die Ergebnisse aus diesen Erhebungen werden in einer Fokusgruppe mit Beratenden vertieft und die Konzeptumsetzung reflektiert.  
 

Auftraggeber: AGJ - Fachverband für Prävention und Rehabilitation in der Erzdiözese Freiburg e.V.

Projektlaufzeit: 2024 - 2025

Jugendliche für das Thema Konsum zu sensibilisieren und ihre Gesundheits- und Konsumkompetenz zu stärken, ist das Ziel des Projektes Konsum-KULTUR, das vom AGJ-Fachverband für Prävention und Rehabilitation in der Erzdiözese Freiburg e.V. aktuell entwickelt und zukünftig durchgeführt wird. Das Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg wurde mit der wissenschaftlichen Begleitung beauftragt.

Konsum-KULTUR umfasst ein universelles und verhaltensbezogenes Suchtpräventionsprogramm und ein Schulungsangebot für AGJ-Suchtpräventionsfachkräfte. Es wird im Rahmen der Förderung im Masterplan Kinderschutz durch das  Sozialministerium im Zeitraum von März 2024 bis Dezember 2025 konzipiert, evaluiert und von dafür geschulten Präventionsfachkräften der AGJ-Suchtberatungsstellen erprobt und umgesetzt.

Das substanzunabhängige Mehr-Ebenen-Programm richtet sich an Jugendliche im Alter von 14 bis 16 Jahren im Setting Schule, Jugendarbeit und Jugendhilfe wie auch ihr Umfeld. Im Rahmen der wissenschaftlichen Begleitung liegt der Fokus vor allem auf den Wirkungen, die das Programm erzielt. Hierzu wurde in einem ersten Schritt ein Wirkmodell entwickelt und darauf aufbauend soll eine Befragung der Jugendlichen an zwei Zeitpunkten erfolgen. Im Rahmen der Befragung wird ein quantitativer Fragebogen eingesetzt, mit dem die Effekte bei den Jugendlichen erfasst werden. Mit den Ergebnissen soll eine Eintragung des Programms in der Grünen Liste Prävention ermöglicht werden. 

Auftraggeber: Landesverbände Bayern, Baden-Württemberg, Unterweser-Ems und Westfalen-Lippe des Deutschen Jugendherbergswerks

Projektlaufzeit: seit 2023

Die Jugendherbergen in Deutschland bieten ein vielfältiges Bildungsprogramm an. Dieses richtet sich an Kinder- und Jugendgruppen sowie an Schulen, die das Bildungsangebot im Rahmen von Klassenaufenthalten buchen können. Die pädagogischen Programme haben neben der Vermittlung von Wissen auch das Ziel, soziale und emotionale Kompetenzen sowie die Selbstwirksamkeit und Zusammengehörigkeit der Gruppen zu stärken.
Die Studie geht der Fragestellung nach, welche Effekte und Wirkungen Bildungsangebote in Jugendherbergen erzielen. Dabei werden Angebote untersucht, die sich an Schulklassen richten und einen pädagogischen Programmanteil von mind. 50 % gemessen an der Gesamtaufenthaltsdauer haben.

In einem ersten Schritt werden in den beteiligten Landesverbänden sog. Wirkmodelle für die Bildungsangebote entwickelt. In den Wirkmodellen wird festgehalten, welche Wirkungen auf Ebene der Zielgruppe (Outcomes) und auf Ebene der Gesellschaft (Impacts) mit den Bildungsangeboten erzielt werden sollen. Weiterhin wird darin festgehalten, welche Kontextfaktoren einen Einfluss auf die Bildungsangebote und/oder auf das Erzielen der Wirkungen haben. Die einzelnen Wirkmodelle werden danach zu einem allgemeinen Wirkmodell für Bildungsangebote an Jugendherbergen zusammengeführt. 
Aufbauend auf dem Wirkmodell wird ein standardisierter Fragebogen entwickelt, mit dem Veränderungen bei den Teilnehmer:innen, die Bildungsangebote in Anspruch nehmen, erfasst werden können. Hierzu wird im Rahmen der Studie ein längsschnittliches Forschungsdesign realisiert, bei dem die Datenerhebung zu Beginn und Ende des Aufenthaltes in der Jugendherberge durchgeführt wird. Die Ergebnisse werden regelmäßig ausgewertet und geprüft, welche Veränderungen sich bei den Zielgruppen zeigen. Mithilfe der Methode der Wirkungsplausibilisierung wird dann in einem Interpretationsworkshop erarbeitet, welchen Anteil die Bildungsangebote der Jugendherbergen an den gefundenen Veränderungen haben und welche weiteren Einflussfaktoren es gibt.
Im Rahmen einer qualitativen Vertiefung werden durch Interviews und Fokusgruppen mögliche Wirkmechanismen erforscht und tiefergehend dargestellt, wie die Angebote erlebt werden und wie die Wirkungen zustande kommen.

An der Studie sind die Landesverbände Bayern, Baden-Württemberg, Unterweser-Ems und Westfalen-Lippe des Deutschen Jugendherbergswerks beteiligt. Die Landesverbände sind als Träger der Jugendherbergen gemeinnützig und anerkannte Träger der freien Jugendhilfe. Mit der Durchführung der Studie und der wissenschaftlichen Begleitung wurde das Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg beauftragt. Finanziert wird die Studie mit Mitteln der Stiftung Deutsches Jugendherbergswerk (DJH Stiftung) und der beteiligten DJH Landesverbände.
 

Auftraggeber: Deutsche Gesellschaft für Soziale Arbeit in der Suchthilfe (Förderung durch das Bundesministerium für Gesundheit)

Projektlaufzeit: 2022 – 2023

Die Deutsche Gesellschaft für Soziale Arbeit in der Suchthilfe (DG-SAS) führte mit einer Förderung des Bundesministeriums für Gesundheit das Projekt „Ankerwirkmodell Suchtberatung“ durch. Das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg begleitete das Projekt wissenschaftlich.

Das Ankerwirkmodell wurde mit Fachkräften aus der Suchtberatung in Workshops erarbeitet. Das Kompetenzzentrum hat die Workshops vorbereit, moderiert und dokumentiert. In den Workshops wurde ein Entwurf des zukünftigen Ankerwirkmodells erarbeitet. Weiterhin wurden Interviews mit Nutzer*innen der Suchtberatung durchgeführt, um deren Perspektive im Hinblick auf den erlebten Nutzen im Modell abzubilden.

Um das entwickelte Ankerwirkmodell zu validieren, wurde eine Online-Befragung unter Fachkräften und Trägern der Suchthilfe durchgeführt. Das erarbeitete Ankerwirkmodell ist frei zugänglich veröffentlicht und kann als Grundlage für die Erarbeitung von einrichtungsspezifischen Wirkmodellen sowie von Wirkungsanalysen dienen. Nähere Informationen über das Thema Ankerwirkmodelle erhalten Sie hier.

Auftraggeber: Nationales Zentrum Frühe Hilfen (NZFH) in der Bundeszentrale für gesundheitliche Aufklärung

Projektlaufzeit: 2022 – 2025

Das Nationale Zentrum Frühe Hilfen begleitet neun Kommunen mit dem Projekt „Frühe Hilfen qualitätvoll gestalten“. Drei Kommunen widmen sich dabei dem Themenfeld Wirkungsorientierung. Während der Projektlaufzeit sollen die Kommunen wirkungsorientierte Arbeitsweisen kennenlernen und in einem Bereich der Frühen Hilfen vor Ort umsetzen.

Das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit erstellt während der Projektlaufzeit begleitende Materialien für die Kommunen und führt, gemeinsam mit dem Nationalen Zentrum Frühe Hilfen, Workshops in den Kommunen durch. Weiterhin findet eine fachliche Beteiligung an den jährlichen interkommunalen Austauschrunden statt und die Kommunen sowie das Team des Nationalen Zentrums Frühe Hilfen können eine Beratung zum Thema Wirkungsorientierung und Wirkungsanalyse in Anspruch nehmen. Die erarbeiteten Materialien werden vom NZFH veröffentlicht.

Auftraggeber: AWO Kinder, Jugend & Familie Weser-Ems GmbH

Projektlaufzeit: seit 2022

Die AWO Kinder, Jugend & Familie Weser-Ems GmbH hat eine inklusive Wohngruppe für Kinder und Jugendliche gegründet. Ziel des Vorhabens ist es, im Angebot Kinder und Jugendliche mit Hilfebedarfen in der Kinder- und Jugendhilfe sowie Kinder und Jugendliche mit therapeutischem Bedarf gemeinsam zu betreuen.

Die Wohngruppe wird im Rahmen einer Wirkungsevaluation wissenschaftliche begleitet. Ziel der Evaluation ist es, die Wirkungen des Angebotes zu erfassen, aber auch Anhaltspun
kte für mögliche Weiterentwicklungen des inklusiven Wohngruppenkonzeptes  zu erhalten.

Das Vorgehen im Rahmen der Wirkungsevaluation orientiert sich am Wirkungsradar. Am Anfang wird zusammen mit den Fachkräften ein Wirkmodell für das neue Angebot erstellt. Dieses dient als Grundlage für ein wirkungsorientiertes Monitoring, das entwickelt und im Angebot implementiert wird. Weiterhin ist geplant, im Rahmen der Datenerhebung auch zwei Vergleichsgruppen zu untersuchen: einmal Kinder und Jugendliche, die ein Angebot der Kinder- und Jugendhilfe in Anspruch nehmen und zusätzlichen therapeutischen Bedarf ambulant erhalten, und einmal Kinder und Jugendlichen, die nur einen therapeutischen Bedarf haben.

Neben der Erbringung des Wirknachweises sollen im Rahmen der Evaluation auch die dahinterstehenden Wirkmechanismen erfasst werden.

Auftraggeber: Ministerium für Soziales, Gesundheit, Jugend, Familie und Senioren des Landes Schleswig-Holstein

Projektlaufzeit: 2022

Mit der Einführung des Bundesteilhabegesetzes (BTHG) wurden die Begrifflichkeiten Wirkung und Wirksamkeit sowie eine Wirkungskontrolle rechtlich festgeschrieben. Um Theorien zu vermitteln und aufzuzeigen, wie man zu Wirkungsindikatoren kommt, wie eine Wirkungsanalyse in der Praxis umgesetzt wird und wie eine darauf aufbauende Fachberatung aussehen kann, konzeptionierte das Kompetenzzentrum ein eineinhalb tägiges Seminar. Dieses wird vor Ort in Kiel an insgesamt zwölf Terminen durchgeführt. Teilnehmende sind die Mitarbeitenden (Fach- und Führungskräften) aus den Kreisen und kreisfreien Städten, die im Bereich der Eingliederungshilfe tätig sind.

Auftraggeber: Kooperationsprojekt mit mittelfränkischen Einrichtungen der Lebenshilfe und der Lebenshilfe Neumarkt

Projektlaufzeit: seit 2020

Wie können Wirkungen und Effekte in der Eingliederungshilfe zuverlässig erfasst werden? Dieser Frage geht das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit gemeinsam mit mittelfränkischen Einrichtungen der Lebenshilfe und der Lebenshilfe Neumarkt im Rahmen eines gemeinsamen Forschungs- und Entwicklungsprojektes nach. Untersucht werden der Berufsbildungsbereich der Werkstätten für Menschen mit Behinderung (BBB) sowie der Bereich Tagesbetreuung für erwachsene Menschen mit Behinderung nach dem Erwerbsleben (T-ENE). Im Rahmen des Projektes kommen die verschiedenen Schritte des Wirkungsradars zur Anwendung. Zudem sollen in dem Projekt Methoden erarbeitet werden, mit denen Fachkräften regelmäßige Daten aus einem wirkungsorientierten Monitoring interpretieren und Impulse für die eigene fachliche Arbeit ableiten können.
Das Projekt wurde unter anderem beim Forum ‚Forschung, Entwicklung, Transfer‘ der Evangelischen Hochschule Nürnberg vorgestellt. Die Aufzeichnung ist auf dem EVHN-Youtube-Kanal abrufbar.

Auftraggeber: Amt für Kinder, Jugendliche und Familie der Stadt Nürnberg

Projektlaufzeit: 2022

In einer vierteiligen Workshopreihe wurde zusammen mit den Fachkräften ein Wirkmodell für das Arbeitsfeld des Fachteams Sprache entwickelt. Zunächst wurde im ersten Workshop ein Problembaum erarbeitet, bei dem das zentrale zu lösende Problem identifiziert sowie die Auswirkungen und Ursachen dargestellt wurden. Im zweiten Workshop wurde der Problembaum in einen Zielbaum überführt, bevor im dritten Workshop daraus ein Wirkmodell erarbeitet wurde. Im Wirkmodell wurden neben den Aktivitäten, Outputs und Outcomes auch wichtige Kontextfaktoren dargestellt und die Outputs und Outcomes für die zuvor definierten drei Zielgruppen des Angebotes – Kinder, Pädagoginnen und Pädagogen, Eltern – definiert. Im abschließenden letzten Workshop wurden Überlegungen zu ersten Indikatoren angestellt, mit denen die definierten Wirkungen erfasst werden können.

Fördergeber: Bundesministerium für Bildung und Forschung

Projektlaufzeit: 2021 – 2025

Ein Verbund von neun Hochschulen für angewandte Wissenschaften unter Leitung der Technischen Hochschule Nürnberg – Georg Simon Ohm entwickelt im Projekt „HAnS“ ein intelligentes Hochschul-Assistenz-System, das Lehr- und Lernmaterialien unterschiedlicher Fächer im Audio- und Videoformat auf einer Learning-Experience-Plattform sammelt. Die Materialien sollen mithilfe von Spracherkennung für weitere Anwendungen im Bereich der Künstlichen Intelligenz (KI) aufbereitet werden. Das Lehrmaterial wird somit durchsuchbar gemacht und automatisiert nach Kriterien wie Fachgebiet, Sprache oder erforderlichen Vorkenntnissen zusammengestellt. Darauf aufbauend wird ein KI-Tutor entwickelt, der anhand vorgegebener Muster automatisiert Übungsaufgaben und Lernzielkontrollen generiert. Der Prozess der technischen Entwicklung wird dabei von den Projektpartnern interdisziplinär begleitet und kontinuierlich überprüft.

Das Kompetenzzentrum übernimmt innerhalb des Verbundprojektes das Arbeitspaket der quantitativen Wirkungsanalyse. Im Rahmen dieser Evaluation soll erforscht werden, welche Wirkungen durch das intelligente Hochschul-Assistenz-System bei den Studierenden und den Dozent*innen entsteht. Hierzu wird am Anfang des Projektes ein Wirkmodell entwickelt, das die Grundlage für ein quasi-experimentelles Längsschnittdesign bildet. Über die komplette Projektlaufzeit finden Befragungen mit einer Maßnahmen- und einer Vergleichsgruppe statt. Die Ergebnisse fließen regelmäßig in die Entwicklung des Systems zurück.

Auftraggeber: AWO Bundesverband e. V.

Projektlaufzeit: 2024

Der AWO Bundesverband betreibt eine zentrale Mitglieder- und Adressverwaltung (ZMAV). Das Projekt „AWO digital Lab“ hat das Ziel, die Digitalisierung innerhalb der Arbeiterwohlfahrt zu stärken. Im Rahmen dieses Projektes soll ein neues CRM-System für die zentrale Mitglieder- und Adressverwaltung erprobt werden, um datenbasiertes Arbeiten im Verband weiter zu entwickeln.
Das Kompetenzzentrum ‚Wirkungsorientierung in der Sozialen Arbeit‘ am Institut für Praxisforschung und Evaluation wurde mit der fachlichen Beratung und Prozessbegleitung bei der Auswahl und Erprobung des Systems beauftragt. Im Rahmen der Prozessbegleitung findet ein regelmäßiger Austausch mit dem AWO-Projektteam zu zuvor definierten Themen statt. Dabei werden u.a.  die zur Auswahl stehenden Systeme bewertet und auch mögliche Hürden oder Risiken beim Einsatz identifiziert.

In einem Workshop-Format werden unter Beteiligung der Landes- und Bezirksverbände mögliche Anwendungsfälle generiert, die mit den Daten der ZMAV und dem neuen System realisiert werden könnten. Im Rahmen einer Priorisierung werden drei Anwendungsfälle ausgewählt, die dann tiefergehend bearbeitet und konkretisiert werden sollen.

Die Ergebnisse aus diesen Workshops werden in einer Konzeptsammlung aufbereitet. Außerdem unterstützt das Kompetenzzentrum bei der Erarbeitung von weiterem Transfer- und Schulungsmaterial, das dann vom AWO-Bundesverband innerhalb seiner Gliederungen veröffentlicht werden kann.