Evaluierung betrieblicher Weiterbildung

-Zugänge und Methoden-

Inhalt:

Einleitung

Berufliche Weiterbildung hat an Bedeutung gewonnen. Die Teilnahmequote an beruflicher Weiterbildung hat sich in Deutschland (altes/neues Bundesgebiet) über einen Zeitraum von zwölf Jahren bis 1991 auf 21% mehr als verdoppelt. Die Aufwendungen für berufliche Weiterbildung steigen daher und es stellt sich die Frage nach ihrem Erfolg. Für die vorliegende Arbeit ist das Augenmerk insbesondere auf den Bereich der Weiterbildung der Betriebe/Arbeitgeber gerichtet. Diese macht mit mehr als einem Viertel und mit ca. einem Drittel sowohl den größten Einzelanteil des gesamten - als auch des beruflichen Weiterbildungsvolumens aus (Kuwan 1993, S. 226/240).

Über Folgendes ist Rechenschaft abzulegen: Wann ist betriebliche Bildung erfolgreich? Welche Kriterien werden bei der Erfolgsmessung und -beurteilung zugrundegelegt? Wie wird der Erfolg in der Praxis gemessen? Wie verschaffen sich die Betriebe Gewissheit über den Erfolg ihrer Weiterbildung? Die Grundlage für die vorliegende Ausarbeitung speist sich im wesentlichen aus Erfahrungen betrieblichen Qualitätsmanagements, ergänzt um Elemente aus der Vorstudie zur Evaluation der öffentlich verantworteten Weiterbildung in Nordrhein-Westfalen (Landesinstitut für Schule und Weiterbildung [LSW] 1996); es handelt sich um die Zusammenfassung meines Referats vom 02.12.1996.

Ziel der Fragen nach Erfolg und Qualität ist es, zu erfahren, ob sich betriebliche Weiterbildung auch lohnt, ob sie den erwarteten Effekt erreicht hat und ob ihr Aufwand Kosten-Nutzen-Überlegungen standhält. Hier setzen Evaluation und Bildungscontrolling an. Deren Maßstab ist die Verwertbarkeit des Gelernten am Arbeitsplatz, im betrieblichen Alltag. Im Gegensatz zu den Kosten lässt sich dieser Nutzen jedoch nur schwer beurteilen. Die Akzeptanz und Effektivität der Maßnahmen betrieblicher Weiterbildung entscheidet sich am "Maß der Professionalität der Personalfunktion und deren Integration in das Unternehmensgeschehen" (Arnold/Krämer-Stürzl 1995, S.3). Was darunter im einzelnen zu verstehen sein soll, muss anhand der Möglichkeiten und Orientierungen der Evaluation in gezielte Fragestellungen einfließen. Im Hauptteil der erwähnten Vorstudie werden beispielsweise 53 Fragestellungen jeweils aufgrund kurzer Situationseinschätzungen in Bezug auf folgende drei Funktionsfelder und die entsprechenden Bearbeitungsgegenstände dargestellt: erstens den Ordnungs- und Förderrahmen, d.h. die Themen öffentliche Verantwortung, Vernetzung der Weiterbildung mit Schule, Hochschule und Berufsausbildung, Kosten und Finanzierung, regional gestaltete Bildungslandschaften sowie zu Berichtswesen und Verwaltungsvereinfachung, zweitens die Angebotsstruktur und die Teilnehmerschaft, sowie drittens die Weiterbildungseinrichtungen, d.h. Personal und Professionalität, Weiterbildungseinrichtungen im Wandel, Bauten, Häuser, Räume und Qualitätssicherung und -entwicklung.

Im Folgenden werde ich nach Erläuterung wesentlicher Begriffe kurz die Wirkungsfelder und Instrumente der Evaluation betrieblicher Weiterbildung darstellen und schwerpunktmäßig ihre Orientierungsmöglichkeiten erörtern. Kennzeichnend für den Zusammenhang von Evaluation und Professionalität ist dessen Überprüfbarkeit anhand von Regeln, Zielen und Standards von Evaluationsverfahren. Im Betrieb ist es dazu wichtig, das Verhältnis zwischen der Aufgabe des Vorgesetzten und den subjektiven Voraussetzungen des Akteurs zu charakterisieren. Dies gegenseitige Aufeinanderbezogensein wird deutlich, wenn Verfahren der Fremdevaluation, d.h. mit externer Dimension, und das angestrebte komplementäre Muster von Selbst- und Fremdevaluation vorgestellt werden. Abschließend werden Vor- und Nachteile der Evaluation als Verfahren zur Qualitätssicherung betrieblicher Weiterbildung in ähnlichern Weise gegenübergestellt, wie in der Seminarveranstaltung am 10.02.1997 geschehen.

In der Diskussion zur Evaluation werden die Begriffe Erfolgskontrolle, Evaluation, Bildungscontrolling sowie Total-Quality-Management benutzt, deren Bedeutungen hier kurz zusammengefasst sind.

Auswertungen am Seminarende stellen nur einen Teilaspekt der Evaluation dar. Um von einer technokratisch verstandenen Kontrollierbarkeit von Bildungsmaßnahmen zur Evaluation zu gelangen, muß Erfolgkontrolle um Erfolgssteuerung erweitert werden. Dieser Schritt ist häufig noch nicht vollzogen worden.

Wirkungsfelder und Instrumente der Evaluation

Wirkungsfelder der Weiterbildung sind das Lern- und das Funktionsfeld (Arbeitsfeld). Erfolg im Lernfeld bedingt nicht automatisch Erfolg im Funktionsfeld. Die unterschiedlichen Instrumente bzw. Zugriffsformen der Erfolgskontrolle lassen sich jeweils dem Lern- oder dem Funktionsfeld zuordnen. Beispiele für Instrumente sind die prozessbezogene Evaluierung wie Zwischentest und "Blitzlicht" im Lernfeld, sowie die ergebnisorientierte Evaluierung anhand von Berichten, Rollenspielen und Umsetzungszielen; im Funktionsfeld sind es vorzugsweise Interviews, die Entwicklung der Rate der Krankheitsausfälle und der Personalfluktuation sowie Verbesserungsvorschläge und Workshops (n. Arnold/Krämer-Stürzl 1995, S. 5-7). Beobachtungen und Gespräche sind universell einzusetzende Instrumente, sowohl im Lern- als auch im Funktionsfeld. Kritisch ist anzumerken, dass Arnold/Krämer-Stürzl nur für das Lernfeld eine Unterscheidung von prozess- und ergebnisorientierter Evaluation vorgenommen haben. Diese Unterscheidung mutet allzu willkürlich an, denn nicht nur die Evaluierungsinstrumente zum Arbeitsprozess, sondern auch zum Arbeitsergebnis (dem Output) wären differenziert darzustellen. Die Darstellung entsprechender Instrumente würde jedoch den Rahmen dieser Darlegung sprengen (vgl. dazu den letzten Abschnitt). Solche Überlegungen führen allerdings weiter zu den im folgenden Abschnitt dargestellten Orientierungsmöglichkeiten einer Evaluierung.

Orientierungen der Evaluierung

Die Formen der Evaluierung lassen sich unterscheiden in Input-, Kosten-, Zielerreichungs-, Verlaufs-, Output-, Transfer- und entwicklungsorientierte Evaluierung. Die Input-Evaluierung fragt nach Veränderungen der personellen und organisatorischen Anforderungen an die Voraussetzungen für Bildungsprozesse; die Kosten-Evaluierung nach den notwendigen personellen, zeitlichen, sachlichen und finanziellen Ressourcen. Bei einer Zielerreichungs-Evaluierung lässt sich die Übereinstimmung der Bildungsziele mit den Unternehmenszielen in der Gesamtstrategie des Unternehmens überprüfen; diese hat damit auch eine gewisse Legitimationsfunktion. Mit Hilfe einer verlaufs- / seminarorientierten Evaluation lässt sich auch überprüfen, ob die die Durchführung der Planung entspricht oder Korrekturen notwendig sind. Stimmungsbarometer, schriftliche bzw. mündliche Befragungen, Feed-back-Methoden werden durchgeführt am Ende einer Maßnahme; typisch sind diese Methoden bei einer dezentralen Organisation des Unternehmens. Der Seminarerfolg, ausgewertet beispielsweise am Zufriedenheitsgrad der Teilnehmer, kann zum Legitimationsnachweis gegenüber der Geschäftsleitung verdichtet werden. Vorher muss allerdings festgelegt worden sein, ob Zufriedenheit das Erfolgskriterium sein soll. In der Outputevaluierung wird nach dem Beitrag der Maßnahme zur Zielerreichung gefragt, während die Transferevaluierung nach der Umsetzung in die Praxis fragt. Der Maßstab für diese Orientierung sind nicht Fragebogenergebnisse, sondern verbesserte Personalentwicklung und Problemlösungsfähigkeit vor Ort. Die entwicklungsorientierte Evaluierung entfernt sich vom Zyklus Bedarfsermittlung, Seminarangebot, Durchführung und Erfolgskontrolle. Der Bildungsbedarf kristallisiert sich aufgrund des Leistungs- und Beratungsprofils der Bildungsabteilung an die Mitarbeiter als ‘Kunden’ der Weiterbildungsabteilung heraus. Entwicklungsorientierte Evaluation stellt die Hebung des Selbsthilfepotentials der Mitarbeiter in den Vordergrund, indem sie das Augenmerk auf die zunehmende eigene Erfolgssensibilisierung der Mitarbeiter lenkt. Dadurch nimmt der Stellenwert externer Berater und Organisationsentwickler ab (n. Arnold/Krämer-Stürzl 1995, S. 5-11). Im Folgenden werde ich die letztgenannten Aspekte vertiefen und den Wert insbesondere der transfer- und entwicklungsorientierten Selbstevaluation darstellen.

Transfer- und entwicklungsorientierte Selbstevaluation

Der Sinn insbesondere der transfer- bzw. entwicklungsorientierten Selbstevaluation, also der Selbstorganisation gegenüber der Fremdkontrolle, ist folgendermaßen herzuleiten: Die Unternehmen müssen sich von der Massenproduktion auf Kundenorientierung umstellen und flexibel auf sich verändernde Nachfragestrukturen eingehen. Dabei haben sie unter Kosten- und Fristenminimierung Qualitätserzeugnisse, integriert mit weitergehenden Servicepaketen zu liefern. Hierzu sollten zunächst CIM (computer integrated manufactoring)-Systeme beitragen, die eine Prozess-Datenverarbeitung unter weitgehender Loslösung von Steuerungseingriffen durch den Menschen vom Auftragseingang über Entwicklung und Konstruktion bis hin zur Auslieferung des fertigen Produktes vorsahen (Heidegger u.a. 1991, S. 246). Abgesehen von ihren immensen Kosten haben diese Systeme mit ihrem top-down-Ansatz die Dynamisierung des Gesamtbetriebes im Verhältnis zur Komplexität der Marktumgebung eher behindert als gefördert. Der nächste Schritt war die Verlagerung der Kompetenzen auf die untere Ebene der Organisation. Die Schlagworte lauten "Selbstorganisation mit horizontaler Vernetzung der teilautonomen Einheiten", "lean management", "fraktale Fabrik" und "lernendes Unternehmen". Kreativität und Innovationsfähigkeit motivierter MitarbeiterInnen im Umgang mit Markterfordernissen werden zum begrenzenden Faktor des Unternehmenserfolges. Die Durchführung von Lernprozessen muss daher auf diese Schlüsselkompetenzen abzielen, ohne dass der fachliche Aspekt darunter leidet. Das Lernarrangement ist ganzheitlich gestaltet und verwoben mit den praktischen Arbeitsprozessen. Der selbstverantwortliche Mitarbeiter muss auch dort Kompetenz beweisen, wo es um die Frage der Qualitätskontrolle seiner eigenen Weiterbildung geht. Hierzu gehören die schon genannte Reflexivität und Selbstreflexion im Entscheidungsprozess. Der Lernende und der Dozent ist in der Lage, den Maßstab der Anwendung des Gelernten beständig in die Weiterbildung rückzukoppeln. Im Vergleich dazu erscheinen externe Kontrollprozesse teuer und ineffektiv. Sie wirkt sogar eher hemmend, weil ihre Vorgaben und Annahmen weiterverfolgt werden, obwohl sich die Situation längst verändert hat. Die Gesamtheit der Lern- und Organisationsprozesse ist jedoch verantwortlich für Unternehmensinnovation und Markterfolg (n. Stahl 1995, S. 91-91).

Zusammenfassend ergeben sich folgende Schwerpunkte entwicklungsorientierter Weiterbildung (n. Arnold/Krämer-Stürzl 1995, S. 16-17), deren Evaluation ein Qualitätssicherungs-Instrument darstellt:

• Hilfe zur Problemlösung im Arbeitsumfeld, an den Unternehmenszielen und der Unternehmensstrategie ausgerichtet
• Mittel der Personalentwicklung für einzelne Mitarbeiter und für Abteilungen

Die Umsetzung erfolgt in einer dialogisch ausgerichteten Strategie nach dem Modell des Total-Quality-Konzeptes zwischen Mitarbeiter, Vorgesetztem und Bildungsabteilung. Das Qualitäts- und Erfolgsbewusstsein aller Beteiligten muss sensibilisiert werden, indem diese in systematischer Weise im Dialog beteiligt werden. Dieser Prozess wird an einem Schaubild verdeutlicht.

Th. Stahl betont die notwendigen gestaltenden Kompetenzen der Mitarbeiter in der Kommunikation und Kooperation infolge des Wegfalls hierarchischer Anweisungssysteme und der Zunahme der horizontalen Vernetzung. Dem Mitarbeiter wird Verantwortung über Millionenwerte von Maschinen übertragen, also sollte man ihm auch zutrauen, den Nutzen von Lernprozessen für die Bewältigung seiner Arbeit zu beurteilen. Der vernunftbegabte Mitarbeiter hat die beste Möglichkeit,

• Bildungsbedarfe festzustellen, differenziert in den verschiedenen Handlungsfeldern
• den Nutzen seines Lernens für die Bewältigung praktischer Arbeitsaufgaben festzustellen
• die Rückkoppelung auf die Lernsituation (Curriculum, Dozenten, Materialien) zu leisten
• fortbestehende Kompetenzlücken zu erkennen und neue Lernprozesse in Gang zu setzen

Teilnehmer und Dozenten können durch ihren selbstevaluativen Einsatz Prozesse der Qualitätssicherung vereinfachen und Mängel autonom abstellen. Von dieser Möglichkeit wird jedoch viel zu selten Gebrauch gemacht (n. Stahl 1995, S. 93-95). In den folgenden Abschnitten werden daher die Voraussetzungen und Probleme betrachtet, die hierfür verantwortlich sind.

Evaluation und Professionalität

Maßstäbe für professionelles Handeln können auf verschiedenen Ebenen angesiedelt werden. Ich beginne mit den Ansprüchen an erziehungswissenschaftliche Evaluation, um dann zur Ebene betrieblichen Handelns und zu den Zielen und Standards der Selbstevaluation zu gelangen.

Allgemeine Regeln der erziehungswissenschaftlichen Evaluation

Die acht Regeln erziehungswissenschaftlicher Evaluation lauten zusammengefasst, dass sich erstens ihre Hypothesen aus den Wert- und Zielvorstellungen des zu untersuchenden Projekts ergeben, dass sie zweitens den konstitutiven Projektzusammenhang rekonstruiert, drittens die Kriterien der Projektbewertung zu begründen hat, dass viertens die Messung an Kriterien erfolgen muss und dass fünftens diese Ergebnisse Aufklärungen über das Verhältnis zwischen erwarteten und tatsächlich erreichten Konsequenzen sind, sechstens die Evaluationsergebnisse nicht nur aus validen Informationen, sondern darüber hinaus auch aus begründeten Bewertungen und siebtens aus entsprechenden Empfehlungen bestehen. Schließlich müssen achtens evaluative Handlungsorientierungen in methodischer Weise implementiert werden (n. Kordes 1993, S. 570-576). Diese Regeln setzen meiner Einschätzung nach einen so hohen theoretischen Anspruch, dass sie in der betrieblichen Weiterbildung nicht einzuhalten sind. Dennoch finde ich es interessant, sie zum Vergleich hinzuziehen zu können (siehe S. 9). Sie dienen dazu, den die Evaluationsverfahren an einem erziehungswissenschaftlichen Anspruch zu messen.

Ziele und Standards der Selbstevaluation

Für die Selbstevaluation bestehen die Ziele in der Stärkung der Weiterbildungseinrichtung in Bezug auf ihre betriebliche Orientierung unter den gegebenen Rahmenbedingungen, der Entwicklung eines eigenständigen Profils in der Angebotsentwicklung sowie der Verbesserung der Weiterbildungsverfügbarkeit und Bedarfsdeckung unter dem Gesichtspunkt von Koordination und Kooperation der Akteure. Die Merkmale von Weiterbildung in öffentlicher Verantwortung bestehen demgegenüber im Wesentlichen in der Offenheit und Transparenz einschließlich der Jedermann-Zugänglichkeit, der Systematik und Kontinuität in Angebot, Personal, Organisation, der Entwicklungsorientierung und Flexibilität, die nicht auf Kurzfristigkeit und Marktorientierung begrenzt ist, in der Orientierung am Gemeinwohl der Gesellschaft, der Demokratie und der Arbeitswelt und im Hinblick auf Benachteiligte, in der erwachsenenpädagogischen Qualität und Professionalität, einschließlich der fachlichen Förderung der Einrichtungen durch Träger und Staat sowie der institutionalisierten Strukturen, die sich auf Flächen- und Bedarfsdeckung sowie Finanzierung bezieht (LSW 1996, S. 22). Nicht zuletzt gilt nach dem Weiterbildungsgesetz Nordrhein-Westfalen [WbG] (§1), dem Individuum das Recht auf Weiterbildung zu gewährleisten; an diesen Zielen hat sich auch eine Selbstevaluation zu orientieren.

Zielsetzung in beiden Bereichen ist in jedem Fall die permanente Verbesserung der Weiterbildungspraxis. Die entsprechende Zielsetzung im einzelnen gibt dazu den Richtwert für jede Evaluation an. Im Folgenden stelle ich Maßstäbe für die als besonders vorteilhaft angesehene Selbstevaluation vor. Der Prozess der Selbstevaluation einer Bildungseinrichtung (LSW 1996, S. 55/56) wird von einer Lenkungsgruppe, zusammengesetzt aus Vertretern von Einrichtungen, Teilnehmerschaft, Fachleuten etc. unterstützt, für die betriebliche Selbstevaluation müsste meines Erachtens eine ebensolche Lenkungsgruppe gebildet werden. Es gelten für die Selbstevaluation folgende Standards, die in Anlehnung an das in den USA gegründete Joint Committee on Standards of Educational Evaluation formuliert wurden. Zum Standard gehören dementsprechend die Beteiligung der Betroffenen, eine klare Zielsetzung des Vorhabens, die Vorab-Klärung von Durchführungsnormen, einleuchtende, relevante Fragen, handhabbare Methoden, Einbeziehung unterschiedlicher Sichtweisen, schnelle Rückmeldung an alle Beteiligten, ausreichend Zeit für die Auswertung, Dokumentation der Ergebnisse und Beschlüsse sowie die regelmäßige Anwendung (LSW 1996, S. 55/56).

Vergleich Standards: erziehungswissenschaftliche Evaluation vs. Selbstevaluation
 

Regeln erziehungswissenschaftlicher Evaluation	Standards der Selbstevaluation
Hypothesen ergeben sich aus den Wert- und Zielvorstellungen des zu untersuchenden Projekts	Beteiligung der Betroffenen
Der konstitutive Projektzusammenhang wird rekonstruiert
Die Kriterien der Projektbewertung sind zu begründen	Vorab-Klärung von Durchführungsnormen,  Einleuchtende, relevante Fragen Handhabbare Methoden
Die Messung erfolgt an Kriterien	Klare Zielsetzung des Vorhabens
Die Ergebnisse geben Aufklärung über das Verhältnis zwischen erwarteten und tatsächlich erreichten Konsequenzen	Dokumentation der Ergebnisse
Die Evaluationsergebnisse bestehen nicht nur aus validen Informationen, sondern darüber hinaus auch aus begründeten Bewertungen	Einbeziehung unterschiedlicher Sichtweisen
Die Evaluationsergebnisse enthalten entsprechende Empfehlungen	Regelmäßige Anwendung
Evaluativ gewonnene Handlungsorientierungen müssen in methodischer Weise implementiert werden	Ausreichend Zeit für die Auswertung - Schnelle Rückmeldung an alle Beteiligten

Aus dieser assoziativen Gegenüberstellung wird m.E. nach deutlich, dass die Regeln umfassender, die Elemente des Selbstevaluationsstandards jedoch griffiger formuliert sind und nach seinem Selbstverständnis die subjektiven Aspekte stärker betonen. Bis auf die Rekonstruktion des konstitutiven Projektzusammenhangs lassen sich die Regeln und die Elemente des Standards gut in Vergleich bringen. Es wird deutlich, dass auch der Gesamtzusammenhang eines Weiterbildungs-Evaluationsprojektes zu einem ganzheitlichen, umfassenden Verständnis gehört sowie die Umsetzung nicht mit der Auswertung abgeschlossen sein kann (zum komplementären Muster von Selbst- und Fremdevaluation: siehe S. 12/13).

Kennzeichen der Professionalität in der Evaluation

Ein solches ganzheitliches Verstehen findet seinen Ausdruck in der Professionalität betrieblicher Weiterbildung. Dezentralisierung, auf die Organisationsentwicklung bezogene Problemlösung, die Weitung des "didaktischen Blicks" sowie die Abkehr vom didaktisch-methodischen Traditionalismus und einer expertenabhängigen Management-Andragogik stehen im Zentrum der Ansätze. Erstrangiges Ziel ist die Entwicklung eines Erfolgsbewusstseins bei allen beteiligten Mitarbeitern, das von folgenden Faktoren gefördert wird (n. Arnold/Krämer-Stürzl 1995, S. 11-15):

• Verankerung betrieblicher Weiterbildung in den Unternehmenszielen als Beitrag zur Organisationsentwicklung
• Dezentrale Organisation der Weiterbildung, bereichsindividuelle Problemlösungen
• Bedarfsanalyse und Entwicklung konkreter Ziele gemeinsam mit den Mitarbeitern
• Loslassen von alten Gewohnheiten und Aufgeschlossenheit
• Unterstützung der Umsetzung durch den Vorgesetzten
• Orientierung der Weiterbildung an praxisbezogenen Problemen der Mitarbeiter / der Abteilung
• Projektorientierte Zusammensetzung der Lerngruppe
• Abstimmung von Inhalten und Formen der Weiterbildung auf die Zielgruppe
• Innovationsfreundliches Betriebsklima

Klar wird dabei, dass Probleme oft komplexe Ursachen haben und Situationen auch durch "Macher" nicht vollständig beherrschbar sind. Für das Gelingen von Weiterbildung sind die nichtmateriellen, unternehmens-kulturell und biographisch verankerten Dimensionen der betrieblichen Entwicklung maßgeblich. Höhere Professionalität bedeutet weniger eine Erfolgskontrolle als die Einbindung der Weiterbildung in die strategische Organisationsentwicklung. Weiterbildner müssen die Moderationstechnik beherrschen, wenn sie zu Beratern des Wandlungsprozesses vor Ort werden wollen. Führungskräfte und Bildungsverantwortliche gemeinsam beobachten mit "evolutionärem Blick" die Entwicklung des Unternehmens.

Eine selbstkritische Evaluation würde zunichte gemacht, wenn Kritikpunkte Grundlage für Nachteile in der Beurteilung und in den Karrieremöglichkeiten wäre. Daher sind bestimmte Voraussetzungen notwendig, damit sich Selbstevaluation positiv auswirken kann; davon handelt der nächste Abschnitt.

Aufgabe des Vorgesetzten und Voraussetzungen im Subjekt

Die Weiterbildungsmaßnahmen sollen den Teilnehmern etwas bringen, Management durch Lernen wird zur zentralen Aufgabe des Vorgesetzten. Der Prozess setzt eine kontinuierliche Zielvereinbarung zwischen den Vorgesetzten und Mitarbeitern voraus. Das zu Lernende muss genau geplant und besprochen werden. Nach der Maßnahme sollten Umsetzungsmöglichkeiten gefunden werden, bei Schwierigkeiten sollten Vorgesetzter und Weiterbildner mit den Mitarbeitern neue Lösungen finden. Folgende Führungsprinzipien sollten sich die Vorgesetzten daher zu eigen machen:

• Erfolg durch leistungsfähige Zusammenarbeit als Zukunftsaufgabe
• Von der Schuldzuweisung zur Selbstverantwortung
• Offenheit und Vertrauen durch klare Strukturen, präzises Fragen und Klären

Der Vorgesetzte sollte für Gruppenprozesse sensibilisiert sein, Konflikte konstruktiv bewältigen können sowie Problemlösungsstrategien bzw. -techniken und Strukturierungsverfahren anwenden können. Dadurch und durch eigene Weiterbildung als Führungskraft und Betriebspädagoge werden langfristig Veränderungen im Sinne eines Organisationslernens möglich (n. Arnold/Krämer-Stürzl 1995, S. 17- 19).

Th. Stahl nennt weitere Voraussetzungen, auch für das Gelingen der Selbstevaluation im Subjekt und dessen Umgebung. Eigene Kompetenzlücken werden eher verdeckt, Mitarbeiter und Dozenten erlangen keine selbstkritische Einstellung zu ihren Tätigkeiten und Kompetenzmängel können den Aufstieg bremsen und im Extremfall sogar ein Grund zur Entlassung sein: Dieser Mechanismus muss abgebaut werden. Wenn sich ein Mitarbeiter zu derartigen Mängeln bekennt, darf ihm dies nicht zum Nachteil gereichen. Erforderlich ist es ebenso, dass konstruktiver Umgang mit eigenen Schwächen zum positiven Selbstbild gehört und die "Subjekte der Selbstevaluation" sich zu Spezialisten ihres eigenen Lernverhaltens entwickeln. Diese Kompetenz ist Resultat fachlicher Weiterbildung und verschiedener Formen der Organisationsentwicklung (n. Stahl 1995, S. 95-97). Um den Zusammenhang von Selbst- und Fremdevaluation herzustellen, werde ich zunächst Organisationsformen der Evaluation mit externer Dimension am Beispiel der öffentlich verantworteten Weiterbildung in Nordrhein-Westfalen vorstellen.

Peer Review und responsive Evaluation

Die Gültigkeit und Zuverlässigkeit dieser Methoden orientiert sich dabei an den Interessen der Beteiligten (LSW 1996, S. 58 ff.), deren Partizipation ein wichtiges Element ist. Nach der Empfehlung des LSW kann für die öffentlich verantwortete Weiterbildung gleichzeitig mit der Durchführung einer Systemuntersuchung mittels des Peer Review-Verfahrens und der Förderung und Durchführung mindestens eines handlungsorientierten Projektes der Selbstevaluation/responsiven Evaluation begonnen werden.

Peers sind externe, unabhängige Sachverständige, denen ein Beirat, zusammengesetzt aus beteiligten Träger/Landesorganisationen, Ministerien usw. zugeordnet ist. Der Peer Review (vgl. LSW 1996, S. 54) liefert ein Entwicklungskonzept beispielsweise zur Optimierung der Angebotsstruktur. Das Merkmal dieser Methode ist es, die systemeigenen Qualitätsansprüche eines Projektes durch einen Expertenkreis überprüfen zu lassen, dabei ist das Prinzip der Selbstbestimmung des Auftraggebers besonders wichtig. Das Verfahren liefert unabhängige und kritische Rückmeldungen über Kommunikationsabläufe in Einrichtungen.

Die responsive Evaluation benötigt eine Lenkungsgruppe, bestehend aus Vertretern der Einrichtungen, Landesorganisationen, dem Ministerium usw.  Diese Evaluationsform hat die größte Ähnlichkeit mit der Selbstevaluation, unterscheidet sich aber von ihr durch die Berücksichtigung verschiedener, auch konkurrierender Interessen. Ihre Standards beziehen sich auf die Nützlichkeit, d.h. auf das Bedürfnis der NutzerInnen, auf die Durchführbarkeit, d.h. die Durchdachtheit und das Kostenbewusstsein, auf die Korrektheit, d.h. die Einhaltung rechtlicher und ethischer Normen sowie die Genauigkeit, d.h. die fachliche Angemessenheit.

Zum einen gibt es einen fließenden Übergang von der internen Dimension der Selbstevaluation der Handelnden über die interne Evaluation eines Betriebes, die interne Steuerung eines externes Evaluatorenteams durch Beteiligte bei der responsiven Evaluation, zur externen Dimension der Expertenberatung im Peer-Review-Verfahren und zur zusätzlicher wissenschaftlichen Begleitforschung, bei der Beteiligte nicht aktiv eingebunden sind (n. LSW 1996, S. 53). Zum anderen sind die Selbst- und Fremdevaluation in einen engen Zusammenhang zu bringen, wie im folgenden dargelegt wird.

Selbst- und Fremdevaluation: ein komplementäres Muster

Aufgrund der oben  geschilderten Probleme der Selbstevaluation konnte schon deutlich werden, dass Elemente der Fremdevaluation unverzichtbar bleiben. Beide Arten der Evaluation sind nur im wechselseitigen Austausch sinnvoll einzusetzen. Selbstevaluation gewinnt durch Fremdevaluation die notwendige Selbstdistanz, Fremdbeurteilungen bedürfen der Kontrolle durch die Betroffenen. Es sind (nach Stahl 1995, S. 98) zwei Seiten derselben Medaille; das Schaubild (Anlage 2) illustriert den Zusammenhang zwischen Selbst- und Fremdevaluation betrieblicher Weiterbildung.

Zusammengefasst ergibt sich folgendes komplementäre Muster von Selbst- und Fremdevaluation:

• Der Mitarbeiter wird zur prioritären Informationsquelle und zum Subjekt seiner Entwicklung im Betrieb
• Notwendig ist eine neue Kultur der Offenheit in den Betrieben, ohne negative Sanktionen infolge Selbstkritik
• Das Selbstbewusstsein des Mitarbeiters wird verstärkt durch Rückkoppelung seiner Selbstbeurteilung durch Fremdevaluation
• Es kommt zum vertrauensvoller Diskurs im Kollegenkreis und mit den Vorgesetzten
• Lehrende und Lernende gestalten offene Weiterbildungskonzeptionen
• Dozenten in der Weiterbildung sind Subjekte der Selbst- und Fremdevaluation. Sie korrigieren unmittelbar Fehlentwicklungen und führen damit Qualitätssicherung "just in time" direkt durch

Fazit: Selbstevaluation kann als Projekt nur gelingen, wenn diese in geeigneten feed-back-Prozessen durch akzeptierte Fremdurteile eingebunden wird.

Für den Bereich der öffentlich verantworteten Weiterbildung gilt Ähnliches: Peer Review-Verfahren und Durchführung mindestens eines handlungsorientierten Projektes der Selbstevaluation/responsiven Evaluation werden durch die Einrichtung eines Forums Weiterbildung zur Erarbeitung eines Leitbildes ergänzt, Sachverständige erarbeiten Gestaltungsvorschläge zur Weiterentwicklung von Aufgaben und Strukturen der Weiterbildung. Es wird dazu eine Kerngruppe mit themenabhängiger Erweiterung gebildet, insbesondere aus den Bereichen Wirtschaft, Kultur und Medien. Die Entscheidung, ob eine Selbst- oder responsive Evaluation durchgeführt wird, muss je nach dem Einzelfall entschieden werden. Alle drei Vorhaben ergänzen sich, sie zielen mit unterschiedlichen Mitteln auf die Entwicklung der Weiterbildung, ihre Praxisveränderung und Qualitätsentwicklung.

Stärken und Schwächen der Evaluation als Verfahren zur Qualitätssicherung

Abschließend möchte ich wesentliche Vor- und Nachteile einer Evaluation darstellen, damit ein Vergleich zu anderen Verfahren der Qualitätssicherung gezogen werden kann. Ohne diese Verfahren und ihre Stärken und Schwächen hier im einzelnen darzustellen (siehe dazu Stockmann 1995, S. 17-27), nenne ich sie hier mindestens: es handelt sich um die Zertifizierung des Qualitätsmanagementsystems nach DIN EN ISO 9000 ff., regionale Gütesiegelverbünde, Checklisten wie die des Bundesinstituts für berufliche Bildung, die Professionalisierung des Lehrpersonals, den Input/Output-Ansatz der Sachverständigenkommission sowie übergreifende Marktmechanismen. Als Qualitätskonzepte auf gesetzlicher Grundlage erwähne ich die Fortbildungs- und Umschulungs-Qualitätsstandards in der nach dem Arbeitsförderungsgesetz geförderten Weiterbildung, Zulassungskriterien nach dem Fernunterrichtsschutzgesetz, Fortbildungsregelungen nach dem Berufsbildungsgesetz und im schulischen Weiterbildungssystem sowie Weiterbildungsgesetze der Länder. Interessanterweise spricht gerade letzteres Beispiel im Falle von Nordrhein-Westfalen für die Evaluation, weil die nach dem Weiterbildungsgesetz (§29) durchgeführte Berichterstattung offensichtlich nicht die notwendige Entscheidungsgrundlage für neue Schwerpunktsetzungen liefern kann. Demgegenüber ist Evaluation ein auf Veränderung, d.h. Innovation ausgerichtetes Verfahren (vgl. LSW 1996, S. 34/S.52). Abhängig von der Art der Evaluation (siehe Abschnitt "Orientierungen der Evaluierung, S. 5) sind beispielsweise ihre Stärken, dass sie der Ermittlung der Input, Durchführungs-(Prozess) und Outputqualität einschließt deren Rückkoppelung dienen kann. Eine Evaluation könnte Aufschluss geben über den effektiverer Einsatz von Mitteln zur Lernzielerreichung, Sinn und Effizienz von finanziellen Aufwendungen im Verhältnis zu den Ergebnissen sowie der Neuverteilung und Anpassung der Mittel dienen. Sie stärkt im Falle der Selbstevaluation den einzelnen Mitarbeiter, weil dessen auf eigenem Werturteil begründete Zielsetzung zum Maßstab der Evaluation gemacht wird; ihre Ergebnisse lassen sich für die Mitarbeiter transparent machen und verbessern somit deren Reflexivität innerhalb des Systems betrieblicher Weiterbildung. Darüber hinaus wird im Falle einer Fremdevaluation das System als Ganzes reflektiert.

Die Schwächen einer Evaluation liegen im Fehlen ihrer inhaltlicher Kriterien sowie möglicherweise im geringen Stellenwert der Input-Auswertung. Werden ihre Ergebnisse und deren Umsetzung den Teilnehmern von Bildungsmaßnahmen nicht transparent gemacht, kann Evaluation auch nicht den oben genannten Vorteil erhöhter Reflexivität entfalten. Nicht zuletzt verursacht eine Evaluation nicht unerhebliche Kosten, die zu ihren erwarteten Nutzeffekten in Beziehung gesetzt werden könnte, wenn sich diese quantifizieren ließen.

Nähme man den Auftrag nach dem Weiterbildungsgesetz ernst, die sieben Sachbereiche nach dem Grundsatz der Einheit der Bildung (WbG NRW, §3) zu planen und die betriebliche Weiterbildung einzubeziehen, müssten auch die obengenannten Evaluationsverfahren mit externer Dimension einschließlich der Beauftragung der jeweiligen Steuerungsgruppen für die betriebliche Bildung angewendet werden. Ein Forum Weiterbildung, wie es auf Landesebene vorgesehen ist, könnte den Rahmen eines sich gegenseitig ergänzenden Musters von Selbst- und Fremdevaluation bilden. Auf Landesebene wird von der Bildungskommission NRW die Forderung nach einer stärkeren Systematisierung der Weiterbildung und Abstimmung auf die Angebote der Erstausbildung erhoben, unter Berücksichtigung der Eigenständigkeit und Eigenverantwortlichkeit der Unternehmen für die betriebsbezogene Weiterbildung (n. Bildungskommission 1995, S. 268). Von der Evaluation der Weiterbildung in NRW wird jedoch gerade dieser Bereich nur "am Rande berücksichtigt" (LSW 1996, S. 5). Hier sehe ich aber noch einen erheblichen wissenschaftlichen und praktischen Entwicklungsbedarf, um diese Vorhaben für die betriebliche Weiterbildung nutzbringend und sinnvoll im größeren Stil einsetzen zu können.

Quellen:

© Claus-Henning Ammann 2002, www.multimedia-pflege.de