Prüfungsfragen automatisch generieren

Das echte Ausmaß des Problems

Die Zahl ist überraschend hoch: Laut einer Erhebung der Deutschen Vereinigung für Weiterbildungsorganisationen (DVWO) aus dem Jahr 2023 entwickelt ein durchschnittlicher Dozent 60–120 Prüfungsfragen pro Lehrgang. Bei mehreren Kursen pro Jahr und mehreren Themen bedeutet das schnell 500–1.000 Fragen je Trainer jährlich.

Die typische Reaktion darauf: Fragen wiederverwenden. Und das bringt reale Probleme mit sich:

• Fragen werden bekannt. In Communities von Teilnehmenden, WhatsApp-Gruppen, Online-Foren, Kursnachzügler, zirkulieren die Fragen und Lösungen. Eine informelle DVWO-Folgestudie 2024 zeigte, dass in der Regel 30–40 Prozent der Teilnehmenden eine bekannte Frage schon gesehen haben, bevor sie die Prüfung schreiben. Das schwächt die Diskriminationskraft (die Fähigkeit, zwischen guten und schwachen Leistungen zu unterscheiden).
• Prüfungs-Validität sinkt. Eine Prüfung soll das Verständnis und die Anwendung messen, nicht das Auswendiglernen von Musterlösungen. Wenn 40 Prozent der Fragen bekannt sind, misst die Prüfung nicht mehr das, was sie soll, sie misst das Netzwerk und die Aufbereitung durch frühere Teilnehmende.
• Differenzierung wird schwach. Wenn alle die gleichen bekannten Fragen lösen können, ist die Notenvergabe weniger aussagekräftig. Ein Teilnehmender, der wirklich versteht, unterscheidet sich dann kaum noch von einem, der “vorbereitet wurde”.
• Bildungsträger-Reputation leidet. Teilnehmende, die merken, dass sie mit einem Zettel mit bekannten Fragen geprüft werden, bewerten das Programm niedriger, zu Recht. Das wirkt sich in NPS und Weiterempfehlung aus.
• Akkreditierungsstellen bemerken es. Für AZAV-akkreditierte Maßnahmen verlangen die Akkreditierungsstellen Hinweise auf regelmäßig aktualisierte Fragebänke als Indikator für professionelle Qualitätssicherung. Ein Trainer, der fünf Jahre lang die gleichen Fragen nutzt, gerät in Begründungszwang.

Das Problem ist nicht die Schöpfungshoheit über Fragen, das ist nicht das Thema. Das Problem ist: Prüfungen funktionieren nur, wenn die Fragen neu sind. Und 40 neue, gut durchdachte Fragen zu schreiben kostet Zeit, die Trainer schlicht nicht haben, wenn sie gleichzeitig Kurse durchführen, Teilnehmende betreuen und Materialien aktualisieren.

Mit vs. ohne KI, ein ehrlicher Vergleich

Vergleichswerte: Eigene Befragungen von Dozenten in Weiterbildungseinrichtungen (2024), Zeiten inkl. Prüfung und Überarbeitung.

Der zentrale Punkt: Quantität führt zu besserer Qualität. Mit KI kannst du nicht nur schneller 40 Fragen schreiben, du kannst 100 oder 150 schreiben und dann die besten 40 auswählen. Das ist ein fundamentaler Unterschied zu: 40 schreiben und hoffen, dass sie passen. Ein großer Pool mit varianten Schwierigkeitsgraden und Themen-Kombinationen führt zu einer besseren Prüfung. Punkt.

Einschätzung auf einen Blick

Zeitersparnis, hoch (4/5) 5–10 Stunden pro Kurs zu sparen ist substantiell. Nicht 15–20 wie bei UC01 (Lernmaterialien), weil Fragen strukturell einfacher sind und weniger didaktische Varianz brauchen, aber trotzdem eine klare Reduktion. Die Messbarkeit ist exzellent: Vorher-nachher Zeitmessungen sind greifbar. Der Effekt ist stabil über viele Kurse. Nicht höher bewertet, weil die Prüfphase (Qualitätssicherung, didaktische Angemessenheit) weiterhin zeitintensiv bleibt, die KI reduziert die Schreibarbeit, nicht die Denkarbeit.

Kosteneinsparung, niedrig (2/5) Wer Prüfungen bisher nicht outsourcte, spart keine direkten Kosten, der Nutzen liegt rein in freigesetzter Trainerzeit. Nur Bildungsträger, die bisher 1.000–3.000 € pro Kurs an externe Prüfungskonzepteure zahlten, sehen konkrete Einsparungen. Für die meisten Weiterbildungsträger liegt der Vorteil woanders (bessere Fragenqualität, mehr Varianz), nicht in direkten Kosteneinsparungen. Deshalb 2 statt 3 oder 4.

Schnelle Umsetzung, hoch (4/5) Claude oder ChatGPT sind sofort einsatzbereit, kein Setup. Ein gut strukturierter Prompt ist nach 1–2 Testsitzungen brauchbar. Nach 4–6 Wochen hat ein Trainer seine “Prüfungs-Prompts” optimiert und kann sie auf alle Kurse anwenden. Nicht 5, weil die Prompt-Optimierung (um Bloom-Levels konsistent zu treffen, um die richtige Schwierigkeitsmischung zu finden) ein Lernen erfordert, aber deutlich schneller als “komplett manuell” oder spezialisierte Software.

ROI-Sicherheit, hoch (4/5) Der Nutzen ist unmittelbar messbar: Zeit für Fragenerstellung sinkt sofort. Die Prüfungs-Validität lässt sich in einer Pilotphase mit zwei Gruppen testen (neue Pool-Varianten vs. alte Recycling-Fragen). Das ist nicht abstrakt, sondern konkret beobachtbar. Der Effekt auf Noten-Streuung und Erfolgsquoten kann statistisch gemessen werden. Nicht 5, weil die Investition in Prüfung und Qualitätssicherung real ist, sie ist nur deutlich geringer als das Schreiben von Grund auf.

Skalierbarkeit, hoch (4/5) Ein einmal entwickelter Prompt skaliert auf alle Kursthemen. Zehn Kurse bedeuten nicht zehn Mal mehr Arbeit, sondern zehn Mal Prompt-Anwendung. Das ist der Kern von KI-Skalierung. Knapp nicht 5, weil jedes neue Kursthema minimal an den Prompt angepasst werden muss (Lernziele variieren, Bloom-Anforderungen variieren), aber diese Anpassung ist in Minuten erledigt, nicht Stunden. UC03 (Kursempfehlungen) ist der Skalen-Absolut-Leader in dieser Branch, deshalb 4 statt 5 hier.

Richtwerte, stark abhängig von Kurskomplexität, vorhandenen Lehrplänen und Prüfprozessen.

Was das System konkret macht

Generative KI ist hier nicht ein Qualitäts-Autopilot, sondern ein Fragenentwurfs-Katalysator mit Struktur. Wichtig: Die KI generiert die Rohfragen, der Trainer entscheidet über Eignung, Schwierigkeit und Korrektheit.

Aus Lernzielen und Curriculum zur Fragenbank: Du gibst das Curriculum ein, alle Lernziele, Modulinhalte, Themenblöcke. Die KI erstellt dann nicht wild drauflos, sondern strukturiert nach Bloom-Taxonomie: Fragen auf der Ebene “Erinnern” (Was ist ein Projektmeilenstein?), “Verstehen” (Erkläre den Unterschied zwischen Puffer und Slack), “Anwenden” (Erstelle einen realistische Meilenstein-Zeitplan für folgendes Projekt), “Analysieren” (Welche Risiken ergeben sich aus dieser Planung?), “Bewerten” (Warum ist diese Planung besser/schlechter als die Alternative?).

Multiple-Choice, Single-Choice, offene Fragen, in einem Durchgang: Mit einem strukturierten Prompt kannst du in einer KI-Session 50 Fragen generieren, davon 15 MC, 15 SC, 20 offen. Mit Schwierigkeitsunterteiling. Die KI “versteht” (im statistischen Sinne) die Struktur, weil der Prompt das so aufgeteilt hat.

Automatische Varianten für Paralleltermine: “Erstelle für jede Frage eine Variante mit anderen Zahlen/Namen/Szenarien”, dafür spart man locker 3–5 Stunden pro Prüfungszyklus. Statt die gleiche Frage morgens und nachmittags zu nutzen, nutzt du morgens Variante A und nachmittags Variante B. Auch die Nachholgruppe bekommt Variante C. Abschreiben wird deutlich schwächer.

Antwortschlüssel mit Bewertungslogik: Die KI kann gleichzeitig mit den Fragen auch den Antwortschlüssel generieren, inklusive Punkteverteilung. “Für MC: 1 Punkt pro richtig. Für SC: 2 Punkte. Für offene Fragen: 0–3 Punkte je nach Umfang und Genauigkeit, Bewertungskriterien in […]”, damit hast du nicht nur Fragen, sondern ein komplettes Prüfungs-Rahmenwerk.

Bloom-Level-Zuordnung: Der Prompt kann die KI instruieren, jede Frage mit ihrem Bloom-Level zu kennzeichnen. Damit siehst du sofort: “Habe ich zu viele Erinnerungsfragen und zu wenig Analyse-Fragen?” Qualitätssicherung auf struktureller Ebene.

Was die KI nicht leistet

Thematische Korrektheit bleibt deine Aufgabe. Eine KI kennt keine Sonderfallregelungen in deinem Curriculum, keine speziellen Fallstricke, die du wissen willst, dass Teilnehmende verstehen. Ein Trainer, der nicht selbst überprüft, ob die generierten Fragen fachlich stimmen, wird Müll in seine Prüfung einbauen. Das funktioniert nicht.

Ebenso: Soft Skills und Einstellungsfragen sind härter. Multiple Choice für “Projektmanagement-Tools” funktioniert gut. Multiple Choice für “Wie führst du ein schwieriges Feedback-Gespräch?” funktioniert weniger gut, zu viele kontextabhängige “richtige Antworten”. Die KI-Qualität ist da schlechter.

Konkrete Werkzeuge, was wann passt

Claude oder ChatGPT, der unmittelbare Einstieg. Beide unterstützen lange PDF-Uploads (Lehrpläne, Modulinhalte). Claude hat bei strukturierten Ausgaben (Fragen + Antwortschlüssel + Bloom-Levels) eine etwas konsistentere Formatierung; ChatGPT ist beim kreativen Variieren von Szenarien flexibler. Kostenlos getestbar, ab 20 USD/Monat als Pro-Version für regelmäßige Nutzung.

NotebookLM, spezialisiert auf Dokumenten-basierte Inhalte. Du uploadest deine Kursmaterialien (Präsentationen, Handouts, PDFs), und NotebookLM generiert daraus Quizfragen mit verschiedenen Schwierigkeitsgraden. Für Trainer, die ihre Materialien bereits digital haben, ist das der schnellste Einstieg. Freemium, ab 10 USD/Monat.

Microsoft 365 Copilot, wenn deine Institution Office 365 nutzt. Copilot in Word und OneNote kann aus Dokumenten Quizfragen generieren. Vorteil: Alles bleibt in deiner Organisation. Nachteil: Weniger Kontrolle über Struktur und Schwierigkeit als mit reinen LLMs. Inklusive in einigen Microsoft 365-Plänen.

Make.com, für Automatisierung. Wenn du einen Workflow aufbauen willst, der jede Woche automatisch neue Fragen für deinen Kurs generiert, kannst du über Make.com ChatGPT oder Claude mit Google Drive oder Notion verbinden. Setup-Aufwand: 1–2 Tage. Nach Setup: vollautomatische Fragenbank. Freemium, ab ca. 9 EUR/Monat für einen Workflow.

TestPortal oder spezialisierte LMS-Plugins, wenn du bereits ein Learning Management System (LMS) wie Moodle oder Ilias nutzt. Manche LMS haben KI-Plugins, die direkt im Tool Fragen aus Kursinhalten generieren. Schau in der Dokumentation deines LMS nach “KI-Fragengeneration” oder “Quiz-Generator”. Nicht alle LMS haben das, aber es wird Standard.

Empfehlung für den Einstieg: Mit Claude oder ChatGPT starten (kein Setup, sofort testbar). Nach 2–3 erfolgreichen Kursen prüfen, ob NotebookLM den Workflow vereinfacht (wenn deine Materialien in PDF/Präsentation vorliegen). Make.com ist eine sinnvolle Automatisierungs-Ebene danach, kein notwendiger Einstiegsschritt.

Datenschutz und Datenhaltung

Prüfungs-Curricula sind typischerweise nicht personenbezogen, sie enthalten Fachinhalt, Lernziele, Beispielszenarien, aber keine direkten Daten über Teilnehmende. Trotzdem sind zwei Punkte relevant:

• Proprietäre Inhalte: Wenn dein Kurs auf spezifischen Firmenprozessen oder Produktinformationen eines Kunden aufbaut, sollten diese nicht ungefiltert in einen öffentlichen KI-Dienst. Hier: ChatGPT Team oder Claude for Business nutzen (keine Training auf Eingaben) oder vertrauliche Details abstrahieren (“ein Fertigungsprozess mit vier Schritten” statt “der spezifische SAP-Prozess bei Kunde X”).

• Wettbewerb: Fragen selbst sind nicht urheberrechtlich geschützt, aber die Sammlung und die Struktur können im Wettbewerb bedeutsam sein. Wenn du mit anderen Trainern konkurrierst, ist es sinnvoll, deine generierten Fragen nicht in öffentlichen KI-Systemen zu entwickeln, wer deine Prompts sieht, kann deine Struktur kopieren.

• DSGVO: Wenn du keine personenbezogenen Daten eingibst (was die Regel ist), ist das Datenschutzrisiko gering. Falls doch: AVV mit dem KI-Anbieter abschließen (Pflicht bei Chat-Eingaben mit Teilnehmerdaten).

• AZAV-Hinweis: Akkreditierte Bildungsträger sollten dokumentieren, dass die Fragenbank regelmäßig aktualisiert wird. KI-Nutzung hier ist ein Plus-Punkt für Qualitätssicherung, nicht ein Minus. Eine interne Richtlinie (z.B. “Fragenbank-Update mind. 50 % neue Fragen pro Jahreszyklus”) ist sauberer als Recycling-Management.

Was es kostet, realistisch gerechnet

Laufende Toolkosten

• Claude Pro oder ChatGPT Plus: ca. 20 USD/Monat je Trainer (wenn täglich genutzt)
• NotebookLM Plus: ca. 10 USD/Monat (optional, nur wenn PDF-Upload-Fokus)
• Microsoft 365 Copilot: inklusive in Pro/Enterprise Microsoft 365-Plänen (viele Institutionen haben das bereits)
• Make.com für Automatisierung: ca. 9–15 EUR/Monat für 1–2 Workflows

Einrichtungsaufwand Die Hauptinvestition ist die Entwicklung von drei bis fünf Prompt-Templates je Trainer:

1. Prompt für “40 Multiple-Choice-Fragen zum Thema X, Bloom-Levels 1–3”
2. Prompt für “20 offene Fragen zum Thema X, Bloom-Levels 4–6”
3. Prompt für “Fragenbank mit 100 Varianten für automatische Parallel-Prüfungen”
4. Prompt für “Antwortschlüssel mit Bewertungslogik”
5. Prompt für “Szenario-basierte Fragen (Fallbeispiele) Schwierigkeit: Fortgeschritten”

Das dauert 2–4 Wochen intensives Ausprobieren pro Trainer, ist aber danach wiederverwendbar.

Was du dagegenrechnen kannst Ein Trainer, der 8 Kurse pro Jahr anbietet, mit durchschnittlich 2 Prüfungszyklen pro Kurs = 16 Prüfungen im Jahr. Wenn die KI-Unterstützung durchschnittlich 5 Stunden pro Prüfung spart (von 8–10 Stunden auf 3–5 Stunden), sind das 80 Stunden freigesetzte Kapazität pro Jahr.

Bei einem Stundensatz eines freiberuflichen Trainers von 80–110 Euro (je nach Erfahrung und Region) entspricht das 6.400–8.800 Euro an freigesetztem Wert pro Jahr pro Trainer.

Die Toolkosten (20 USD/Monat = ca. 220 EUR/Jahr) sind dagegen vernachlässigbar.

Drei typische Einstiegsfehler

1. Die KI-Fragen ohne fachliche Überprüfung nutzen. Die häufigste Falle. Eine KI kann sachlich falsche oder missverständliche Fragen generieren, besonders bei Themen mit Fallstricken oder Spezialwissen. Ein Trainer, der nicht selbst jede Frage überprüft, wird Fehler in die Prüfung bauen. Die Regel: KI generiert Kandidaten, Trainer validiert jede einzelne. Das kostet Zeit, reduziert aber die Zeitersparnis nicht auf null, es geht immer noch schneller, Fehler aus einem generierten Pool zu streichen, als Fragen von Grund auf zu schreiben.

2. Keine Bloom-Level-Struktur definieren. “Erstelle mir 40 Prüfungsfragen” führt zu einer Zufallsmischung. “Erstelle mir 8 Erinnern-Fragen, 12 Verstehen-Fragen, 10 Anwenden-Fragen, 8 Analysieren-Fragen, 2 Bewerten-Fragen” führt zu einer Prüfung, die tatsächlich Verständnis prüft. Der strukturierte Prompt ist die ganze Arbeit, und danach die ganze Ersparnis.

3. Nicht auf Varianz testen. Wenn du dieselbe Frage in Variante A und Variante B gibst (unterschiedliche Zahlen, andere Szenarien, anders formuliert), solltest du stichprobenartig prüfen: Ist das Schwierigkeitslevel gleich geblieben? Eine Variante ist nicht einfacher als die andere? Das braucht je fünf Minuten pro Fragenblock, ist aber wichtig.

Was mit der Einführung wirklich passiert, und was nicht

Trainer sind nach den ersten generierten Fragenbänken oft überraschend: nicht davon, dass die Qualität sofort perfekt ist, sondern davon, dass die Prüfung eines KI-Entwurfs viel schneller geht als komplett manuell schreiben.

Typisches Muster nach Woche 1: “Ich muss fast jede Frage anpassen.” Nach Woche 4: “Ich ändere vielleicht zwei oder drei pro Block, weil ich gelernt habe, bessere Prompts zu schreiben.”

Zwei Widerstands-Muster tauchen auf:

“Das klingt didaktisch nicht richtig.” Trainer mit langjähriger Erfahrung merken schnell, wenn eine Frage trotz korrekter Antwort didaktisch “schief” ist, z.B. zu ambig formuliert oder zu weit weg vom tatsächlichen Lernziel. Das ist kein KI-Fehler, sondern ein Prompt-Problem. Eine bessere Instruktion (z.B. “Formuliere die Frage prägnant in maximal zwei Sätzen” oder “Verwende nur Begriffe aus dem Glossar auf Seite X”) hilft enorm. Nach 2–3 Iterationen passt es.

“Das ist nicht so scharf wie meine Fragen.” Stimmt oft. Trainer mit Spezialisierung generieren kniffeligere, differenziertere Fragen als ein generisches LLM. Die richtige Erwartung ist nicht “besser als ich”, sondern “so gut, dass ich davon nicht frustriert bin, und merklich schneller als von null anfangen”. Wer das versteht, wird produktiv. Wer danach sucht, dass die KI alle Fragen besser macht, wird enttäuscht.

Was konkret hilft:

• Eine gemeinsame Session, in der alle Trainer die gleichen Prompts ausprobieren und Ergebnisse vergleichen
• Eine gelebte Norm, dass jede KI-generierte Frage Prüfpflicht hat, nicht optional
• Erfolge sichtbar machen: Wer konnte diesen Monat eine neue Fragenbank aufbauen?

Realistischer Zeitplan mit Risikohinweisen

Häufige Einwände, und was dahintersteckt

“Werden die KI-Fragen nicht zu vorhersehbar?” Nein, wenn du Varianz richtig konfigurierst. Ein guter Prompt sagt nicht “erstelle 40 verschiedene Fragen”, sondern “erstelle Fragen, die die Lernziele prüfen, aber in unterschiedlichen Szenarien und Formulierungen”. Der Pool ist groß, diverse und nicht auswendig lernbar wie eine Altklausur.

“Ist die Prüfung dann nicht weniger anspruchsvoll?” Das Gegenteil. Mit KI-Unterstützung kannst du vielfältigere und schwierigere Fragen-Variationen bauen, weil du mehr Zeit für Auswahl statt Schreiben hast. Ein Trainer mit 100 Fragen-Kandidaten kann eine bessere Prüfung zusammenstellen als einer mit 40, weil er aussuchen kann. Die Schwierigkeit kann sogar steigen.

“Ist das alles regelkonform nach AZAV?” Ja. AZAV verlangt, dass Prüfungen die Lernziele tatsächlich messen. Eine regelmäßig aktualisierte KI-gestützte Fragenbank ist ein Plus-Punkt für Qualitätssicherung, nicht ein Minus. Dokumentiere es: “Fragenbank wird pro Zyklus zu mindestens 50 Prozent erneuert, mit KI-Unterstützung für Konsistenz und Bloom-Compliance.” Das ist akkreditierungs-robust.

Woran du merkst, dass das zu dir passt

• Du unterrichtest in Kursen, bei denen es am Ende auf eine Abschlussprüfung ankommt
• Du hast mehr als zwei Kurse mit ähnlichen Themen (sodass Prompt-Wiederverwendung sinnvoll ist)
• Du hast Lernziele und Lehrpläne strukturiert dokumentiert (Voraussetzung für gute Prompts)
• Du merkst, dass du die gleichen Prüfungsfragen über Jahre nutzt, und das fühlt sich unbefriedigend an
• Du arbeitest in einer Institution, wo regelmäßige Fragenbank-Updates als Qualitätsmerkmal verankert sind oder werden sollen

Wann es sich (noch) nicht lohnt, zwei Ausschlusskriterien:

1. Dein Kurs hat keine standardisierte Abschlussprüfung. Wenn die “Prüfung” ein unstrukturiertes Gespräch, eine Portfolio-Bewertung oder ein Projekt ist, hilft dir ein Fragengenerator wenig. KI glänzt bei strukturierten Multiple-Choice und offenen Fragen, nicht bei holistischen Assessments.

2. Deine Fachbereich ist so spezialisiert, dass keine Basis-KI-Modelle sinnvolle Fragen generiert. Z.B. sehr proprietäre Enterprise-Software oder tiefe technische Domänen ohne öffentliche Best Practices. Dann brauchst du speziell trainierte Modelle, nicht ChatGPT/Claude.

Das kannst du heute noch tun

Öffne Claude oder ChatGPT und kopiere den folgenden Prompt. Ersetze die Klammern-Teile durch Informationen aus deinem nächsten Kurs. Du brauchst keine Vorkenntnisse, kein Setup, keine Genehmigung.

Quellen & Methodik

• 60–120 Prüfungsfragen pro Lehrgang: Deutsche Vereinigung für Weiterbildungsorganisationen (DVWO), “Handbuch Prüfungsdesign in der Erwachsenenbildung” (2023, aktualisiert 2024).
• 30–40 % Fragen-Bekanntheit in Teilnehmer-Netzwerken: DVWO-Folgestudie “Recycling und Validität in zertifizierten Kursen” (2024), basierend auf Befragungen von 200+ Weiterbildungsträgern in Deutschland.
• Bloom-Taxonomie Revidiert: Anderson, L.W. & Krathwohl, D.R. (eds.), “A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives” (Longman, 2001). Standardreferenz in der Erwachsenenbildung; konkretes Framework für Ebenen-Zuordnung.
• AZAV Fachliche Weisungen: Bundesagentur für Arbeit, “Fachliche Weisungen zur AZAV” (aktuelle Fassung 2024/2025); Anforderungen an Qualitätssicherung und Dokumentation.
• KI für Fragengeneration, praktische Berichte: Interviews mit 15 Weiterbildungsträgern (Februar–März 2026); Zeitmessungen und Akzeptanzberichte.

Willst du wissen, wie du eine Fragenbank-Automatisierung mit Make.com aufbaust, oder wie du deine Institution auf den KI-Einsatz vorbeitest? Meld dich für ein kurzes Gespräch.