• Prof. Dr. Klaus-Dieter Quibeldey-Cirkel

• Prof. Dr. Klaus-Dieter Quibeldey-Cirkel

Keine

Das Modul vermittelt die Grundlagen der maschinellen Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) mit Schwerpunkt auf Transformer-Modellen. Die Studierenden erkunden die NLP-Plattform „Hugging Face Hub”, um Sprachanwendungen wie KI-Chatbots und Textanalyse-Dashboards zu entwickeln.

• Einführung in NLP: Historie, Konzepte, Methoden, Modelle, Anwendungsgebiete
• Funktionsweise von Transformer-Modellen: Deep Learning, Self-Attention, Backpropagation
• Trainingsverfahren: Supervised / Unsupervised Learning, Transfer Learning, Fine-Tuning
• Einführung in die Python-Programmierung, fokussiert auf den Einsatz von NLP-Bibliotheken
• Einführung in das Ökosystem von Hugging Face: Bibliotheken, Tools, Use Cases
• Prompt Engineering: Prompt Design, Best Practices für GPT-Sprachmodelle
• Potenzial von Transformer-Modellen: Turing-Test, Kreativität, Reasoning, Emergenz
• Ethik und Recht: Kritische Reflexion rechtlicher und ethischer Aspekte

Fachkompetenzen

• Die Studierenden können die Entwicklungshistorie von NLP skizzieren.
• Sie können die Konzepte, Methoden und Techniken von NLP erläutern.
• Sie können mit Hilfe von Python mit NLP-Bibliotheken experimentieren.
• Sie können Transformer-Modelle und deren Eigenschaften, wie Deep Learning, Self-Attention und Backpropagation, beschreiben.
• Sie können das Hugging-Face-Ökosystem in eigene NLP-Projekte integrieren.

Methodenkompetenzen (fachlich & überfachlich)

• Die Studierenden können die Feinabstimmung eines Transformer-Modells durchführen.
• Sie können Best Practices im Prompt Engineering auf GPT-Chatbots anwenden.
• Sie können mit dem Hugging-Face-Ökosystem experimentieren und dessen Bibliotheken und Tools evaluieren.
• Sie können Transformer-Modelle in praxisnahen Szenarien evaluieren und optimieren.

Sozialkompetenzen

• Die Studierenden können über die gesellschaftlichen Auswirkungen von NLP-Technologien reflektieren und diese in Diskussionen einbringen.
• Sie können ethische und rechtliche Fragen im NLP-Bereich kritisch diskutieren und beurteilen.

Selbstkompetenzen

• Die Studierenden können ihren Lernfortschritt in NLP-Themen einschätzen und Weiterbildungsbedarfe identifizieren.
• Sie können ihre Fehler und Missverständnisse im Umgang mit NLP und Transformer-Modellen akzeptieren, daraus lernen und ihr Wissen und ihre Fähigkeiten kontinuierlich verbessern.

• 6 CrP
• Arbeitsaufwand 180 Std.
• Präsenzzeit 60 Std.
• Selbststudium 120 Std.

• 4 SWS
• Seminaristischer Unterricht 2 SWS
• Praktikum 2 SWS

• Digital Media Systems (B.Sc. 2023)
• Informatik (B.Sc. 2022)
• Ingenieur-Informatik (B.Sc. 2022)

Ja

Bonuspunkte werden gemäß § 9 (4) der Allgemeinen Bestimmungen vergeben. Art und Weise der Zusatzleistungen wird den Studierenden zu Veranstaltungsbeginn rechtzeitig und in geeigneter Art und Weise mitgeteilt.

Prüfungsvorleistung:

Übungsaufgaben (Anzahl wird den Studierenden rechtzeitig und in geeigneter Weise bekannt gegeben.)

Prüfungsleistung:

Projekt oder Klausur (Art des Leistungsnachweises wird den Studierenden rechtzeitig und in geeigneter Weise bekannt gegeben.)

• Otte, R.: Künstliche Intelligenz. Wiley.
• McKinney, W.: Datenanalyse mit Python. Auswertung von Daten mit pandas, NumPy und Jupyter. O'Reilly.
• Tunstall, L.; von Werra, L.; Wolf, T.: Natural Language Processing mit Transformern. Sprachanwendungen mit Hugging Face erstellen. O'Reilly.
• BERT: https://arxiv.org/abs/1810.04805
• Transformer Architektur: https://arxiv.org/pdf/1706.03762.pdf
• Artificial General Intelligence: https://arxiv.org/abs/2303.12712
• Prompt Engineering: https://learnprompting.org/
• Hugging Face NLP Course: https://huggingface.co/learn/nlp-course /