Natural Language Processing (NLP) mit PyTorch am Beispiel eines Hochschul-Chatbots
DOI:
https://doi.org/10.26034/lu.akwi.2025.6957Keywords:
Chatbot, Machine Learning (ML), Natural Language Processing (NLP), Transformers, Huggingface, Neuronale Netze, Frequently Asked Questions (FAQ), PyTorch, ELECTRA, Extractive Question Answering (EQA), Künstliche Intelligenz (KI)Abstract
Der vorliegende Artikel beschreibt die Weiterentwicklung des KI-gestützten FAQ-Chatbots "Winfy" für Prüfungsangelegenheiten in den Studiengängen der Wirtschaftsinformatik an der Technischen Hochschule Mittelhessen (THM) zur Verbesserung der Antwortgenauigkeit durch die Entwicklung eines domänenspezifischen Transformers für das Extractive Question Answering (EQA).
Der Chatbot basiert auf einem Fragen-Antwort-Katalog, in dem eine einzelne Antwort mehreren Fragen zugeordnet ist. Wenn ein(e) Studierende(r) eine Frage stellt, liefert das System den Antwortblock, der mit der semantisch am besten passenden Frage verknüpft ist. Dies kann jedoch die Suche nach der exakt gewünschten Information erschweren. Um das Antwortverhalten zu verbessern, wurde ein EQA-Modell entwickelt. Dieses extrahiert gezielt die Antwort aus dem Antwortblock.
Hierfür wurde ein Transformer-Encoder mit ELECTRA-Architektur entwickelt und in einem zweistufigen Verfahren trainiert: Zunächst erfolgte ein Pre-Training auf domänenspezifischen Texten, gefolgt von einer Feinabstimmung auf einem speziell erstellten und annotierten EQA-Datensatz für den Hochschulbereich. Abschließend wurden verschiedene deutsche Sprachmodelle auf diesem und anderen etablierten EQA-Datensätzen verglichen.
References
Ritz, Harald; Tansel, Dogus: Entwicklung eines KI-basierten FAQ-Chatbots für die Hochschule im Bereich Prüfungsangelegenheiten, in: Anwendungen und Konzepte in der Wirtschaftsinformatik (AKWI) Nr. 17 (2023), S.81-92, DOI: https://doi.org/10.26034/lu.akwi.2023. n17
Hiemstra, Djoerd: A probabilistic justification for using tf×idf term weighting in information retrieval, in: Int J Digit Libr 3, 2000, S. 131-139, DOI: https://doi.org/10.1007/s007999900025
Proisl, Thomas; Uhrig, Peter; Cook, Paul; Evert, Stefan; Schäfer, Roland; Stemle, Egon (Hrsg.): SoMaJo: State-of-the-art tokenization for German web and social media texts, in: Proceedings of the 10th Web as Corpus Workshop, Berlin, 2016, S. 57-62, DOI: https://doi.org/10.18653/v1/W16-2607
Lewis, Patrick; Oguz, Barlas; Rinott, Ruty; Riedel, Sebastian; Schwenk, Holger; Jurafsky, Dan; Chai, Joyce; Schluter, Natalie; Tetreault, Joel (Hrsg.): MLQA: Evaluating Cross-lingual Extractive Question Answering, in: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Stroudsburg, PA, USA, 2020, S. 7315–7330, DOI: https://doi.org/10.18653/v1/2020.acl-main.653
Möller, Timo; Risch, Julian; Pietsch, Malte: GermanQuAD and GermanDPR: Improving Non-English Question Answering and Passage Retrieval, in: Proceedings of the 3rd Workshop on Machine Reading for Question Answering, Punta Cana, Dominikanische Republik, 2021, S. 42-50, DOI: https://doi.org/10.18653/v1/ 2021.mrqa-1.4
Wang, Luqi; Zheng, Kaiwen; Qian, Liyin; Li, Sheng: A Survey of Extractive Question Ans-wering, in: 2022 International Conference on High Performance Big Data and Intelligent Systems (HDIS), Tianjin China, 2022, S. 147-153, DOI: https://doi.org/10.1109/HDIS56859. 2022.9991478
Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, in: Proceedings of NAACL-HLT 2019, Minneapolis, Minnesota, 2019, S. 4171-4186, DOI: https://doi.org/10.18653/v1/ N19-1423
Chan, Branden; Schweter, Stefan; Möller, Timo; Scott, Donia; Bel, Nuria; Zong, Chengqing (Hrsg.): German’s Next Language Model, in: Proceedings of the 28th International Conference on Computational Linguistics, Barcelona, Spanien, 2020, S. 6788–6796, DOI: https://doi.org/10.18653/v1/2020.coling-main. 598
He, Pengcheng; Gao, Jianfeng; Chen, Weizhu: DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing, o.O., 2023, DOI: https://doi.org/10.48550/arXiv.2111. 09543
Downloads
Published
Issue
Section
License
Copyright (c) 2025 Nicolas Lang, Harald Ritz, Frank Kammer, Jonas Wölfer
This work is licensed under a Creative Commons Attribution 4.0 International License.
