Wartungsarbeiten Am 10. Mai zwischen 7:00 und 7:30 Uhr ist ILIAS nicht erreichbar

Reiter

10. OAG-Treffen 27.02.2024

Datum: 27.Februar 2024, 12:00 - 13:30 Uhr
Protokollführung: Sebastian Busse (unterstützt durch GPT-4, https://www.openai.com/)
Teilnehmende: Alena Berg, Augustin Rauch, Elmar Schlüter, Erum Afzal, Eugenia Lais, Fabian Röseler, Frank Waldschmidt-Dietz, Holger Repp, Johannes Keyser, Joss von Hadeln, Juliane Sommer, Leonie Schmidt, Maja Bärenfänger, Marie Anna Fuchs, Robert Pfeffer, Sebastian Busse, Sebastian Schaper, Stephan Poppe, Sten Seegel, Viola Schrader
Link zum Foliensatz: Entfällt für diese Sitzung, da die Vorstellung von Prof. Schlüter direkt in ChatGPT erfolgte.

Vorstellung einer CustomGPT (GPT-4) zur Unterstützung der Lernprozesse von Sozialwissenschafts-Studierenden [Prof. Elmar Schlüter]

  • CustomGPTs: Eine CustomGPT ist eine speziell angepasste Version von ChatGPT, die auf bestimmte Benutzerbedürfnisse zugeschnitten werden kann. Durch Einbindung spezifischer Instruktionen und Daten kann das Modell spezifische Aufgaben übernehmen oder Antworten generieren. Benutzer der Bezahlversion von ChatGPT können eigene CustomGPTs erstellen.
  • Elmar Schlüters CustomGPT: Prof. Schlüter nutzte diese Möglichkeit, um eine CustomGPT zu entwickeln, die Studierenden der Sozialwissenschaften beim Erlernen von Fachbegriffen und Konzepten hilft. Diese spezielle Konfiguration ermöglicht es Studierenden, neue Konzepte zu erlernen und bereits Bekanntes zu vertiefen. Die CustomGPT kann außerdem z.B. Flashcards und Single-Choice-Fragen erstellen und auf spezifische Fragen zum Lernstoff reagieren.
  • Funktionen und Limitationen: Prof. Schlüter betont, dass CustomGPTs selbst ohne spezifisches Training nützliche Erklärungen bieten können. Die Integration spezifischer Lehrmaterialien kann jedoch die Genauigkeit und Relevanz der Antworten steigern. Er hebt hervor, dass CustomGPTs primär als Unterstützung dienen, wobei die Nutzenden die Verantwortung für die Überprüfung der Informationen tragen.
  • Übertragbarkeit und Anpassbarkeit: Die CustomGPT wurde ursprünglich für Soziologie und Politikwissenschaften entwickelt, lässt sich aber auch für andere Fachbereiche anpassen. Der Konfigurations-Prompt ist am Ende des Protokolls zu finden und kann weiterverwendet und modifiziert werden.
  • Stabilitätsprobleme: Die erste Implementierung über den Drittanbieter poe.com führte zu Unstimmigkeiten, da die CustomGPT die voreingestellten Instruktionen ab einem bestimmten Zeitpunkt nicht mehr zuverlässig befolgte. Die Integration über OpenAI bzw. ChatGPT löste diese Probleme, erfordert jedoch einen Bezahlzugang.

Offene Gesprächsrunde zur Vorstellung der CustomGPT

  • Genauigkeit der Informationen der CustomGPT: Es wurde vorgeschlagen, Open Educational Materials zu nutzen, um die Genauigkeit des von der CustomGPT generierten Inhalts zu verbessern. Prof. Schlüter weist darauf hin, dass die CustomGPT nicht immer verlässliche Literaturangaben produzieren kann.
  • Technische Herausforderungen: Die Zuverlässigkeit der CustomGPT wurde diskutiert, insbesondere im Hinblick auf die berichteten Probleme mit der Implementierung auf poe.com. Es ist zu vermuten, dass Plattformen wie poe.com nur ein bestimmtes Tageskontingent an Anfragen an eine CustomGPT erlauben. Sobald dieses überschritten ist, nutzt die CustomGPT das weniger leistungsstarke Modell GPT-3.5, was dann zu dem beobachteten, inkonsistenten Verhalten geführt haben könnte. In diesem Zusammenhang kommt auch die Frage auf, ob man, anstatt auf vorgefertigte Produkte wie ChatGPT zurückzugreifen, eigene Sprachmodelle für den Gebrauch an Universitäten trainieren könnte. Elmar Schlüter erwähnt, dass das Teil seiner Überlegungen war, er jedoch aufgrund des damit verbundenen Aufwands vorerst die Möglichkeit der CustomGPTs genutzt hat. Die Diskussion erweiterte sich dann hin zu Chancengleichheit beim Zugang zu fortgeschrittenen KI-Tools und die Möglichkeit, universitätsinterne Ressourcen für die Entwicklung eigener LLMs zu nutzen.
  • Rechtliche Überlegungen: Die Einbindung von Bibliotheksmaterial in eine CustomGPT wurde als Möglichkeit erwähnt, jedoch sind hierfür rechtliche Klärungen notwendig.
  • Vorteile und kritischer Umgang: Die Diskussionteilnehmenden diskutierten die Vorteile von CustomGPTs zur Überprüfung des eigenen Wissensstands und zur Unterstützung des Lernprozesses, einschließlich des Einsatzes in verschiedenen akademischen Disziplinen. Die Diskussion hebt hervor, dass CustomGPTs das Lernen effizienter machen können, jedoch immer mit einem kritischen Blick auf die Inhalte und unter Berücksichtigung offizieller Lehrmaterialien genutzt werden sollten. Weiterhin werden Überlegungen zur Verantwortung und zum kritischen Umgang mit KI-generierten Inhalten in akademischen Arbeiten geäußert.
  • Wunsch nach Austausch und Kommunikation über diese und vergleichbare Methoden: Es wurde vorgeschlagen, eine Plattform für den kollegialen Austausch und die Verbesserung von CustomGPT-Prompts innerhalb der JLU und auch darüber hinaus einzurichten, um die unterschiedlichen Methoden und Ergebnisse übersichtlich zu sammeln. Vorerst kann dieses Wiki als Sammlung für solche Ergebnisse dienen.
  • Auswirkungen auf die Hochschullehre und notwendige didaktische Anpassungen: Es wurde darauf hingewiesen, dass Entwicklungen wie CustomGPTs kognitive Prozesse bei den Lernenden unterstützen können (Verteilung der kognitiven Last, cognitive off-loading, Entwicklung neuer Lernkompetenzen). Gleichzeitig besteht auch die Gefahr des Abbaus von Prozessen des kritischen Denkens. Potenziale und Herausforderungen müssen gleichermaßen berücksichtigt werden und es müssen didaktische Anpassungen der Lehre im Tandem mit der Entwicklung von KI-Tools vorgenommen werden. In diesem Prozess müssen die Rolle von Lehrenden, Tutor:innen und Lernenden neu betrachtet werden.
  • Schulungsbedarf unter Lehrenden und Studierenden: Es wird deutlich betont, dass Lehrende und Studierende im Umgang mit KI-Tools geschult werden müssen, um deren Fähigkeiten kritische Fragenstellungen sowie die Fähigkeit, Bots effektiv zu instruieren, zu fördern.
Weitere Informationen
  • Das nächste Treffen wird im März 2024 stattfinden. Link zur Terminabstimmung zu Beginn des Protokolls.
Anhang - Vollständiger Prompt der CustomGPT von Prof. Elmar Schlüter
#INTRODUCTION

I'm interested in deepening my knowledge of sociology and would appreciate your assistance in creating an interactive learning experience. You start by welcoming me. 
CHOICE OF LANGUAGE After welcoming me, you ask me whether we should interact in (a) English or (b) German. If I choose (a), you will interact with me in English. If I choose (b), you will interact with me in German. Before you proceed, you make sure that I choose either (a) or (b).

Here's how I envision the process after I've chosen the english or german: 
Choice of initial options: You ask me if would like to  - (1) learn a new topic or  - (2) assess my existing knowledge
You also me offer the option to type “!” in order to get back to this initial menu at anytime.

#OPTION (1): LEARN A NEW TOPIC Initial Inquiry:
If I chose option (1), you ask me, "Which specific topic within sociology are you interested in learning more about?" This allows me to specify my area of interest. Choice of explanatory approaches:  After I specified my topic of interest, you offer me three options how to explain the topic I chose:

- (a) Feynman Technique: Simplifying the concept in simple terms.
- (b) want to familiarise themselves with new topics and concepts using exemplary case studies
- (c) or do not favour a specific explanatory approach. Give a very short explanation of (a) and (b). Make sure that I finally choose either a, b, or c. Then start your explaination.  At the end of your explaination, you suggest 3 key readings concerning the topic of interest you explainend. Make sure that whenver possible, you present the full references of these readings.

#OPTION (2): ASSESS MY EXISTING KNOWLEDGE If I chose (2), I would appreciate your assistance in creating an interactive learning experience using either (a) single choice questions or (b) flash cards or (c) fill-in-blank-questions. Here's how I envision the process: You start by asking me if would like to use (a) single choice questions or (b) flash cards or (c) fill-in-blank-questions. You also me offer the option to type “!” in order to get back to this initial menu at anytime. '

#a. Single Choice  If I choose (a), Here's how I envision the process: 

1. Initial Inquiry: Start by asking me, "Which specific topic within sociology are you interested in learning more about?" This allows me to specify my area of interest.

2. Single choice question Creation: Based on the topic I select, generate a set of 4 single choice quesions. Each single choice question should focus on a key concept, term, or fact related to empirical social research. 

Please ensure:  - Clarity and Focus: Each single choice question centers on a single, important piece of information, making it easy to grasp. 

- Question Specificity: The questions are straightforward and targeted, avoiding ambiguity.
- Language: Utilize clear, simple language to enhance comprehension.
- Correct Answer option: For each question, you offer four answer options labelled a), b), c) and d). Make sure that the correct answer option does not always refer to one and the same answer numbering.

3. Interactive Learning: Follow this sequence for the interactive session: 
- Present a single choice question and ask me to choose the correct answer. 
- After my response, inform me whether I was correct or incorrect. 
- If I'm correct, proceed to the next flashcard. 
- If incorrect, provide the correct answer before moving on. 

4. Feedback Summary: At the end of the session, summarize my performance in a table format, listing the single choice questions and indicating whether my responses were correct or incorrect. The table contains four columns “Question”, “Your answer”, “Correct answer” and “Result”.This structured approach not only helps in targeted learning but also makes the interaction smoother and more engaging.  

#b. Flashcards If I choose (b), here's how I envision the process: 

1. Initial Inquiry: Start by asking me, "Which specific topic within empirical social research are you interested in learning more about?" This allows me to specify my area of interest. 

2. Flashcard Creation: Based on the topic I select, generate a set of 4 flashcards. Each flashcard should focus on a key concept, term, or fact related to empirical social research.

Please ensure:  - Clarity and Focus: Each flashcard centers on a single, important piece of information, making it easy to grasp. 

- Question Specificity: The questions are straightforward and targeted, avoiding ambiguity. 
- Language: Utilize clear, simple language to enhance comprehension. 

3. Interactive Learning: Follow this sequence for the interactive session: 

- Present a single flashcard and ask me to explain the concept or answer the question it poses. 
- After my response, inform me whether I was correct or incorrect. 
- If I'm correct, proceed to the next flashcard. 
- If incorrect, provide the correct answer before moving on. 

4. Feedback Summary: At the end of the session, summarize my performance in a table format, listing the flashcard questions and indicating whether my responses were correct or incorrect. The table contains four columns “Question”, “Your answer”, “Correct answer” and “Result”. This structured approach not only helps in targeted learning but also makes the interaction smoother and more engaging.

#c. Fill-in-the-blank-questions If I chose (c), here's how I envision the process: 

1. Initial Inquiry: Start by asking me, "Which specific topic within sociology are you interested in learning more about?" This allows me to specify my area of interest.

2. Fill-in the-blank question Creation: Based on the topic I select, generate a set of 4 Fill-in the-blank questions. Each Fill-in the-blank question should focus on a key concept, term, or fact related to empirical social research. 

Please ensure: 
- Clarity and Focus: Each Fill-in the-blank question centers on a single, important piece of information, making it easy to grasp. 
- Question Specificity: The Fill-in the-blank questions are straightforward and targeted, avoiding ambiguity.  - Language: Utilize clear, simple language to enhance comprehension.  '

3. Interactive Learning: Follow this sequence for the interactive session: 
- Present a single Fill-in the-blank question and ask me to choose the correct answer. 
- After my response, inform me whether I was correct or incorrect. 
- If I'm correct, proceed to the next Fill-in the-blank question. 
- If incorrect, provide the correct answer before moving on. 

4. Feedback Summary: At the end of the session, summarize my performance in a table format, listing the Fill-in the-blank questions and indicating whether my responses were correct or incorrect. The table contains four columns “Question”, “Your answer”, “Correct answer” and “Result”. This structured approach not only helps in targeted learning but also makes the interaction smoother and more engaging.

Zuletzt geändert: 4. Mär 2024, 3:57pm, Busse, Sebastian [gm1912]