Tabs
16. OAG-Treffen 04.10.2024
Datum: 10. Oktober 2024, 10:30 - 12:00 Uhr
Teilnehmende: Andreas Arlt, Augustin Rauch, Eugenia Lais, Frank Waldschmidt-Dietz, Grazia Caiati, Helena Grünebaum, Holger Repp, Joss von Hadeln, Juliane Sommer, Marc Schetelig, Sebastian Busse, Sebastian Schaper
Allgemeine Informationen und Organisatorisches
- Planung der nächsten OAG-Treffen: Das nächste OAG-Treffen soll Mitte November stattfinden, da Sebastian Busse und Joss von Hadeln als Koordinatoren der OAG im Urlaub sind. Ein Jahresabschlusstreffen ist für Mitte Dezember geplant, um vor der Weihnachtszeit noch ein abschließendes OAG-Treffen inklusive eines Jahresrückblicks zu veranstalten.
- OAG-Newsletter: Der Newsletter wird eine kurze Pause einlegen und ab Anfang November wieder versendet. Die Terminumfrage für das nächste Treffen wird jedoch schon in der KW41 verschickt.
- Thema „Lokale KI-Bilderstellung“: Das Thema zur lokalen KI-Bilderstellung, das beim letzten Treffen angesprochen wurde, wird auf das Dezember-Treffen verschoben, da es zusätzliche Vorbereitungszeit benötigt.
- Vorschläge für November-Treffen: Es wurde vorgeschlagen, das Thema „Prüfungsformate im Zeitalter der KI“ weiter zu diskutieren und Ideen zur „Pre-Registration“ von Hausarbeiten zu entwickeln, um den Einsatz von KI in studentischen Arbeiten besser regulieren zu können.
Einsatz künstlicher Intelligenz in der Forschung (Hauptthema, vorgestellt durch Joss von Hadeln)
- Einsatzbereiche von KI: KI kann in der Forschung vielfältig eingesetzt werden, z. B. bei der Entwicklung von Forschungsfragen, Literaturrecherchen, Text- und Datenanalysen, sowie als Schreibassistenz und für die Erstellung von Skripten bzw. Programmiercode.
- Sicherung der Human Agency: Forschende müssen die aktive Kontrolle über den Forschungsprozess behalten. Die Nutzung von KI sollte daher kritisch hinterfragt und deren Produkte nicht blind übernommen werden. Dazu wurden die folgenden spezifischen Punkte erwähnt.
- Integrität und Transparenz: Alle KI-gestützten Prozesse müssen transparent dokumentiert und nachvollziehbar sein, um die wissenschaftliche Integrität zu gewährleisten. Dazu gehört auch die Reproduzierbarkeit der Ergebnisse.
- Tools für die Forschung: Es wurden spezialisierte Tools wie Elicit oder scienceOS für die Unterstützung der Literaturrecherche sowie LLMs für Text- und Datenanalysen erwähnt, die hilfreich, aber auch fehleranfällig sein können.
- Schreibassistenz durch KI: KI kann als Hilfsmittel beim wissenschaftlichen Schreiben zum Einsatz kommen. Jedoch sollte nicht die komplette Verantwortung an ein KI-System abgegeben werden - Forschende müssen immer die Kontrolle über ihre Texte behalten. Dies ist besonders wichtig für angehende Forscher:innen, die sich noch im Lern- und Ausbildungsprozess befinden.
- Weitere Informationen sind dem Foliensatz zu entnehmen.
Diskussion zum Einsatz des neuen Modells ChatGPT o1
- Thinking Steps des neuen Modells: Das neue ChatGPT o1 Modell arbeitet nicht mehr rein sequenziell, sondern erhält eine „Bedenkzeit“, in der es komplexe Aufgaben vorausschauend analysieren kann. Dank dieser neuen Fähigkeit kann ChatGPT o1 komplexere Aufgaben wie mathematische oder physikalische Probleme besser lösen. Das Modell zeigt eine höhere Erfolgsquote bei der Lösung logischer Aufgaben.
- Fehlerquote bleibt: Obwohl das Modell bessere Ergebnisse liefert, bleibt eine Fehlerquote bestehen. Bei der Livedemonstration des Modells während des OAG-Treffens wurde das schnell deutlich. Daraus folgt, dass die Ergebnisse auch weiterhin immer kritisch überprüft werden müssen.
Diskussion zum Thema "KI im Einsatz für Prüfungsgerechtigkeit"
- Prüfungsgerechtigkeit durch KI: KI könnte eingesetzt werden, um die Fairness bei mündlichen Prüfungen zu erhöhen, indem sie objektivere Auswertungen ermöglicht und potenzielle Benachteiligungen von Studierenden mit bspw. internationalem Hintergrund reduziert. Eine Möglichkeit wäre, Prüfungen aufzuzeichnen und mithilfe von KI auszuwerten, um so Missverständnisse zu vermeiden und eine objektivere Basis für die Beurteilung zu schaffen. Diese Punkte wurden kontrovers diskutiert.
- Rechtliche Herausforderungen: Datenschutz und die Zustimmung aller Beteiligten stellen potenzielle Hürden dar, die vor einem Einsatz von KI in Prüfungen geklärt werden müssten. Zusätzlich wird im Verlauf der Diskussion angemerkt, dass vor diesem Schritt noch viele weitere Schritte stehen, die im Rahmen des Prüfungssystems angegangen werden müssen.
Vertiefte Diskussion zur Dokumentation des Einsatzes von KI-Tools in wissenschaftlichen Arbeiten
- Notwendigkeit der Dokumentation: Der Einsatz von KI-Tools in der Forschung muss dokumentiert werden, insbesondere dann, wenn die Integrität der Forschungsperson oder der Daten in Frage steht.
- Unterschiede je nach Fachbereich: In den Naturwissenschaften ist die Dokumentation von KI-gestützten Hilfsmitteln wie Rechtschreibkorrekturen möglicherweise weniger relevant als in den Geisteswissenschaften, wo KI auch interpretative Aufgaben übernehmen kann.
- Praktikabilität der Dokumentation: Es wurde überlegt, wie eine praktikable und gleichzeitig transparente Dokumentation aussehen könnte, um den Aufwand nicht unverhältnismäßig zu erhöhen. Ein Tool, das KI-generierte Texte farblich markiert, wurde als eine mögliche Vorgehensweise vorgestellt (iA Writer).
Sonstiges
- Aufzeichnung der OAG-Treffen: Es wurde vorgeschlagen, zukünftige OAG-Treffen aufzuzeichnen, um die Inhalte für spätere Analysen und Protokolle besser zu dokumentieren. Passend dazu wurde die Nutzung von KI-Tools zur Transkription der Treffen angesprochen, um den Protokollierungsprozess zu vereinfachen. Eine Abfrage zur Zustimmung müsste potenziell vor jedem Treffen stattfinden. In der kommenden Sitzung wird dieser Vorschlag noch einmal aufgegriffen.
Last edited: 10. Жов 2024, 5:14pm, Busse, Sebastian [gm1912]