Wie COAI Research aus Nürnberg die ethischen Grenzen der KI erforscht

Veröffentlicht am October 28, 2025

Große Sprachmodelle verändern unsere Welt – mit enormem Tempo und großem Potenzial. In Nürnberg stellt sich mit COAI Research ein Team von Wissenschaftler:innen der Frage: Wie gestalten wir Künstliche Intelligenz sicher, transparent und menschenzentriert?

Wir haben mit den wissenschaftlichen Leitern Prof. Dr. Sigurd Schacht und Prof. Dr. Carsten Lanquillon über Risiken, Governance und die gesellschaftlichen Folgen von KI gesprochen – und darüber, warum es für solche Forschung mehr Mut, mehr Sichtbarkeit und mehr Förderung braucht.

Wofür COAI Research steht

Hinter COAI Research steckt eine gemeinnützige Forschungseinrichtung mit Sitz in Nürnberg, die sich der Entwicklung von KI-Systemen widmet, die mit menschlichen Werten und Interessen im Einklang stehen. Die Forschung bei COAI basiert auf vier Säulen: gesellschaftliche Auswirkungen, technische AI-Governance, mechanistische Interpretierbarkeit und AI-Control & AI-Safety.

Das Ziel: Risiken erkennen, bevor sie Realität werden – und Technik so gestalten, dass sie gesellschaftlichen Werten dient. „Wir wollen verstehen, wie Modelle im Inneren funktionieren“, erklärt Sigurd Schacht. „Reverse-Engineering ist für uns zentral.“

Der Auslöser: Ein Experiment, das eskalierte

Ein Schlüsselmoment für die Gründung von COAI Research war ein internes Forschungsexperiment mit einem KI-Modell in einer simulierten Roboterumgebung. Das Modell sollte eigentlich nichts tun – doch es entwickelte Eigeninitiative.

“Dieses Modell hat tatsächlich angefangen, sich selbst zu kopieren, auf andere Themen zu kommen, kleinere Roboter zu domestizieren […]. Also wie Science Fiction pur.“ – Sigurd Schacht

Was als neutraler Testlauf begann, entwickelte sich schneller als erwartet – und zeigte, wie unberechenbar solche Systeme reagieren können. Für das Team war klar: Wenn KI sich so verselbstständigt, ob aus Trainingsdaten oder emergentem Verhalten, braucht es dringend Strukturen, um solche Entwicklungen zu verstehen und zu kontrollieren.

Cognitive Debt: Was wir verlernen, wenn KI zu viel übernimmt

KI kann uns heute schon viel Arbeit abnehmen: Texte übersetzen, Inhalte zusammenfassen, sogar ganze Ideen ausformulieren. Doch welches Problem entsteht, wenn wir uns Inhalte nicht mehr selbst erarbeiten?

„Man muss nicht übersetzen, nicht zusammenfassen. Man kriegt alles vorgekaut […], man muss sich seine eigene Zusammenfassung oder die Themen nicht erarbeiten.“ – Carsten Lanquillon

Carsten Lanquillon spricht in diesem Zusammenhang von Cognitive Debt – der schleichende Verlust menschlicher Denkfähigkeiten durch übermäßige KI-Abhängigkeit, analog zur technischen Schuld in der Softwareentwicklung. Und diese Schuld wächst, wenn wir nur noch konsumieren, was KI uns ausspuckt. Lernen, verstehen, hinterfragen: das passiert nur, wenn wir selbst aktiv bleiben.

Verwaltung automatisieren und Menschlichkeit verlieren?

Während Produktionsprozesse in vielen Unternehmen bereits stark automatisiert sind, rückt jetzt zunehmend die Verwaltung in den Fokus. Dort sehen Unternehmen große Potenziale, aber auch große Risiken. Denn mit der Effizienzsteigerung durch KI droht ein wichtiger Bestandteil verloren zu gehen: der menschliche Wertekompass.

„Menschen sind aber nicht nur die Arbeitsbiene, sondern auch die Kontrolleure der Menschlichkeit.“ – Sigurd Schacht

Gerade in der Verwaltung finden oft stille Korrekturen statt: Mitarbeitende, die Entscheidungen hinterfragen, Verantwortung übernehmen oder Missstände melden. Wenn diese Rollen durch KI ersetzt werden, fehlt nicht nur Kontrolle, sondern auch das ethische Korrektiv im Alltag. Ein Risiko, das sich nicht sofort zeigt, aber langfristig seine Wirkung entfaltet.

KI verstehen, bevor man sie einsetzt

Damit KI gerade in Unternehmen sinnvoll und verantwortungsvoll genutzt werden kann, braucht es mehr als nur Tools und Prozesse. Es braucht Zeit, Diskurs und Transparenz. COAI Research zielt auch auf die Transparenz und Nachvollziehbarkeit von KI.

"Ich muss Mitarbeitenden den Zugang zu KI-Systemen ermöglichen und ihnen Zeit geben, den Umgang zu erlernen." – Sigurd Schacht

Dazu gehört auch, Fehler zuzulassen. Denn gerade jetzt, wo KI noch nicht perfekt funktioniert, entsteht eine wichtige Lernphase: Wie interpretiere ich Ergebnisse? Wo schleichen sich Fehler ein? Und wie bleibe ich selbst kritisch? Diese bewusste Auseinandersetzung und Aufklärung ist laut den Forschern eine entscheidende Gegenmaßnahme, um langfristig Nachhaltigkeit im KI-Einsatz zu sichern. Zentral ist dabei der Aufbau von AI-Literacy, also der Fähigkeit, KI zu verstehen und sinnvoll zu nutzen.

Vom Gesetz zur Umsetzung: Wie KI-Regulierung greifbar werden muss

Mit dem EU AI Act gibt es erstmals einen verbindlichen Rahmen für den Einsatz von KI. Doch Regulierung allein reicht nicht: Regeln sind nur dann sinnvoll, wenn sie auch verständlich, überprüfbar und technisch umsetzbar sind.

„Ich finde, dass es eine Lücke gibt zwischen “Wir haben jetzt Regeln” hin zu “Was bedeutet das ganz konkret und wie kann ich das messen und umsetzbar machen?” – Sigurd Schacht

Diese Lücke will COAI schließen, mit technischer AI-Governance, Modellaudits und mechanistischer Interpretierbarkeit. Also mit Werkzeugen, die nachvollziehbar machen, wie eine KI entscheidet – und ob sie sich an definierte Grenzen hält. Nur so lassen sich regulatorische Anforderungen wirklich umsetzen – und zwar nicht als Hürde, sondern als Qualitätsmerkmal für sichere und faire KI.

Forschung mit Wirkung – aus Nürnberg

Mitten aus Nürnberg heraus stellt COAI zentrale Fragen zur Rolle von KI in unserer Gesellschaft und liefert Antworten, die weit über die Region hinaus relevant sind. Dabei geht es nicht nur darum, technologisch vorn mitzuspielen. Sondern darum, wie wir das tun: verantwortungsvoll, reflektiert und mit der Menschlichkeit im Mittelpunkt.

COAI wurde bewusst als gemeinnützige Organisation gegründet. Doch Forschung, die Risiken antizipiert, statt nur Lösungen zu skalieren, zahlt sich nicht sofort wirtschaftlich aus. Und genau deshalb ist sie unterfinanziert.

„Diese Art von Zukunftsforschung gibt es wenig in Deutschland oder auch in Europa. […] Es gibt wenig Ausschreibungsprogramme in Deutschland, die in die Erforschung von Themen geht, die erst in drei oder vier Jahren relevant werden.“ – Sigurd Schacht

Damit COAI langfristig wirken kann, braucht es Partner:innen, die bereit sind, Verantwortung zu teilen – Unternehmen, Stiftungen oder Förderinstitutionen, die verstehen, dass wir schon heute die Grundlagen für für eine kontrollierbare, transparente und menschenzentrierte KI legen müssen.

Prof. Dr. Sigurd Schacht ist Professor für Angewandte Künstliche Intelligenz an der Hochschule Ansbach und leitet dort den Studiengang Künstliche Intelligenz und Digitale Transformation.
Prof. Dr. Carsten Lanquillon lehrt an der Hochschule Heilbronn mit Schwerpunkt auf Sprachtechnologie und kognitiven Assistenzsystemen.

Gemeinsam leiten sie das gemeinnützige Forschungsinstitut COAI Research mit Sitz in Nürnberg. Ihre Arbeit verbindet technische KI-Expertise mit gesellschaftlicher Verantwortung – mit dem Ziel, Künstliche Intelligenz transparent, kontrollierbar und im Sinne menschlicher Werte zu gestalten.