Retrieval Augmented Generation (RAG) ist ein zentraler Baustein moderner KI-Anwendungen: Es kombiniert die Stärke großer Sprachmodelle mit unternehmensspezifischem Wissen – und schafft so individuell anpassbare Systeme mit echtem Nutzen durch projektspezifische Antworten. Doch wie testet man so ein System zuverlässig, bevor es in den Produktiveinsatz geht?
Gemeinsam mit Schaeffler Special Machinery haben wir ein Konzept für eine Teststrategie entwickelt, das genau hier ansetzt: Ziel ist es, RAG-basierte Systeme systematisch auf ihre Qualität, Zuverlässigkeit, und Sicherheit hin zu überprüfen – noch während der Pilotierungsphase beim Kunden. Im Vortrag werden unsere Kollegen von Schaeffler zuerst ihr Produkt, die technischen Besonderheiten eines RAG-Systems und ihren Kundenmehrwert vorstellen, ehe wir auf die Herausforderungen beim Test, das eigentliche Testkonzept und die evaluierten Frameworks eingehen.
 
Ein praxisnaher Einblick in die Herausforderungen und Überlegungen beim Aufbau verlässlicher KI-Systeme und wie sie getestet werden können.