aws Digitalisierung - AI Adoption | Steiermark | 2024

Das vorliegende Projekt zielt auf die Entwicklung eines automatisierten Testframeworks für Large Language Models (LLMs), das speziell zur Verbesserung der Vertrauenswürdigkeit und Effizienz von KI-Modellen dient. Unter Berücksichtigung der Anforderungen des EU AI Acts wird ein umfassendes Testsystem entwickelt, das eine End-to-End-Überprüfung der LLMs ermöglicht. Dies schließt die Überwachung auf Halluzinationen und die Sicherstellung der Übereinstimmung mit verifizierten Unternehmensdaten ein.
Das Framework erlaubt die automatische und manuelle Definition von Testfällen und ermöglicht eine schnelle Integration in bestehende Software-Pipelines. Durch die Kombination von quantitativen Methoden und fortgeschrittener Statistik wird die Testausführung optimiert, während gleichzeitig der Schutz der Datenschutz- und Sicherheitsanforderungen der EU, einschließlich der GDPR-Vorgaben, gewährleistet ist.
Die Zielsetzung des Projekts ist es, das Vertrauen der Anwender*innen in LLM-basierte Systeme zu erhöhen und die Entwicklung von KI-Modellen zu beschleunigen, indem alle relevanten Parameter, einschließlich Prompts, in einer umfassenden Testpipeline integriert werden. Dies schafft eine solide Grundlage für die Compliance und Transparenz von KI-Systemen und stellt sicher, dass die Ergebnisse den höchsten Standards entsprechen.