Das Projekt im Überblick
Forschungsnahe Unternehmen aus dem Bereich Werkstofftechnik verfügen oft über einen großen Wissensfundus – etwa aus Studien, Fachliteratur oder internen Entwicklungsberichten. In der Praxis bleibt dieses Wissen aber häufig schlecht abrufbar. Denn der Zugriff auf relevante Inhalte ist meist aufwendig, was die Nutzung im Alltag erschwert. Im Fukus des Projektes stand daher die Frage: Wie kann Wissen aus lokalen Dokumenten besser strukturiert und zugänglich gemacht werden, um es im Forschungs- und Entwicklungsprozess zu nutzen? In diesem Zusammenhang ebenfalls wichtig: wie verlässlich sind generative KI-Systeme? Insbesondere im Hinblick auf mögliche Halluzinationen sowie die Verarbeitung sensibler Daten.
Vorgehen im Projekt
Das Projektteam verglich verschiedene Open-Source-Large-Language-Modelle (LLM), in dem es sie mit Dokumenten aus der Literaturrecherche „fütterte“, um anschließend die Qualität und Geschwindigkeit KI-generierter Antworten zu evaluieren. Genutzt wurden zunächst unkritische Daten (z. B. Papers in einer Uni-cloud), bevor perspektivisch auch interne Forschungsberichte des Unternehmens (von dessen Servern) einbezogen werden soll. Das Team analysierte die Antwortqualität, die Reaktionsgeschwindigkeit sowie die FRage, wie stark di eFormulierung der Anfragen die Ergebnisgüte beeinflusst.
Das Mittelstand-Digital Zentrum Chemnitz unterstützte bei der strukturierten Erprobung, bei der Auswahl geeigneter Modelle sowie bei der Auswertung der Ergebnisse. Der Vergleich mit marktführenden KI-Lösungen wie ChatGPT oder Perplexity AI zeigte: Open-Source-Modelle bieten Perspektiven, erreichen aber aktuell noch nicht deren Leistungsniveau. Dennoch konnten wichtige Erkenntnisse für eine strategische Nutzung generativer KI im forschungsnahen Mittelstand gewonnen werden.
Unterstützung durch das Mittelstand-Digital Zentrum Chemnitz
Das Mittelstand-Digital Zentrum Chemnitz begleitete Reha-aktiv bei der Erprobung geeigneter KI-Ansätze, insbesondere hinsichtlich der Machbarkeit und Wirtschaftlichkeit einer lokalen Implementierung. Durch die gemeinsame Analyse konnte aufgezeigt werden, dass aktuelle Open-Source-Modelle für die heterogene Vertragsdatenanalyse noch nicht die erforderliche Zuverlässigkeit bieten. Die Unterstützung bestand in der Bewertung der Potenziale und Grenzen der eingesetzten Tools. Damit konnte Reha-aktiv eine fundierte Entscheidungsgrundlage für zukünftige Investitionen in KI-basierte Systeme gewinnen.
Das Unternehmen
Die Nordmetall GmbH ist ein oprivatwirtschaftlicher Forschungs- und Ingenieurdienstleister mit Sitz im Erzgebirge. Schwerpunkte des Unternehmens sind unter anderem die Entwicklung anspruchsvoller Messtechnologien und fortschrittlicher Werkstoff- und Beutailprüfungen unter realitätsnahen Belastungszuständen sowie Werkstoffdesign und die additive Fertigung.
