bridge-projekt-contest-935x561---new.jpg

BRIDGE Projekt ConTest gestartet

Vor kurzem fand der Kick-Off des Projekts “ConTest: Continuous Software Testing: Solving the Oracle Problem in Production” statt. Das Projekt wird von der FFG im Rahmen des BRIDGE Programms für eine Laufzeit von drei Jahren gefördert.

Partner des Projektes sind das Institut für Informatik der Universität Innsbruck mit assoz. Prof. Dr. Michael Felderer als Gesamtprojektleiter, das Software Competence Center Hagenberg sowie die Firma Gepardec IT Services GmbH.

Moderne Softwaresysteme werden kontinuierlich weiterentwickelt und so können neue Funktionen und Updates den Benutzern schnell zur Verfügung gestellt werden. Kontinuierliche Entwicklung bedingt, dass auch die Qualität laufend gesichert wird. Dabei genügt es längst nicht mehr, dass Funktionen und Updates nur vor der Freigabe am Testsystem getestet werden, in der Annahme, dass das System des Benutzers sich genauso verhält wie das Testsystem. Dies trifft jedoch auf viele moderne Anwendungen, die auf den unterschiedlichsten Endgeräten und in unterschiedlichsten Umgebungen laufen (vom Edge-Device bis zur Cloud), nicht zu. Dazu kommt, dass bei modernen Systemen zum Testzeitpunkt häufig noch gar nicht absehbar ist, wie die Benutzer das System im Feld tatsächlich einmal verwenden und mit welchen Daten die KI-Algorithmen konfrontiert sein werden. Kontinuierliches Testen bedeutet daher, dass die Testphase nicht mit der Freigabe abrupt endet, sondern bis in der Phase des laufenden Betriebes ausgedehnt wird.

Der kontinuierliche Ansatz stellt jedoch den Test vor die schwierige Frage: Wie kann für ein Ergebnis einer zukünftigen, zum aktuellen Zeitpunkt noch nicht vorhersehbaren Verwendung des Systems, entschieden werden, ob dieses richtig oder falsch ist?

Im Projekt ConTest wird dazu an einem fundamental neuen Testorakelansatz geforscht, der robuste Distanzmaße basierend auf statistischen Momenten nutzt, um Ergebnisse unterschiedlicher Verwendungen vergleichbar zu machen und dadurch Qualitätsunterschiede sowie ein fehlerhaftes Systemverhalten auch bei einer graduellen Veränderung zuverlässig zu identifizieren. "Die Ergebnisse der mathematisch formalisierten, statistischen Messung müssen für den Tester aber auch verstehbar und interpretierbar sein", so der Leiter des Projekts, assoz. Prof. Michael Felderer. "Daher werden die statistischen Messergebnisse auf ein Risikomodell abgebildet, mit dem anwendungsspezifische Qualitätsaussagen - wie gut ist das System - gemacht und das Risiko - wie kritisch sind Abweichungen bzw. Fehler - beurteilt werden können."

Im Projekt “ConTest: Continuous Software Testing: Solving the Oracle Problem in Production” arbeiten Forscher des Instituts für Informatik der Universität Innsbruck gemeinsam mit dem Software Competence Center Hagenberg und der Gepardec IT Services GmbH an einer Lösung speziell für AI-basierte Systeme und Cloud-Services. Das Projekt wird von der österreichischen Forschungsförderungsgesellschaft FFG im Rahmen des Programms BRIDGE gefördert.

Nach oben scrollen