Ausgangslage
Die Idee für die Diplomarbeit entstand aus den Bestrebungen der ICS GmbH, den Prozess der Identifikation und Analyse von CVEs zu automatisieren und diese Fähigkeit in der hauseigenen Security Risikomanagement-Plattform SECIRA zu nutzen.
Ziel
Mit meiner Arbeit untersuche ich, ob LLMs für die automatisierte Kategorisierung von CVEs in vordefinierte Kategorien, auf Basis ihrer Beschreibungen, ausreichend geeignet sind. Dazu wird sowohl ein online-basiertes als auch ein lokales LLM getestet, um zu ermitteln, welches Modell sich am besten für die Integration in SECIRA eignet.
Ergebnisse
Die Untersuchung der CVE-Kategorisierung durch ein lokales und ein online LLM ergab spezifische Stärken: Das online LLM überzeugte durch präzisere Resultate und schnellere Analysezeiten, während das lokale Modell durch volle Datenkontrolle und konsistente Ergebnisse punktete. Die gesetzten Ziele einer automatisierten Kategorisierung und der Vergleich der Modelle wurden erreicht. Jedoch zeigte sich, dass beide Modelle ohne weitere Optimierungen nicht direkt für die Integration in SECIRA geeignet sind.
Lessons learnt
Eine gute Planung ist der Schlüssel zum Erfolg! In meinem Projekt folgte ich dem 4-Phasen-Modell, begann jedoch nach der Initialisierungsphase, in der eine grobe Meilensteinplanung erstellt wurde, direkt mit der technischen Umsetzung.
Meine Überlegung dabei war, dass ohne eine erfolgreiche Implementierung der LLMs auch keine relevanten Ergebnisse erzielt werden konnten. Dieser starke technische Fokus führte jedoch dazu, dass ich eine detaillierte Planung und den Aufwand für die Dokumentation vernachlässigte. Die Konsequenz war eine stark verkürzte Zeit für die Dokumentation und ein erheblicher Nachbearbeitungsaufwand.
Auch erschien mir mein Auftrag zu Beginn sehr eindeutig, weshalb ich nur bei Bedarf Meetings mit meinem Auftraggeber vereinbarte. Dies stellte sich jedoch als suboptimal heraus. Regelmässige Statusmeetings hätten mir wertvollen Input und einen anderen Blickwinkel auf meine bisherigen Tätigkeiten ermöglicht.
