Automatisierte Datenanalyse und Visualisierung in einem Kompetenzzentrum
Automatisierung in der Azure Cloud | Visualisierung mit Power BI
Die stetig zunehmende Menge an Daten und der steigende Bedarf an zeitnahen und präzisen Entscheidungsgrundlagen stellen viele Organisationen vor grosse Herausforderungen. Das Kompetenzzentrum "Raion Dojo" sieht sich ebenfalls diesen Anforderungen gegenüber und benötigt eine effizientere, automatisierte Lösung zur Datenverarbeitung und -visualisierung. Derzeit wird das Customer Relationship Management (CRM) System "Gymdesk" verwendet, jedoch bietet diese gebührenpflichtige Software keine Möglichkeit, geschäftsrelevante Kennzahlen (KPIs) dynamisch und aktuell darzustellen.
Manuelle KPI-Verarbeitung führt oft zu Verzögerungen und birgt das Risiko von menschlichen Fehlern, die die Entscheidungsfindung beeinträchtigen. Eine automatisierte Lösung würde die Fehlerquote reduzieren und die Aktualität der KPIs sicherstellen.
15. November 2024
Manuel Brunner
Problembeschreibung
In der bestehenden Lösung müssen zahlreiche KPIs manuell und über mehrere Zwischenschritte aggregiert werden. Die Interpretation von Mitgliederzahlen sowie von Trainingsverhalten ist daher zeitaufwändig und anfällig für Fehler. Diese Situation erschwert die Entscheidungsfindung und das strategische Wachstum des Vereins erheblich. Das vorliegende Projekt zielt darauf ab, diese Prozesse durch eine vollständige Automatisierung zu optimieren.
Lösungsansatz und Technologie
Mit der Implementierung einer Azure-Cloud-basierten Datenpipeline und der Visualisierung in Power BI wurde eine Lösung entwickelt, die es ermöglicht, alle relevanten Daten automatisch zu erfassen, zu speichern und dynamisch darzustellen. Azure bietet eine zuverlässige und skalierbare Cloud-Plattform, die es ermöglicht, grosse Datenmengen effizient zu speichern und zu verarbeiten. Power BI stellt sicher, dass diese Daten in benutzerfreundlichen Dashboards visuell aufbereitet werden können, was Entscheidungsprozesse unterstützt.
Dadurch wird das Kompetenzzentrum befähigt, datenbasierte Entscheidungen effizienter und fundierter zu treffen. Diese Lösung bietet ausserdem eine wertvolle Grundlage, um zukünftig weitere Trends zu erkennen, Dienstleistungen gezielt anzupassen und sich so im Wettbewerb strategisch zu positionieren.
Systemarchitektur
Die dargestellte Systemarchitektur visualisiert den gesamten Workflow als Architekturdiagramm und bietet eine klare Übersicht über die einzelnen Komponenten und deren Zusammenspiel. Der Workflow umfasst die Schritte von der Datenaufnahme über die Verarbeitung und Speicherung bis hin zur Visualisierung und Sicherung der Daten.
Datenpipeline und Automatisierung
Im Kern basiert die Lösung auf einer stabilen Datenpipeline, die die Mitgliederdaten automatisch aus dem Gymdesk-System extrahiert und sicher im Azure Blob Storage speichert. Eine speziell für diesen Zweck entwickelte Azure Function stellt sicher, dass die Daten im korrekten Format erfasst und abgelegt werden, ohne manuelle Eingriffe.
Von dort werden die Daten weiter in eine Azure SQL-Datenbank transferiert, die eine strukturierte Speicherung und effiziente Abfrage ermöglicht. Diese Datenbank enthält spezifische Tabellen, die auf die Anforderungen des Kompetenzzentrums zugeschnitten sind und eine optimale Organisation der Daten gewährleisten.
Azure Functions ermöglichen eine flexible und kosteneffiziente Automatisierung, die Daten in Echtzeit extrahiert und bereitstellt, ohne dass komplexe Infrastruktur benötigt wird.
Visualisierung und Analyse
Zur Visualisierung der gesammelten Daten wurde Power BI als primäres Werkzeug gewählt. Die Integration der SQL-Datenbank in Power BI ermöglicht eine dynamische Darstellung relevanter KPIs, die in Form interaktiver Dashboards aufbereitet werden. Diese Dashboards bieten Entscheidungsträgern eine transparente Übersicht über wichtige Kennzahlen wie Kantonszuordungen, Mitglieder sortiert nach Bereiche und weitere Geschäftskennzahlen.
Ein wesentliches Feature ist die regelmässige Aktualisierung der Daten durch ein automatisiertes Refresh-Workflow, sodass die Entscheidungsträger jederzeit auf die aktuellen Daten zugreifen können, ohne manuelle Updates durchführen zu müssen. Die Visualisierungen sind so konzipiert, dass sie komplexe Daten auf einfache Weise darstellen und eine intuitive Bedienung ermöglichen.
Durch interaktive Dashboards in Power BI können Entscheidungsträger Daten explorieren und Analysen nach individuellen Anforderungen durchführen, was eine schnellere und fundiertere Entscheidungsfindung ermöglicht.
Sicherheits- und Backup-Strategien
Die Lösung umfasst auch eine zusätzliche Automatisierungsebene zur Sicherung der Daten. Über eine Azure Logic App werden die im Blob Storage abgelegten Daten in regelmässigen Intervallen in eine SharePoint-Bibliothek gesichert. Dieses Backup-System reduziert das Risiko von Datenverlusten und stellt sicher, dass alle Daten langfristig verfügbar bleiben, selbst im Falle eines Systemausfalls.
Das Backup-System schützt nicht nur vor Datenverlusten, sondern stellt sicher, dass auch bei Systemausfällen alle historischen Daten abrufbar bleiben.
Testphase und Qualitätssicherung
In der abschliessenden Testphase wurden alle Komponenten intensiv geprüft, um die Funktionsfähigkeit und Zuverlässigkeit des Systems sicherzustellen. Dabei wurde die Datenübertragung, die Backup-Konsistenz, die SQL-Datenbankintegration und die Visualisierungen in Power BI wiederholt getestet.
Durch regelmässige Funktionstests konnten mögliche Schwachstellen im System identifiziert und frühzeitig behoben werden, was die Zuverlässigkeit der Lösung signifikant erhöhte. Dieser Prozess bestätigte, dass die Lösung in verschiedenen Anwendungsszenarien stabil arbeitet und Fehler frühzeitig identifiziert und behoben werden konnten.
Fazit und Ausblick
Zusammenfassend stellt das Ergebnis dieser Arbeit eine effiziente und skalierbare Lösung dar, die sowohl die Datenverwaltung als auch die Entscheidungsfindung im Kompetenzzentrum erheblich verbessert. Die Implementierung moderner Cloud-Technologien und die Integration eines umfassenden Automatisierungsansatzes haben nicht nur den operativen Aufwand reduziert, sondern auch die Grundlage für datenbasierte und strategische Entscheidungen gestärkt.
Zukünftig könnte das System durch den Einsatz von Machine Learning erweitert werden, um Trends frühzeitig zu erkennen und fundierte Prognosen für die strategische Ausrichtung zu erstellen. Die architektonische Grundlage kann langfristig als Standardlösung für ähnliche Anforderungen in anderen Abteilungen oder Projekten weiterverwendet werden und bietet eine solide Grundlage für Erweiterungen.
Systemarchitektur und Workflow-Visualisierung
1/2Die dargestellte Systemarchitektur visualisiert den gesamten Workflow als Architekturbild und bietet eine klare Übersicht über die einzelnen Komponenten und deren Zusammenspiel.
2/2Das begleitende Live-Video zeigt den Workflow in Echtzeit und ermöglicht so eine dynamische Darstellung der Abläufe.
1/2Die dargestellte Systemarchitektur visualisiert den gesamten Workflow als Architekturbild und bietet eine klare Übersicht über die einzelnen Komponenten und deren Zusammenspiel.
2/2Das begleitende Live-Video zeigt den Workflow in Echtzeit und ermöglicht so eine dynamische Darstellung der Abläufe.
Auf Wunsch kann die Diplomarbeit über die angegebene Mailadresse angefordert werden
Manuel BrunnerMein Name ist Manuel Brunner und schliesse mein Studium in der Informatik als Systemtechniker ab.Ich engagiere mich seit über 10 Jahren im Vorstand des Vereins Raion Dojo. Dort bin ich verantwortlich für die IT-Abteilung, das Materialmanagement und bauliche Massnahmen. Zusätzlich leite ich das Training für Anfänger und unterstütze die Wettkämpfer bei ihrer Vorbereitung auf kommende Kämpfe im Ring. Beruflich bin ich seit 15 Jahren bei der Telekommunikationsfirma WD Regionet AG tätig, wo ich meine Laufbahn als Kabelnetztiefbauer begann und anschliessend als Kabelnetzmonteur, Servicetechniker und Projektleiter tätig war. Heute führe ich als Teamleiter ein Team von 15 Mitarbeitenden in den Bereichen Projektierung, Montage und Tiefbau. In naher Zukunft könnte ein Wechsel in die Informatik für mich infrage kommen – eine Entscheidung, die mein Berufsleben massgeblich verändern würde. Mein persönliches Motto: "The Only Easy Day Was Yesterday".