Automatiseren van het maandelijkse ECB OCiR/BCM Risk rapportage proces Ontwerpen, Data analyse, Data modellering, Ontwikkelen, Documenteren, Rapporteren
Het begon met het begrijpen en analyseren van het bestaande handmatige systeem. De doelstelling was duidelijk: het rapportageproces efficiënter maken door automatisering, waardoor de betrouwbaarheid van gegevens en de snelheid van rapportage aanzienlijk werden verhoogd. Dit leidde tot de succesvolle migratie naar een geavanceerde technische stack, bestaande uit SQL Server, Azure Datafactory en Power BI.
Ons team bestaat uit een klein aantal mensen. De risk expert, mijzelf als data engineer, een Azure DataFactory programmeur en een BI rapport bouwer.
Waar we aan werkten:
● Bestaand handmatig systeem overgezet naar SQL Server, Azure Datafactory en Power BI.
● Samen met de domein expert ontwerpen van het datamodel.
● Kennis van domein expert omzetten in code regels en documentatie
● Ontwikkelen van automatische laad processen voor het verhogen van de datakwaliteit.
● Python code ontwikkeld controleren van de complexe organisatie en rapportage structuur van de bank.
● De dataverwerking geautomatiseerd en genereerd periodieke datakwaliteit rapportages voor het verbeteren van de bron data.
Een belangrijk onderdeel van dit avontuur was het samen met domeinexpert uittekenen van het datamodel. Zijn expertkennis omzetten in code en handleidingen was echt een gamechanger. Hierdoor konden we een stevig systeem neerzetten dat niet alleen nu al sterk staat, maar ook makkelijk aan te passen is voor wat er nog komt. Het op poten zetten van processen die data automatisch laden, heeft de kwaliteit van onze data een enorme boost gegeven. En op maat gemaakte Python scripts waren key om de ingewikkelde structuur van de organisatie en rapportages te checken.
Door de dataverwerking te automatiseren en regelmatig rapporten over de datakwaliteit uit te spuwen, hebben we de kwaliteit van onze brondata sterk verbeterd. Dankzij al deze moeite is ons rapportageproces nu bijna volledig automatisch en hebben we de doorlooptijd teruggebracht van dagen naar maar een paar uur.
De technieken en skills die ik in dit project heb gebruikt, variëren van Regulatory Reporting en Risk Model tot samenwerken in teamverband, Data Warehousing, Data Modelling, SQL Server, T-SQL, Azure Datafactory, Power BI, Excel, Jupyter Notebook, Python, NetworkX, Google Colab, Visual Studio en GitLab. Ik heb nog veel bijgeleerd over de mogelijkheden van PowerBI en spreadsheets. Nooit geweten dat spreadsheets ook een datamodel hebben en ingebouwde PowerQuery faciliteiten.
Dit project laat goed zien hoe belangrijk het is om over de grenzen van je eigen functie heen te werken en de nieuwste technologieën in te zetten om bedrijfsprocessen in de financiële sector te verbeteren. Het gaf me de kans om mijn kennis in data-analyse, -modellering en -engineering verder uit te diepen, terwijl ik tegelijk een steentje bijdroeg aan het efficiënter en betrouwbaarder maken van de risicorapportages bij ABN AMRO.
Tauvic's Blog 