Oppgaven vi fikk utdelt fra Egde var å gjennomføre en ETL prosess, der data fra to ulike datakilder skulle transformeres og lagres som en tabell i en Datalake. Teknologiene vi skulle benytte oss av var teknologier innenfor skytjenesten Microsoft Azure. Siden teknologiene vi brukte var nokså ukjente for Egde hadde vi frie tøyler til å utforske og finne den fremgangsmåten vi trodde egnet seg best for Egde. Underveis i prosessen har vi møtt på flere utforinger, men bruk av gode hjelpemidler, rammeverk, god kommunikasjon og samarbeid har vi sammen med Egde håndtert disse og gjennomført hele prosessen.

Sluttproduktet er en "Proof of Concept" av vår ETL prosess, der vi har dokumentert alle ledd i prosessen. Vi henter data fra en Datalake, videre blir dataen sendt inn i vårt arbeidsmiljø som er Databricks, her blir dataen transformert til ønsket nivå og til slutt sendes dataen ut som Delta format i en ny Datalake. Vi er fornøyde med det resultatet vi oppnådde, men prosessen kan alltid utbedres. Vi rakk ikke å transformere all dataen til ønsket nivå, ettersom at vi ikke hadde nok tid. Vi ønsket også å kunne benytte oss av Power BI slik at dataen kunne blitt visualisert på en mer brukervennlig måte, men dette manglet vi rettigheter til.