Snowflake is een product van buiten de geosector. Als partner van SAFE Software, de bedenker van de ETL-tool FME, legde geodatadiensten-leverancier Tensing de link met locatiedata.
Traditionele datastructuren kunnen complex, duur en aan beperkingen onder-hevig zijn. Snowflake wil hiervoor een goedkoper en minder complex alternatief bieden. In het cloudgebaseerde platform hoef je alleen gegevens te uploaden. Het systeem doet de rest. Snowflake kent drie lagen: de centrale opslag, multi-cluster compute en cloud services. Via de beveiligde ecosystemen kunnen organisaties eenvoudig gegevens delen met andere gebruikers en bedrijven. Waar een hiërarchisch ingericht datawarehouse gegevens opslaat in bestanden of mappen, gebruikt een data lake, een platte architectuur om gegevens op te slaan. Ivo de Liefde, geodataspecialist bij Tensing, legt uit: “Snowflake wordt vaak ingezet als dataplatform bij grote organisaties. Vaak zie je een versnipperd data-landschap met veel silo’s, en losse databases. De Snowflake Data Cloud neemt problemen weg op dat vlak en stelt bedrijven aan de hand van data in staat om zich te focussen op hun primaire taak. Maar: apart genoeg zitten er nog geen geo- data in Snowflake.”
Analyses over vele datasets
Er zijn verschillende redenen waarom organisaties interesse tonen in een speciaal platform voor data. Denk aan het doorbreken van datasilo’s, het creëren en eenvoudig toegankelijk maken van analyses over vele datasets. Snowflake stelt zakelijke gebruikers zoals Pepsico, Stedin en Allianz in staat om de kracht van de cloud te benutten door gegevens op een centrale plaats op te slaan en vrijwel onbeperkte ‘compute’ te gebruiken voor data-engineering en -analyse. Dit cre- eert nieuwe inzichten waarmee ze kunnen inspelen op de behoeften van hun klanten. De Liefde stelt: “Je hebt niet langer te maken met losse systemen met eigen datasets, maar één platform voor de hele organisatie: het is heel breed.” En sinds kort voegde Tensing daar een mogelijkheid aan toe: volledige ondersteuning voor geografie.
Snowflake en geodata
De vraag naar geodata kwam terecht bij SAFE Software, en zij legden de vraag bij Tensing. “Bij niet-geografische data moet je denken aan numeriek opgeslagen assetgegevens, of informatie over waterkwaliteit. Daar is wel degelijk een locatie relevant, maar het is niet expliciet zo opgeslagen.” Om het potentieel van geo- informatie binnen Snowflake naar een hoger niveau te tillen, biedt Tensing extra mogelijkheden door FME te integreren met Snowflake. Het is mogelijk om gegevens op te slaan met elk coördinatensysteem (lokaal of globaal) en ook met hoogte (z-coördinaten). De inzet van FME is op verschillende niveaus relevant binnen Snowflake. De eerste betreft de mogelijkheid om data in en uit Snowflake te halen vanuit GIS. Daarnaast vind je FME terug op de plek waar de analyses plaatsvinden in Snowflake. Als je een query maakt waarin je bijvoorbeeld een lijst met adressen moet geocoderen, klaart FME de klus. Zo kun je adressen verrijken met een locatie op een kaart. Snowflake zelf kan dit niet.
Gebruikers zijn geen GIS’ers
Klanten die al Snowflake inzetten, hebben daarnaast meestal ook een GIS-afdeling. “Sterker nog: grote utilities hebben vaak ook al FME. Wanneer zij die koppeling maken, kunnen ze ook binnen Snowflake met geografische data werken”, aldus De Liefde. “Het gaat erom dat ze de beschikking willen krijgen over geodata binnen het grotere dataplatform.” Het interessante aan deze koppeling is dat deze ook bedoeld is voor Snowflake-medewerkers, die vaak geen GIS- of FME-kennis hebben. “Snowflake stelde een ‘Snowflake-Only-Experience’ als voorwaarde. De gebruikers blijven gewoon hun dingen doen zoals ze dat in Snowflake gewend zijn.” Snowflake ontsluit gegevens bijvoorbeeld naar BI-dashboards, of naar notebookomgevingen voor het gebruik in Data Science-projecten. “Vooral interessant zijn de analyses waar data uit verschillende bronnen samenkomen”, weidt De Liefde uit. “Dat kunnen zware analyses of berekeningen zijn die je wil laten opschalen. Daar is het platform goed in.”
Gegevens consolideren
Door de oogharen gezien lijken de uitgangspunten van de Snowflake Data Cloud enigszins op basisregistraties, maar dan voor bedrijven. Zo kun je gegevens consolideren tot één betrouwbare bron die meerdere soorten bedrijfstoepassingen ondersteunt. Het stroomlijnt de manier waarop verschillende teams, zowel intern als extern, gegevens delen. Nog een groot voordeel: teams werken samen zonder dat ze gegevens hoeven te kopiëren. Zo voorkom je dat er verschillende kopieën in omloop raken, met alle ongewenste gevolgen van dien. Ook neemt een groot intern platform security-issues weg. Zo stelt Snowflake je in staat relevante restricties voor data-toegang in te stellen en minimaliseert het de problemen met databeheer en de naleving van het beheer van meerdere kopieën van dezelfde datasets. Het platform automatiseert en haalt de complexiteit weg, van gegevensopslag en gegevensverwerking tot transactiebeheer, beveiliging, governance en metadatabeheer.
Architectuur, Oracle
Snowflake wordt aangeboden als een dienst, een managed service, klanten betalen dus enkel voor de seconden dat er rekenkracht wordt verbruikt. De Snowflake Data Cloud- architectuur scheidt rekenkracht (compute) van opslag (storage). Dit is belangrijk omdat on-premises databases de twee samenvoegt. Dat betekent dat je de grootte van je instantie moet afstemmen op je grootste werklast. Daarmee gaan ook de kosten die daarbij horen omhoog. In Snowflake kunnen workloads gescheiden worden voor ongelimiteerde schaalbaarheid en parallelle verwerking. De performance van gekoppelde dashboards en rapportages zullen nooit worden beïnvloed door andere workloads. De architectuur, met daarin functionaliteit zoals Time Travel en Zero Copy Cloning, zorgt ook voor kostenbesparing. Kopieën van data en intensief beheer zijn immers niet meer nodig. De business kan gebruikmaken van alle data zonder dat er aan de achterkant veel werkzaamheden aan vastzitten. Voor de data in ruimtelijke databases (van Esri’s File Geodatabase tot de relationele databases van Oracle) betekent het dat er nieuwe gebruikersgroepen worden aangeboord. Ivo de Liefde: “Een interessant detail is dat de oprichters van Snowflake bij Oracle vandaan komen. Zij ontwikkelden nieuwe ideeën omtrent werken in de cloud en dat resulteerde uiteindelijk in de oprichting van Snowflake. Oracle-kenners zullen elementen herkennen in de manier waarop het is opgebouwd.”
