Ruimtelijke data science met Snowflake

Ivo de Liefde

Esri Certified Professional

Bij Tensing hebben we een integratie gerealiseerd tussen FME en het Snowflake platform. Dit stelt data science teams in staat om ruimtelijke data in hun projecten op te nemen naast alle functionaliteiten die Snowflake biedt. In deze blogpost leggen we uit wat Snowflake is, wat de integratie met FME voor je kan betekenen en hoe je dit alles kunt benaderen vanuit je favoriete notebook of IDE omgeving.

Snowflake en data science

Snowflake is een cloud computing platform dat organisaties in staat stelt zich te ontdoen van datasilo’s. Het biedt een platform dat elk dataformaat aankan, analyses kan uitvoeren op vrijwel onbeperkte schaal en gebruikers in staat stelt gegevens gemakkelijk en veilig te delen zonder ze te kopiëren of te verplaatsen.

Snowflake integreert met ETL-platforms voor gegevensinvoer, gegevenssynchronisatie en kan streaming gegevens verwerken. Gebruikers kunnen interactief met de data werken met behulp van interactieve dashboards die er bovenop zijn gebouwd of via een groot aantal data science en ML-omgevingen.

Snowflake en ruimtelijke data

Het enige dat nog relatief nieuw is in Snowflake is de mogelijkheid om ruimtelijke data te integreren en te analyseren. Hoewel het de essentiële ondersteuning voor coördinaten in WGS84 bevat, ontbreekt het out of the box aan volledige ondersteuning voor geometrie en geografische data. Om dit probleem op te lossen heeft Snowflake contact gezocht met Safe Software en Tensing. Bij Tensing hebben we een PoC-oplossing gebouwd die FME Server in Snowflake integreert om een Snowflake-only ervaring te bieden die gebruik maakt van alle (ruimtelijke) analytische kracht van FME.

Data science mogelijkheden voor Snowflake

Snowflake is een ongelooflijk handige tool voor het werken aan data science-projecten, omdat je het één enkel toegangspunt biedt tot alle gegevens die je nodig hebt. Dit omvat data van je eigen organisatie, maar ook externe gegevensbronnen via het wereldwijde netwerk van vertrouwde data. Deze data kunnen worden verwerkt op de multi-cluster compute architectuur, waardoor zeer schaalbare preprocessing en datavoorbereiding mogelijk is. Als Data Scientist kun je met elk learning machine of framework je processen bouwen met de taal naar keuze. Dit kan met behulp van native connectors.

Jupyter Notebooks, ArcGIS Notebooks and IDEs

Het analyseren van gegevens en het maken van modellen voor machine learning is een iteratief proces van verkennen, testen en valideren van methoden en de bijbehorende resultaten. Het begint en eindigt altijd met het bespreken van je werk met domeinexperts en eindgebruikers, die nieuwe ideeën zullen aandragen of zullen wijzen op gebreken in de huidige aanpak. Je tegenhangers in deze discussie zullen niet altijd in staat zijn je code te lezen. Sterker nog, zelfs gevorderde programmeurs kunnen het moeilijk hebben om elkaars code te lezen. Het maken van goed gestructureerde en gedocumenteerde notebooks tijdens het werken aan data science projecten is daarom uiterst belangrijk. Het stelt je in staat om te delen wat je hebt gedaan, wat de uitkomsten zijn en welke nieuwe inzichten of nieuwe vragen dit oproept.

Verbinding maken met Snowflake vanuit je notebookomgeving kan met behulp van het Snowflake-Connector package in Python. Hiermee kun je SQL-query’s uitvoeren en de resultaten ophalen, of zelfs een SQL-alchemy-engine maken waarmee je gegevens uit Snowflake rechtstreeks in Pandas dataframes kunt inlezen. Door deze integratie te combineren met een ArcGIS API voor Python of zelfs open source alternatieven zoals Geopandas ontstaat een ongelooflijk krachtig platform voor schaalbare (geo)data science projecten.

Met behulp van de FME-integratie in Snowflake kun je nu grootschalige ruimtelijke verwerking uitvoeren vanuit je notebookomgeving. Dit stelt je in staat om het volledige potentieel van ruimtelijke gegevens in je projecten te benutten en betere data science oplossingen te creëren.

Wil je meer weten over de achtergrond en mogelijkheden van Snowflake? Bekijk het webinar 'Empowering spatial insights with FME in Snowflake', waarin we je meenemen op een eerste verkenningstocht door dit revolutionaire platform en laten zien hoe we Snowflake koppelen aan andere dataplatforms zoals Esri ArcGIS.

Webinar-Snowflake-NL

Over Tensing

Tensing maakt Data Integratie technologie en Geografische Informatie Systemen (GIS) toegankelijk en toepasbaar. Onze consultants realiseren state-of-the-art oplossingen op basis van Esri ArcGIS en Safe Software FME.

Met Esri maken wij kaarten, stimuleren we samenwerking en analyseren we data. Met FME verbinden wij applicaties, transformeren we data en automatiseren we workflows.

Volg ons op LinkedIn

Ontvang alle updates per mail

© 2021 Tensing | Privacy Policy | Cookie Policy