Den som arbetar med fjärranalys vet att det inte är helt enkelt att producera riktigt bra data som håller hög noggrannhet. Trots stora framsteg inom maskininlärning och AI ser vi fortfarande många exempel på produkter där resultaten håller låg kvalitet, särskilt när globala modeller appliceras på svenska förhållanden.
Ofta är problemen inte kopplade till själva tekniken, utan till brister i data, metodik och förståelse för det geografiska sammanhanget. Frågan är därför inte om AI fungerar eller inte. Frågan är under vilka förutsättningar den fungerar.
När AI-genererade data möter verkligheten
Under de senaste åren har en rad globala och europeiska dataset blivit tillgängliga. Många av dem bygger på AI-baserad klassificering av satellitdata och erbjuder snabb tillgång till information om exempelvis marktäcke, vegetation eller förändringar över tid.
Problemet uppstår när dessa produkter används utan att kvaliteten granskas mot lokala förhållanden. I Sverige ser vi många exempel på europeiska data där sådant som våtmarker, hyggen, skog, fjällhedar och lågvuxen vegetation felklassats eller överskattats/underskattats. För vissa användningsområden spelar sådana fel liten roll, men när underlagen används för samhällsplanering, miljöuppföljning, klimatanalyser eller investeringar kan konsekvenserna bli betydande.
Det är viktigt att förstå att ett AI-genererat dataset inte per automatik är ett kvalitetskontrollerat dataset.
Några vanliga fallgropar
Fallgrop 1: Modellen tränades för en annan verklighet
En av de vanligaste orsakerna till bristande kvalitet är att modeller tränas på data som inte representerar de miljöer där de senare används.
En modell som fungerar väl i Centraleuropa fungerar inte nödvändigtvis lika bra i Norrbotten. Skillnader i vegetation, topografi, klimat och markanvändning påverkar hur satellitdata ser ut och därmed hur modellen tolkar landskapet.
Det är lätt att underskatta hur stora dessa skillnader faktiskt är.
Sverige innehåller allt från jordbrukslandskap i söder till fjällmiljöer, myrmarker och boreal skog i norr. Att skapa robusta modeller för sådana förhållanden kräver träningsdata som representerar hela den geografiska variationen.
Om träningsunderlaget är begränsat kommer även resultaten att bli det.
Fallgrop 2: Att skala upp är svårare än många tror
Det är relativt enkelt att skapa en modell som fungerar bra i ett testområde. Den verkliga utmaningen uppstår när samma modell ska användas nationellt eller internationellt. När ett projekt skalas upp möter modellen nya förutsättningar som till exempel andra markslag, livsmiljötyper, klimatförhållanden och årstider.
En modell som uppvisar hög träffsäkerhet i en forskningsstudie kan därför prestera betydligt sämre när den används operativt över stora geografiska områden. Det är ofta här skillnaden mellan en lovande prototyp och en produktionssatt lösning blir tydlig.
Fallgrop 3: Datakvalitet underskattas
Diskussionen om AI handlar ofta om algoritmer. I praktiken är det dock datakvaliteten som avgör slutresultatet. Om indata innehåller fel, luckor eller brister kommer modellen att lära sig felaktiga samband. Samma sak gäller om träningsdata är inkonsekventa eller otillräckligt kvalitetssäkrade. Att lägga mycket kraft på att ta fram eller producera egna träningsdata är därför avgörande.
Inom fjärranalys påverkas resultaten dessutom av faktorer som moln, atmosfäriska störningar, snötäcke, skuggor, sensorvariationer, geometriska fel och variation mellan olika insamlingstillfällen. Att hantera dessa utmaningar kräver betydligt mer än att bara träna en modell.
Fallgrop 4: Brist på domänkunskap
En fjärde utmaning är att AI-utveckling ofta sker utan tillräcklig kunskap om den verklighet som ska beskrivas. Maskininlärningsexperter är ofta mycket skickliga på modeller och algoritmer. Men för att skapa användbara geografiska produkter behövs även expertis inom fjärranalys, geodata och de verksamheter som resultaten ska stödja.
Det räcker exempelvis inte att veta att en pixel klassificeras som skog. Man måste ofta också förstå vilken typ av skog det handlar om, hur den skiljer sig från omgivande markslag och vilka konsekvenser en felklassificering får för användaren.
När domänkunskapen saknas riskerar modellerna att optimeras för statistiska mått snarare än verklig användbarhet.
AI kräver mer än hög träffsäkerhet
Ett vanligt problem i AI-projekt är att fokus hamnar på modellens träffsäkerhet i stället för på datakvaliteten i den färdiga produkten. En modell kan uppnå imponerande resultat i tekniska utvärderingar och ändå vara svår att använda i praktiken.
Därför är det väldigt viktigt att validera resultatet på andra sätt.
För organisationer som arbetar med samhällsbyggnad, miljöanalys eller naturresurser är det viktigt att ställa sig dessa frågor när man ställs inför en ny datamängd:
Utan svar på dessa frågor blir det svårt att skapa förtroende för resultatet.
Metrias arbetssätt: från AI-modell till fungerande informationsprodukt
På Metria ser vi AI som ett kraftfullt verktyg. Vår erfarenhet från nationella kartläggningar, geografiska analyser och fjärranalysprojekt visar att det är samspelet mellan teknik, data och domänkunskap som skapar värde.
Därför lägger vi stor vikt vid:
AI kommer att fortsätta förändra hur geografisk information produceras. Möjligheterna är stora, och utvecklingen går snabbt.
Men erfarenheten visar att de mest värdefulla lösningarna sällan bygger på den mest avancerade modellen. De bygger på rätt data, rätt metodik och en djup förståelse för det problem som ska lösas.
För den som använder geografisk information är därför den viktigaste frågan inte om en produkt är AI-genererad. Den viktigaste frågan är om produkten håller den kvalitet som behövs för just det du vill använda den till.
Metria erbjuder digitala lösningar och tjänster inom GIS, geodata, fastighets- och affärsinformation. Vårt erbjudande omfattar hela kedjan från att identifiera kundens behov av geodata, fastighets- och affärsinformation till att samla in, analysera och visualisera data för att skapa insikter som leder till smartare, säkrare och grönare beslut.
Metria är sedan våren 2022 en del av Spir Group, en nordisk koncern med cirka 260 anställda i Norge och Sverige.
Spir Group är ett nordiskt företag som genom att samla in och göra information tillgänglig mellan konsumenter, offentlig och privat sektor, förenklar vi processer som är onödigt komplexa.
Spir Group är moderbolaget och den visionära kraften bakom flera dotterbolag inom mjukvara, alla dedikerade till att leverera affärskritisk teknologi som upprätthåller och utvecklar samhället.
Våra kunder sträcker sig från fastighetsmäklare, banker, försäkringsbolag, värderingsmän, fastighetsutvecklare, medieföretag, byggare, fastighetsägare, ingenjörer, energibolag till tillverkare av byggmaterial.
Vi är mer än 260 kollegor med djup domän- och teknologikompetens. Spir Group gör mer än att bara samla in och dela information. Vi möjliggör innovation och tillväxt som stärker förtroendet mellan människor, företag och samhälle.
Mer information om Spir Group finns på www.spirgroup.com.