Nationella datavärdskap
Omvärlden efterfrågar bättre och snabbare tillgång till kvalitetssäkrade data från miljöövervakningen. Systemet med datavärdar som infördes redan 1994 av Naturvårdsverket, är vårt sätt att möta denna efterfrågan. Datavärdarna arbetar på uppdrag av Naturvårdsverket och Havs- och vattenmyndigheten och svarar för leveranskontroll, lagring och presentation av miljödata.
Bra att veta
För de vattenrelaterade datavärdarna är Havs- och vattenmyndigheten beställare. För övriga datavärdskap inklusive datavärdskap för miljögifter är Naturvårdsverket beställare.
Data görs tillgängliga
Utgångspunkten är att kvalitetssäkrade data ska kunna hämtas av alla på ett så enkelt och smidigt sätt som möjligt. I de fall datavärden upplever användarnas önskemål som svåra att tillgodose ska datavärden lyfta frågan till beställaren, som får hantera önskemålet och förhoppningsvis lösa problemet. Vi bedömer att datavärdskap är en kostnadseffektiv lösning som medger att data kan lagras på ett distribuerat sätt nära källan och där kunskap om datainnehållet finns.
De nationella datavärdarna är framför allt andra myndigheter och olika institutioner vid universiteten som på uppdrag från Naturvårdsverket och Havs- och vattenmyndigheten tillgängliggör data från olika undersökningar i miljön.
Vår vision för nationella datavärdskap
- Alla data som samlas in med hjälp av skattemedel är allmänt tillgängliga.
- Data används och kommer till nytta.
- Alla insamlade data levereras till någon datavärd. Med ”alla” menas data från nationell övervakning, regional övervakning, kalkeffektuppföljning, samfinansierad övervakning (till exempel samordnad recipientkontroll, SRK) samt i vissa fall, data från uppföljning i skyddade områden.
- Alla data samlas in med gemensamma metoder.
- Alla data är tillgängliga via webben.
- Kvalitetsinformation finns för alla data.
Termer och begrepp
Beställare: Den organisation som skriver avtal med utförare eller datavärd.
Provtagande organisation: Den som utför provtagning, datafångst eller motsvarande.
Dataleverantör: Den som levererar data till datavärden.
Datavärd: Den organisation som fått i uppdrag att driva ett datavärdskap.
Datavärdskap: Dataförvaltning med funktionen att ta emot och utföra leveranskontroll, lagring och tillgängliggörande av miljödata inom ett tematiskt område.
Nationellt datavärdskap: Långsiktigt datavärdskap inrättat med statliga medel i syfte att vara den nationella noden för miljödata inom ett tematiskt område. Internationell rapportering ingår ofta som en del av tillgängliggörandet.
Övervakningsmanual (tidigare undersökningstyp): En övervakningsmanual är ett dokument som ger vägledning om hur en undersökning inom miljöövervakningen ska genomföras. En viktig del av innehållet är metoder, referenser till metoder och råd om hur metoderna ska användas. En annan viktig del är att den vägleder i fråga om datakvalitet och datahantering. En övervakningsmanual kan när det är lämpligt användas även för angränsande områden t ex inom vattenförvaltningen, samordnad recipientkontroll, för inventeringar och andra uppdrag.
Programområde: Den nationella och regionala miljöövervakningen är organiserad enligt tio programområden som följer en tematisk indelning.
Delprogram: En finare indelning av ett programområde. Kan liknas vid ett projekt som löper över en längre tid och som har en långsiktig beställning och finansiering.
Övervakningsprogram: Ett övervakningsprogram kan liknas vid ett projekt som löper över en längre tid och som har en långsiktig beställning och finansiering. Innehåller minst en (1) undersökning. Begreppet övervakningsprogram är synonymt med delprogram, program, kontrollprogram.
Undersökning: En undersökning beskriver en konkret aktivitet, inventering eller projekt. Kan liknas vid ett projekt som löper över en kortare eller längre tid och som har en kort- eller långsiktig beställning och finansiering. En undersökning har ofta en relation till ett överordnat övervakningsprogram men kan också existera självständigt. En undersökning har alltid en relation till metoddokument ofta kallade övervakningsmanualer eller undersökningstyper. Begreppet undersökning är synonymt med inventering och projekt.
Nationell miljöövervakning: Miljöövervakning som finansierats med statliga medel för att ge en övergripande bild av miljötillståndet i Sverige. Beställare är Naturvårdsverket eller Havs- och vattenmyndigheten.
Regional miljöövervakning: Miljöövervakning som finansierats med statliga medel för att ge en övergripande bild av miljötillståndet på länsnivå. Beställare är en länsstyrelse.
Lokal miljöövervakning: Miljöövervakning som finansieras av en kommun.
Dataproduktspecifikation: Dokumentation som definierar en dataprodukt och de krav som kan ställas på dataprodukten
Dataprodukt: Datamängd som beskrivs i en dataproduktspecifikation enligt ISO 19131.
Datavärdarna presenteras
Vilka som är datavärdar för miljöövervakningsdata, och information om vilka data som finns hos värdarna, framgår på sidan Miljöövervakningsdata.
Leverans av miljödata till datavärd
Utförare som Naturvårdsverket eller Havs- och vattenmyndigheten har avtal med ska leverera kvalitetssäkrade data till datavärden. Datavärden gör olika rimlighetskontroller och kontaktar utföraren om något verkar fel eller orimligt.
När leveransen är godkänd läggs det nya datat in i datavärdens databas och datat blir offentligt. Hur lång tid denna process tar varierar från några timmar upp till ett år. Vår gemensamma strävan är att snabba på denna process ytterligare.
Regionala data bör utnyttjas mer
Vårt mål är även att användningen av regionala miljöövervakningsdata ska öka. För att åstadkomma detta tror vi att de nationella datavärdarna i större utsträckning bör användas för lagring och spridning av regionala miljöövervakningsdata. Länsstyrelser, vattenvårdsförbund eller motsvarande ansvarar dock för att data är kvalitetssäkrade innan de levereras till datavärd.
Från kommunerna levereras data från bland annat badvattenprovtagningar samt luftkvalitetsmätningar i tätort. Dessa data rapporteras till HaV respektive datavärden för luftkvalitet i tätort.
Valideringstjänster för miljödata
För att förenkla hanteringen och snabba på processen från insamling till tillhandahållande av miljödata har Naturvårdsverket och Havs- och vattenmyndigheten med start 2012 låtit utveckla en central valideringstjänst för i första hand miljöövervakningsdata. Med tiden har även annan miljödata kommit att omfattas såsom data från recipientkontroll, förorenade sediment mm. De dataflöden som valideringstjänsten hanterade var inom grundvatten (SGU), provfiske (SLU), luftkvalitet (SMHI) samt miljögifter (SGU). Den centrala valideringstjänsten togs i skarp drift 2016 för dessa datavärdskap.
Med tiden växte volymen av data och det visade sig vara svårt att ta hand om väldigt olika typer av data i en enda central valideringstjänst. Därför fick tre av datavärdskapen extra medel för att utveckla egna valideringstjänster som kunde göras mer optimerade för just de dataflöden som dessa datavärdskap omfattar.
Under 2023 driftsattes de nya valideringstjänsterna inom datavärdskapet för luftkvalitet (SMHI) samt för miljögifter (SGU) och för grundvatten (SGU). Även datavärdskapet för sjöar och vattendrag (SLU) har under samma period haft en egenutvecklad tjänst som validerar inskickade data från utförarna. Den centrala valideringstjänsten avvecklades samma år, 2023.
En valideringstjänst har tre syften:
- Att tjänsten på ett standardiserat och spårbart sätt ska kunna beskriva mätdatas kvalitet för inrapporterad datafil och om filen kan godkännas eller inte enligt ställda krav i enlighet med beslutade valideringsregler.
- Att datatjänsten automatiskt ska göra de kontroller som annars görs av människor vilket är en av de främsta orsakerna till att data inte tillgängliggörs i den takt som användarna förväntar sig.
- Att skapa en starkare koppling mellan övervakningsmanualer/undersökningstyper och valideringen. De valideringsregler som sätts upp i tjänsterna ska matcha kraven i övervakningsmanualerna och tvärtom.
Målgrupp för valideringstjänsterna
De som använder valideringstjänsterna är utförare, konsulter, medarbetare vid länsstyrelser och kommuner som gjort olika undersökningar och där krav ställts på att de ska leverera data till någon nationell datavärd. Mer information om valideringstjänsterna och hur data rapporteras in till respektive datavärd hittas här:
Datavärdskap Luftkvalitet (smhi.se)
Datavärdskap Miljögifter (sgu.se)
Valideringstjänster och dess bakomliggande stödsystem
Valideringstjänsterna kommer på sikt att endast acceptera dataleveranser som är försedda med korrekta provplats-ID:n från de platser där proven är tagna samt att inlevererade data är beskriva med termer och begrepp som följer etablerade kodlistor. Detta koncept är infört fullt ut för datavärdskapet för miljögifter (SGU) och införs successivt för övriga datavärdskap.
De olika stödsystemen är viktiga verktyg för att samordna och underlätta miljödatahanteringen inom miljöövervakningen men även inom angränsande verksamheter med liknande behov. Genom en tydlig styrning av vilka termer och begrepp som tillåts ökar jämförbarheten och användbarheten för slutanvändaren, även om data förvaltas hos flera olika datavärdar. Harmoniseringsarbetet är ett i högsta grad ett pågående arbete.
Stödsystem – Stationsregistret
- Stationsregistret är ett verktyg för att samordna, styra och underlätta miljöinformationsförsörjningen inom de dataflöden som genererar data som rapporteras till datavärdskapen.
- Stationsregistret är också en gemensam Inspire-tjänst för myndigheter med informationsansvar för anläggningar och platser för miljöövervakning enligt förordning (2010:1770) om geografisk miljöinformation med ändring enligt SFS 2016:1192.
- Stationsregistret innehåller unika ID:n för övervakningsstationer och provplatser.
- Stationsregistret innehåller inga mätdata. Data och resultat finns hos datavärdarna.
- Stationsregistrets ID-begrepp införs successivt inom datavärdskapen och kommer på sikt även införas i VISS (Vatteninformationssystem Sverige). VISS är en databas som har utvecklats av vattenmyndigheterna, länsstyrelserna och Havs och vattenmyndigheten.
- Innehållsförvaltningen av Stationsregistret utförs av datavärdarna under ledning av Naturvårdsverket och Havs och vattenmyndigheten.
Stödsystem – Registret för miljödatakoder (RMDK)
- Registret för miljödatakoder är ett verktyg för att samordna, styra och underlätta miljöinformationsförsörjningen inom de dataflöden som genererar data som rapporteras till datavärdskapen.
- Registret för miljödatakoder hanterar alla de kemiska, biologiska fysikaliska parameternamn som hanteras av datavärdskapen. Registret hanterar även övriga termer och begrepp som är relevanta inom dataflödena.
- För närvarande är RMDK fullt ut kopplat till datavärdskapet för miljögifter (SGU) och den nya valideringstjänsten. Fler datavärdskap väntas implementera RMDK som stödsystem för deras respektive dataflöden.
- Innehållsförvaltningen av registret utförs av Naturvårdsverket i nära samverkan med kemiska laboratorier, konsulter, utförare samt expertis inom Naturvårdsverket och hos datavärdarna.
Format, kvalitet och metoder
I avtalet med datavärdarna ingår att datavärden ska tillhandahålla tydliga anvisningar för utförare, länsstyrelser, konsulter med flera, så att dessa från början vet hur data ska levereras till datavärden. I anvisningarna ska även förekommande termer, begrepp, artlistor etcetera anges. Anvisningarna kan laddas hem från respektive datavärds datasida.
För att användarna av Naturvårdsverkets miljöövervakningsdata ska kunna bedöma såväl användbarhet som begränsningar måste även information om datas kvalitet finnas tillgänglig. Då våra dataserier blir alltmer nåbara genom olika typer av webbtjänster och sökgränssnitt bör kvalitetsinformationen följa datat och lagras i samma databas.
Att förbättra spårbarheten mellan data som förvaltas hos datavärdarna och relevant kvalitetsinformation för tolkning av dessa data är ett arbete som kommer att behöva utvecklas. Detta blir särskilt viktigt då allt fler aktörer skördar data från datavärdarna och tillgängliggör data på nya sätt via andra webportaler.
Handledning för miljöövervakning och andra manualer
En viktig komponent i kvalitetsarbetet är Naturvårdsverkets handledning för miljöövervakning. Flertalet övervakningsmetoder är beskrivna i denna handledning, och den kvalitetskontroll datavärden gör ska i första hand utgå från dessa rekommendationer. I de fall en mätmetod inte är beskriven i handledningen kan dataleverantören/utföraren tillämpa andra metoder. För de datavärdar som implementerat en valideringstjänst är det viktigt att valideringsreglerna överensstämmer med kraven i övervakningsmanualerna.
Dataproduktspecifikationer
Sedan flera år pågår ett arbete med att beskriva data, överföringsformat, informationsmodeller med mera med hjälp av Dataproduktspecifikationer (DPS). Syftet är att förbättra datakvalitén och tydliggöra vilka krav som ställs på data som ska levereras exempelvis till en datavärd. En DPS kan beskriva krav på format, kvalitet, överföringsformat och informationsmodell med mera. I arbetet stöder vi oss på en standard som heter ISO 19131:2008. Vi samverkar även med andra myndigheter som också har börjat ta fram DPS:er för olika behov. De vi främst samverkar med är Lantmäteriet och Havs och vattenmyndigheten. En DPS kan rikta sig till beställare av datainsamling, utförare av datainsamling, datavärdar och användare av data. Dokumentet utgör själva definitionen av den datakvalitet som beställaren i samråd med datavärden bestämt ska gälla. Därmed blir dokumentet även en referens till datakvalitén. DPS:en ersätter inte övervakningsmanualer utan kompletterar dessa med bland annat tekniska specifikationer och informationsmodeller. Det är dock författaren av DPS:en som avgör vad dokumentet ska beskriva.
För närvarande finns dessa dataproduktspecifikationer publicerade. DPS:erna uppdateras vid behov och versionshanteras.
DPS Metaller och organiska miljögifter i sediment (miljodatasamverkan.se)
DPS Naturdata – Systematiska artobservationer (miljödatasamverkan.se)
Dataåtkomst
Vår strävan är dock att erbjuda så likartade nerladdningssätt och dataformat som möjligt från våra datavärdar och att formaten är anpassade till användarnas behov.
För att våra datalager ska kunna utnyttjas i flera sammanhang måste därför dataformat, beskrivningar av metadata och tekniska lösningar så långt möjligt följa etablerade standarder. Detta är ett absolut krav vid utveckling av till exempel webservices eller karttjänster där data från olika källor ska kunna kopplas ihop eller visas i samma vy.
Användarnas behov ska tillgodoses
Särskilda beställningar kan göras om man har vissa specifika önskemål. Vi strävar dock efter att så långt som möjligt tillgodose användarnas behov av data genom att via våra datavärdar erbjuda en blandning av datatjänster, förklarande presentationer och möjligheter att ladda ner data. Fördelen med datatjänster för data eller kartskikt är att användaren alltid har tillgång till den senaste versionen av data.
Öppna API:er underlättar dataåtkomst
Ett sätt att möta nya behov hos användarna är att förbättra direktåtkomsten till våra datakällor via ett så kallat API (Application programming interface). Med bra och öppna API:er tror vi att användningen av miljödata kommer att öka, samtidigt som det ställs högre krav vad gäller standardiserade format, termer och begrepp. Detta är ett arbete under snabb utveckling. Har du något önskemål, kontakta oss gärna.