Archives de l’auteur : eden

Geozarr

Présentation

Zarr est un format de données natif du cloud pour les tableaux à n dimensions qui permet d’accéder aux données dans des blocs compressés du tableau d’origine. Zarr facilite la portabilité et l’interopérabilité sur les entrepôts de données et les disques durs.

En tant que format de données générique, Zarr est devenu de plus en plus populaire à des fins géospatiales. À ce titre, en juin 2022, l’OGC a approuvé Zarr V2.0 en tant que Norme communautaire OGC. L’objectif du SWG GeoZarr est de faire adopter par l’OGC un standard Zarr explicitement géospatiale (GeoZarr) qui établit des conventions flexibles et inclusives pour le format cloud natif Zarr qui répondent aux diverses exigences du domaine géospatial. Ces conventions visent à fournir un cadre clair et normalisé pour l’organisation et la description des données qui garantit une représentation sans ambiguïté.

En plus de l’encodage des données géospatiales et des métadonnées, la norme GeoZarr fournira une alternative multidimensionnelle à la norme bidimensionnelle. COG, qui a récemment gagné en popularité en raison de ses capacités cloud. Ces capacités permettront une prise en charge inhérente des fonctions traditionnelles, telles que la visualisation (similaire à OGC API – Maps), accès aux sous-ensembles de données (analogue à API OGC – Coverage), et la symbologie (équivalente à API OGC – Styles). Ces aspects sont prévus pour être intégrés en tant que profils facultatifs (par exemple, classes de conformité).

Standards de base

Ce standard est un profil de :

Travaux en cours

Le groupe GeoZarr SWG travaille sur différents aspects :

  1. Compatibilité : Assure une compatibilité aisée avec les outils de cartographie et d’analyse de données populaires tels que GDAL, Xarray, ArcGIS, QGIS et d’autres outils de visualisation, permettant une intégration transparente dans les flux de travail existants.
  2. Dimensions : Prise en charge de données multidimensionnelles, telles que les informations hyperspectrales et d’altitude, pour répondre à diverses exigences en matière de données géospatiales.
  3. Découverte de données : fourniture de métadonnées pour la découverte, l’accès et la récupération des données, y compris des produits composites constitués de plusieurs tableaux de données.
  4. Mélange de données : faciliter la combinaison de différents types de données géospatiales, notamment des images satellites, des cartes d’élévation et des modèles météorologiques, pour créer des ensembles de données complets et informatifs.
  5. Flexibilité : Permettre aux scientifiques et aux chercheurs de travailler avec divers types de données et projections dans leurs logiciels et langages de programmation préférés, favorisant ainsi la flexibilité et l’adaptabilité dans le traitement et l’analyse des données géospatiales.

 

OGC API EDR

Présentation

L’API EDR (“Environmental Data Retrieval”) est un standard OGC qui définit une interface simple et unifiée permettant d’accéder via le web à des données spatiotemporelles d’origines multiples (météorologiques, océanographiques, géographiques raster mais aussi vecteur) selon une position, une zone, ou le long et autour d’une trajectoire donnée.

Elle est issue de l’expérience du développement du profil applicatif « Met Ocean » de WCS avec des cas d’usages similaires et en s’appuyant sur des bases technologiques différentes.

Elle s’inscrit dans la refonte engagée par l’OGC de ses standards vers la famille des « OGC API » en adoptant une approche modulaire, centrée sur les ressources et s’appuyant sur la spécification OpenAPI.

Standards de base

Elle s’appuie sur les concepts de base communs à la famille OGC API, définis par les deux spécifications :

  • OGC API Common : Core
  • OGC API Common : Geospatial Data.

Elle s’appuie aussi fortement sur spécification CoverageJSON (candidat pour être adopté comme community standard OGC) comme format de description des données de réponse aux requêtes qu’elle spécifie.

Exemples de mise en œuvre

Le développement de cette API est poussé par le service national britannique de météorologie (Met Office) et le US National Weather Service. Ce dernier propose un serveur de démonstration référencé sur le dépot github de l’API.

De même l’université de Whuan en Chine implémente cette API et propose un serveur de démonstration aussi référencé sur ce dépot github.

Notes de version

La dernière version de la partie 1.1 a été publiée en juillet 2023.

La partie 2 de l’API qui implémente le workflow PubSub (abonnement et réception de notifications, de nouvelles données) a été publiée en septembre 2024.

Travaux en cours

Une version 1.2 de la partie 1 (Core) de l’API devrait être bientôt soumise à l’architecture board de OGC.

Avis technique

L’API EDR a vocation à reprendre les spécialisations de WCS pour traiter les cas d’usages des domaines météorologique et océanographique en reprenant notamment les fonctionnalités du profil MetOcean de WCS. Elle propose en plus une approche simplifiée de l’accès aux données et elle étend aussi les capacités de WCS en permettant de s’appliquer aussi a des données de type vecteur et en intégrant un accès aux données par localisant autre que géographique.

En terme de fonctionnalités elle occupe de ce fait une place transversale vis à vis des nouvelles API OGC qui ont vocation à reprendre les anciennes spécifications : OGC API Coverages ou OGC API Features dans la mesure où elle peut répondre à certains cas d’usages identiques.

En s’appuyant sur le format CoverageJSON, elle semble cibler plutôt des usages de consultation dans des applications web.

Zarr

Présentation

Zarr est une spécification open-source pour le stockage de tableaux de données multidimensionnels (également appelés tableaux N-dimensionnels, ND-arrays, ou tenseurs très répandus dans la recherche scientifique et l’ingénierie.
Zarr stocke les métadonnées à l’aide de fichiers texte .json et de données de tableau sous forme (facultative) de morceaux binaires compressés. Zarr peut stocker des données dans la plupart des systèmes de stockage, y compris les bases de données, les systèmes de fichiers standards « à base de répertoires » et le cloud. Cette flexibilité permet aux implémentations d’expérimenter de nouvelles technologies de stockage tout en maintenant une API uniforme pour les bibliothèques et les utilisateurs en aval.

Standards de base

Ce standard est un profil de :

  • JSON

Exemples de mise en œuvre

  • Climate Science: The CMIP6 Google Cloud Public Dataset
  • Oceanography: The ECCOv4r3 Ocean State Estimate
  • Atmospheric Science: Global cloud-resolving aquaplanet simulations with the System for Atmospheric Modeling

Notes de version

La version proposée par l’OGC est la version 2.

Travaux en cours

Ce standard communautaire est adopté à l’OGC en tant que community standard.

Avis technique

Ce format émergent est prometteur car il permet un accès plus rapide aux données cloud (il n’est pas nécessaire de télécharger la donnée entière pour pouvoir l’utiliser). Il pourrait remplacer à terme le format NetCDF/HDF. D’ailleurs NetCDF pourrait prochainement proposer un encodage Zarr.

Thème Qualité

Présentation

La qualité des données géographiques : qu’est-ce-que c’est ?

Selon la norme ISO 19157, la description de la qualité des données géographiques a pour objectif de faciliter la comparaison des jeux de données et la sélection de l’ensemble le mieux adapté aux besoins ou aux exigences de l’application.

Les éléments de qualité comprennent la qualité temporelle, thématique, logique, spatiale, l’utilisabilité et le taux de complétion de la donnée.
A noter que la qualité peut être exprimée au niveau d’un jeu de données ou au niveau des objets.
La question de la qualité des jeux de données est un enjeu qui préoccupe les agences de cartographie dans le monde qui sont toutes confrontées à la multiplicité des offres de services cartographiques (Google, Here, OSM…) et qui souhaitent valoriser leur données. Il existe différents groupes de travail consacrés à ce domaine (le Data Quality DWG à l’OGC, le Q-KEN de l’EuroGeographics, le QuaDoGéo du CNIG) auxquels l’IGN participe.

À l’ISO/TC 211

Normes publiées

  • ISO 19113
    Information Géographique – Principes qualité
  • ISO 19114
    Information Géographique – Procédures d’évaluation de la qualité
  • ISO 19157-3
    Qualité des données – Registre de mesure
  • ISO TS/19158
    Assurance Qualité des Productions de Données
  • ISO/TS 19138
    Information Géographique – Mesures de la qualité des données

Normes en révision

  • ISO TS/19158
    Assurance Qualité des Productions de Données

Nouveaux projets

  • ISO 19157-3
    Qualité des données – Registre de mesure

Au DGIWG

Standards publiés

    Néant

Travaux en cours

Projets actifs :

    Néant

Nouveaux standards en développement :

    Néant

Révisions :

    Néant

À l’OGC

Standards publiés

Travaux en cours

DWG actifs:

    Néant

Nouveaux standards en développement :

    Néant

Révisions :

    Néant

À l’OTAN

Standards publiés

    Néant

Travaux en cours

Groupes de travail actifs:

    Néant

Nouveaux standards en développement :

    Néant

Révisions :

    Néant

Autre

Il existe un modèle de mesures qualité pour le web QualityML compatible avec ISO 19157 et avec une implémentation en XML.

Le W3C a développé une ontologie sur la qualité : Data Quality Vocabulary DQV.

ISO 19165-2

Présentation

Préservation des métadonnées d’observation

Cette norme vise à étendre la norme généraliste de préservation des données géospatiales numériques afin de fournir des détails sur le contenu décrivant la provenance et le contexte spécifiques aux données provenant de missions d’observation de la Terre à l’aide d’instruments spatiaux, aériens ou in situ.

GeoAI DWG

Présentation

Groupe dont le but est de coordonner les projets mettant en oeuvre l’intelligence artificielle et les données géographiques

Le groupe étudie diverses techniques de machine learning et la façon de les exploiter en utilisant les API OGC.

EO exploitation platform DWG

Présentation

Le but de ce groupe est d’améliorer l’interopérabilité des plateformes de données environnementales.

Travaux en cours

Un pilote est prévu pour 2020 afin de recenser les différentes solutions existantes (déploiement, accessibilité, traitements…).

Fichiers NGD4

Les fichiers sont téléchargeables ici :

  • Access to category denied!