Commit f96909d6 authored by Pierre Dittgen's avatar Pierre Dittgen
Browse files

Update

parent 1887f5ae
Pipeline #1465 passed with stages
in 151 minutes and 13 seconds
# Observatoire : production de données pour l'open data
- récupération de données
- production d'indicateurs
- déploiement
- au sein du projet [observatoire-data](https://git.opendatafrance.net/observatoire/observatoire-data).
- pour le dashboard https://lab.observatoire-opendata.fr/superset/dashboard/2/
## Organisation du projet
- rsc/ : données de référence (voir rsc/README.md pour plus d'informations)
......@@ -25,82 +31,3 @@
- sed
- wget
#-------------------------------------------
# Observatoire open data des territoires
Indicateurs produits à partir des données de plateformes open data françaises, dans le cadre du projet d'[Observatoire opendata des territoires](http://www.observatoire-opendata.fr/) porté par [OpenData France](http://www.opendatafrance.net/) et soutenu techniquement par [Jailbreak](http://jailbreak.paris/).
[Documentation du projet](https://git.opendatafrance.net/observatoire/indicateurs/wikis/home)
## Ressources
- [Fichier des organisations](https://docs.google.com/spreadsheets/d/e/2PACX-1vQl4FXp9r4qOr3sUeoUroSjXpXirFbD93mMGn_2B2g17jx2PsVjQYXudKBEKEzuz3vUSpLzVXTxk8Xj/pub?gid=0&single=true&output=csv) nettoyé et mis à jour en continu par Loïc Haÿ : téléchargé comme data/ODATER_DATA_ORGA_CURRENT.csv
- Dumps datagouv (téléchargés et horodatés dans dumps/) :
- [organizations.csv](https://www.data.gouv.fr/organizations.csv)
- [datasets.csv](https://www.data.gouv.fr/datasets.csv)
- [resources.csv](https://www.data.gouv.fr/resources.csv)
- [reuses.csv](https://www.data.gouv.fr/reuses.csv)
- [tags.csv](https://www.data.gouv.fr/tags.csv)
- Dumps opendatasoft (urls trouvés dans le googlesheet des organisations)
- Données géographiques
- admin_express (IGN)
- Institut d'aménagement de d'urbanisme - Île de France
## Commandes
### Pour une première installation
Installer les librairies Python nécessaires (il est conseillé d'utiliser un virtualenv)
```sh
pip install -r requirements.txt
```
### Générer le fichier markdown et les fichiers GEOJson
Télécharger la dernière version du GoogleSheet et des CSV data gouv
```sh
scripts/download_data.sh
```
Créer la base de données :
```sh
scripts/build_sqlite_db.sh
```
Générer le fichier markdown et les fichiers geoJSON dans le dossier build/
```sh
scripts/generate_md_geojson.sh
```
## Automatisation
### Docker
Un Dockerfile est disponible pour la création d'une image contenant tous les fichiers nécessaires
au bon fonctionnement du script
### GitLab-CI
Un fichier .gitlab-ci.yml décrit une pipeline permettant la construction des indicateurs,
du téléchargement des fichiers source à la livraison sur le serveur de dashboard
## Fichiers indicateurs `du jour`
La dernière version des fichiers générés
- fichiers GeoJSON
- fichier des organisations au format markdown
- base de données odservatoire.sqlite
sont désormais disponibles via GitLab-CI :
- sur la page des [pipelines](https://git.opendatafrance.net/observatoire/indicateurs/pipelines) du projet
- cliquer sur la dernière exécution qui s'est bien passé, par exemple [#608](https://git.opendatafrance.net/observatoire/indicateurs/pipelines/608)
- Cliquer sur l'image du job nommé `build`, par exemple [1048](https://git.opendatafrance.net/observatoire/indicateurs/-/jobs/1048)
- Dans le menu latéral droit, section **Job artifacts**, cliquer sur le bouton `Browse`
- Dans la page des Artifacts, cliquer sur le bouton `Download artifacts archive` pour récupérer les indicateurs.
# TODO
- [ ] Generate datasets-datagouv.csv
- [ ] Restore geojson/markdown generation
- [ ] ci
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment