Des données publiques exploitables déployées sur une BDD Postgres/PostGIS accessibles depuis l'outil de votre choix.
- Présentation du projet ou contactez-nous pour une démo : https://make-open-data.fr/
- Catalogue des données : https://data.make-open-data.fr/
Make Open Data est un ELT Open Source pour les données publiques :
- Extrait les fichiers sources (data.gouv, INSEE, Etalab, etc.) les plus adaptés et récents.
- Transforme ces données selon des règles transparentes et le moins irréversibles possible.
- Stocke ces données dans une base de données PostgreSQL (avec PostGIS).
- Teste des hypothèses sur ces données (ex. : prix par transaction immobilière sur DVF).
Les données spatiales sont intégrables dans QGIS et autres SIG.
Nous fournissons les accès à une base PostgreSQL dans le cloud avec des données à jour.
Contactez-nous : https://make-open-data.fr/
Mettre à jour les paquets et installer les dépendances :
sudo apt update
sudo apt install git python3-venv postgresql postgisgit clone git@github.com:<utilisateur_orga_destination>/<nom_repo_destination>.git
cd make-open-data-EPF
python3 -m venv dbt-env
source dbt-env/bin/activateDéfinir les variables d'environnement :
nano dbt-env/env.shAjouter :
export POSTGRES_USER=<YOUR_POSTGRES_USER> # ex: postgres
export POSTGRES_PASSWORD=<YOUR_POSTGRES_PASSWORD>
export POSTGRES_HOST=<YOUR_POSTGRES_HOST> # ex: localhost
export POSTGRES_PORT=<YOUR_POSTGRES_PORT> # ex: 5432
export POSTGRES_DB=<YOUR_POSTGRES_DB> # ex: postgresAppliquer les changements :
source dbt-env/env.shModifier la configuration PostgreSQL :
sudo nano /etc/postgresql/XX/main/postgresql.confChanger :
#listen_addresses = 'localhost'Par :
listen_addresses = '*'Redémarrer PostgreSQL :
sudo systemctl restart postgresql.serviceSe connecter à PostgreSQL et activer l'extension :
psql postgresql://$POSTGRES_USER:$POSTGRES_PASSWORD@$POSTGRES_HOST:$POSTGRES_PORT/$POSTGRES_DB
CREATE EXTENSION postgis;
\qpython3 -m load # Chargement des données d'exemple
python3 -m load --production # Chargement complet des donnéesexport DBT_PROFILES_DIR=.
dbt debug
dbt deps
dbt seed
dbt run --target dev # Tables logement sur Occitanie et DVF HéraultPour une exécution complète en production :
dbt run --target production # Environ 1 heureTester les transformations :
dbt testsudo apt install pgadmin4
