datapi

Exposition des jeux de données.

2 version concurrentielles sont présentées ici, une en python et une en javascript.

L'objectif de ce POC est de charger une collection Mongo (atlas2023) et de la servir en API après avoir filtré les données sous secret. D'autres connecteurs devront être développés plus tard, en plus de Mongo (Cartable, file stream ...).

Python

Stack: FastAPI, Mongo

cd python

Run

fastapi dev or in prod fastapi run

See :

• Homepage: http://127.0.0.1:8000/
• API: http://127.0.0.1:8000/api/atlas2023
• Swagger Documentation: http://127.0.0.1:8000/docs/atlas2023
• OpenAPI JSON format: http://127.0.0.1:8000/json/atlas2023

Javascript

cd js

Installation

npm i

Run

npx nodemon server.js or in prod node server.js

Pour la collection "atlas2023" :

• Swagger Documentation: http://localhost:3000/doc/atlas2023
• OpenAPI JSON format: http://localhost:3000/api/doc/atlas2023
• API: http://localhost:3000/api/atlas2023

CCL

La recopie va plus vite en python. Mais ensuite c'est équivalent.

1. Dépôt du fichier (Connecteurs) => Extract
2. vérifie avec un schéma (échantillon ou exhasutif) micro-services (?) en interne (mais accessibles de l'extérieur) => Transform
3. Modificatino des donénes (est-ceque ça passe ou pas ?) micro-services (?) en interne (mais accessibles de l'extérieur) => Transform
4. Exposition des données via une API => Load

Redis sync et ordonnancement

Next Step:

• File upload connector (pas besoin d'UI, mettre les fichiers en dur dans le code), puis exposer l'API avec les 2 fichiers InserSup