...
Organisatie | SPOC |
|---|---|
Bregt Van Den Bergh | |
Marc Goethals | |
ULDK (Departement CJM) | Didier Claessens |
Eva Hambach | |
Kiosk (Departement CJM) | Johan Daniëls |
...
Methode om data te migreren
...
: Excel migratie
| Drawio | ||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
...
|
In deze methode wordt de data vanuit de huidige gegevensbronnen opgeladen naar het masterdatasysteem (1). Van daaruit zal een initiële synchronisatie tussen masterdata systeem en het verenigingsregister (over MAGDA) de gegevens opladen in het verenigingsregister (2).
Migratie via Excel
In deze methode wordt de data vanuit de huidige gegevensbronnen overgezet naar de Excel template zoals die voorzien wordt door DV (1). Vervolgens wordt deze Excel op een veilige manier verzonden naar DV (2). DV laadt de data via een speciaal daarvoor ontworpen migratietool op in het verenigingsregister (3). Tenslotte wordt de data ingelezen in het eigen masterdata systeem op basis van een initiële leesoperatie in het verenigingsregister (via MAGDA).
...
STAP 1 van 4 - Voorbereiden van de gegevens
→
...
Documenteren van de oorsprong van de gegevens
Piloten geven aan op welke manier zij de migratie-Excels hebben opgemaakt (zie vragenlijst). Hierin staat van waar de gegevens komen, hoe de actualiteit en correctheid wordt ingeschat, etc.
Vullen van de Excelbestanden
De Excel templates zijn hier terug te vinden: https://vlaamseoverheid.atlassian.net/wiki/spaces/AGB/pages/6305743459/Verenigingsgegevens+voorbereiden#Voorbereidingskit . We verwachten uiteindelijk 2 Excel bestanden (een voor de feitelijke verenigingen & afdelingen en een andere voor de KBO verenigingen)
...
Wanneer de Excels klaar zijn, worden deze opgeladen doorgegeven naar DV en dit ten laatste op . DV zoekt momenteel nog naar het beste mechanisme om deze gegevens beveiligd door te sturen. Ten laatste wordt deze methode beschreven.
Optie 2 Migratie via API
Indien dit nog niet is gebeurd, worden de huidige gegevens bronnen overgezet naar het master data systeem voor verenigingsdata.
Documenteren van de oorsprong van de gegevens
Piloten geven aan op welke manier zij de migratie-Excels hebben opgemaakt (zie vragenlijst). Hierin staat van waar de gegevens komen, hoe de actualiteit en correctheid wordt ingeschat, etcOm deze data door te sturen vragen wij elke piloot om een gedeelde folder te maken op zijn eigen SharePoint omgeving Die folder wordt dan gedeeld met DV door te delen met volgende e-mail adressen:
frank.wambacq@vlaanderen.be
evelien.dheer@vlaanderen.be
Gelieve ons via e-mail te contacteren:
telkens een nieuwe set van bestanden klaar staat.
indien u hulp nodig hebt om deze gedeelde folder op te zetten of wanneer u niet zou beschikken over SharePoint, of een gelijkaardige functionaliteit.
STAP 2 van 4 - Eerste validatie ronde
→
Optie 1 Migratie via Excel
| Note |
|---|
In deze ronde zijn de INSZ nummers van de vertegenwoordigers NIET aanwezig. Als ze in het interne bestand al ingevuld zijn, dan worden deze eerst leeg gemaakt vooraleer ze naar DV verstuurd worden ter validatie. |
Controleren van de Excelbestanden
Zodra de eerste versie van het migratie bestand migratiebestand klaar is, zal DV deze nakijken en valideren. Er wordt vooral gecontroleerd op:
Is voor elke vereniging voldaan aan de minimum dataset ?
Zijn de verplichte velden allemaal aanwezig?
Hebben alle velden een plausibele waarde?
Ziet het formaat van de velden er uit zoals we dat zouden verwachten?
Zijn er dubbels binnen de verenigingen?Zijn alle afdelingen en feitelijke verenigingen opgedeeld in de juiste groep? Zitten hier geen KBO verenigingen tussen? Of afdelingen die eigenlijk een feitelijke vereniging onder koepel zijn?
Van zodra het bestand gevalideerd is, koppelt DV de bevindingen terug naar de piloot die deze kan verwerken tot een verbeterde versie. Deze validatie kan itereren tot ten laatste
Optie 2 Migratie via API
DV neemt contact op met de piloot om de data te valideren die aanwezig is in het masterdata systeem.
Indien mogelijk genereert de piloot reeds de API calls die zullen uitgevoerd worden voor de initiële synchronisatie (JSON formaat van de request bodies), waarbij de INSZ nummers leeg gemaakt worden (of geanonimiseerd).
DV controleert deze data met dezelfde criteria als bij de Excel migratie.
STAP 3 van 4 - Tweede validatie ronde
...
Vooraleer gegevens opgeladen worden in productie, beschrijven de piloten op welke manier zij na migratie gegevens actueel gaan houden en gaan hergebruiken (zie vragenlijst).
De antwoorden op deze vragenlijst woorden bij de start van deze validatieronde naar DV verstuurd. DV zal de piloten contacteren bij onduidelijkheden of vragen.
...
Opladen van de Excelbestanden voor validatie
Ten laatste op ontvangt DV van de piloot de 2 Excel bestanden die gebruikt gaan worden in deze validatie ronde.
...
Wanneer alle piloten een eerste versie opgeladen hebben, bestaat er de mogelijkheid om het verbeterde bestand op te laden. Dit bestand kan met of zonder de reeds correct opgeladen verenigingen zijn. Wanneer deze er nog in aanwezig zijn, dan zullen deze als potentiële dubbel (van zichzelf) naar boven komen.
...
DV bezorgt aan piloot de methode om een gescheiden omgeving te benaderen. De piloot zal daar al een eerste synchronisatie van de gegevens op kunnen uitproberen.
De piloot bezorgt een verslag van de upload aan DV met daarin:
hoeveel verenigingen correct zijn opgeladen
hoeveel fouten nog aanwezig waren en welk soort fouten nog moeten gecorrigeerd worden
hoeveel registraties niet gelukt zijn vanwege een potentiële dubbels en op welke manier deze dan verder behandeld gaan worden.
STAP 4 van 4 - Opladen van de gegevens (+ plan van aanpak)
→
...
Opladen van de
...
Vooraleer gegevens opgeladen worden in productie, beschrijven de piloten op welke manier zij na migratie gegevens actueel gaan houden en gaan hergebruiken (zie sjablonen). De antwoorden op deze vragenlijst woorden bij de start van deze validatieronde naar DV verstuurd.
De aanpak wordt gevalideerd door DV.
...
bestanden in de productie-omgeving
Ten laatste op is DV in het bezit van de gevalideerde bestanden met verenigingen die mogen opgeladen worden in de productie omgeving.
Deze bestanden worden opgeladen zoals bij de vorige ronde. Eventuele validatie issues worden teruggekoppeld en kunnen nog verbeterd worden. Door de dry-run in validatie ronde 2 zou dit al sterk beperkt moeten zijn. DV kan alsnog gecorrigeerde bestanden ontvangen en verwerken tot . Vanaf dan stopt de migratie ronde.
...
DV geeft het groene licht aan Magda om de aansluiting open te zetten voor deze piloot. De piloot lanceert vervolgens de eerste synchronisatie met de echte productie omgeving.
De piloot bezorgt een verslag van de upload aan DV met daarin:
hoeveel verenigingen correct zijn opgeladen
hoeveel vereniging niet zijn opgeladen met de reden waarom + hoe dit aangepakt gaat worden.
Streefdoel voor opladen data in productie
...
Van zodra de data van een piloot opgeladen is in de productie omgeving, wordt deze piloot geacht om de data van deze verenigingen up-to-date te houden met behulp van de MAGDA interface.