wat doet de boer/en
Overige algoritmesIn gebruik· LARS 46641276

DiDo

Ministerie van Binnenlandse Zaken en Koninkrijksrelaties → Ministerie van Binnenlandse Zaken en Koninkrijksrelaties
/ Doel
DiDo (Data in Data out) gaat over het snel en geautomatiseerd inlezen van tabellen van leveranciers in de Operationele Datalaag (ODL) van een Postgresdatabase. De ODL heeft als doel een uniforme en betrouwbare opslag te organiseren van de gegevens die door dataleveranciers worden aangeleverd. De leverancier levert eenmalig of vaker tabellen in .csv-formaat (gescheiden door puntkomma's). Die tabellen worden in Postgres ingelezen op basis van een configuratiefile. Tevens wordt er documentatie gegenereerd die in de wiki van het project kunnen worden opgenomen.
/ Methoden & modellen

DiDo faciliteert de gebruiker in het opslaan van data in het Datawarehouse en het maken van documentatie over die data. DiDo kent twee fasen: Data en Documentatie Definitie. Dit is (in theorie) een eenmalig gebeuren waarin de data volgens een vast stramien wordt vastgelegd, in Postgres tabellen wordt opgeslagen en als Wiki documentatie wordt weggeschreven. Data Inlezen in de database. Als de tabellen zijn gedefinieerd kan de data worden geleverd. De leveringen worden opgeslagen in de tabel, tezamen met de datakwaliteit. De levering wordt gedocumenteerd en kan worden opgeslagen in de Wiki. Daarnaast zijn er een aantal hulpprogramma's die het omgaan met leveranciers en leveringen in de database vereenvoudigen.

/ Menselijk toezicht

DiDo wordt handmatig geconfigureerd voor nieuwe inkomende datastromen, en output kan eenvoudig handmatig worden bijgesteld.

/ Risico's

Risicobeheer valt onder de standaard Responsible Disclosure Statement van MinBZK, te vinden op https://github.com/MinBZK/DiDo/security.

Proportionaliteit

DiDo zet data in een database en controleert deze op fouten. Eerst wordt een beschrijving van de data gebruikt om automatisch de tabellen in Postgres en beschrijvingen voor de wiki te genereren. Daarna kan de data worden aangeleverd, periodiek indien nodig. Dit ontzorgt de gebruiker zo veel mogelijk, en is in dit geval een efficiëntieslag voor de medewerkers van de afdeling Beleidsinformatie.

/ Brondata

DiDo in zijn huidige en toekomstige vorm controleert de volgende datastromen die bij de afdeling Beleidsinformatie binnenkomen, allen volledig geanonimiseerd en alleen betreffende rijksambtenaren: P-Direkt (personeelsdata) Shuttel (reisdata) UWV (uitkeringsdata) ABP (pensioendata) De Open-Source versie van DiDo heeft geen toegang tot deze gegevens en is slechts een huls om soortgelijke stromen in te laden en te controleren.

/ Metagegevens
Start
maart 2024
Einde
oktober 2024
Leverancier
Intern ontwikkeld
Register-standaard
v1.0