Statslige Digitale Publikationer - træningsdata

Datasættet består af 14465 statslige digitale publikationer indsamlet af Det Administrative Bibliotek, der indtil 1. januar 2025 var Det Kgl. Biblioteks service for ansatte i centraladministrationen. Datasættet er skabt af Det Kgl. Bibliotek, men defineret af Digitaliseringsstyrelsen med henblik på træning af danske sprogmodeller. En del af teksterne er digital-fødte tekster, mens en anden del af teksterne er digitaliseret med OCR-skanning. Ved tidspunktet for udgivelsen af datasættet har det været umuligt at skaffe oplysninger om, hvilke dele der er digitaliseret med OCR, men det antages at materiale udgivet før 2000 er digitaliseret. Det har ikke været muligt at skaffe maskinproducerede OCR-konfidenstal til at beskrive OCR-kvaliteten, men kvaliteten af den digitaliserede tekst vurderes ved øjesyn at være god. OCR-kvaliteten er ikke forsøgt efterbehandlet med henblik på fejlrensning. Hovedparten af teksterne er skrevet på dansk. En meget lille del er på forskellige andre sprog. Nogle ganske få tekster er skrevet på flere sprog. Det er f.eks. en vejledning på både dansk og grønlandsk. Datasættet findes både i et csv format og i parquet format. Filerne er zippet med 7-Zip, som skal downloades og benyttes til at pakke filerne ud.