DATA ARCHIVING IN AFRICA:

THE PRESERVATION AND SHARING OF SURVEY MICRODATA TO SUPPORT AFRICAN RESEARCH

AND GOVERNANCE  

Lynn WoolfreyDataFirst 

University of Cape Town

African Survey & Census Microdata

• There is a substantial amount of survey data collected in Africa

• However only a small percentage of this survey data is archived to be disseminated as microdata files to support academic research and policy analysis. 

Producers of African Survey Microdata 

• National Statistics Offices (NSOs)• International donor organisations• Foreign and local universities and other research institutions 

• Private sector/Commercial institutions  Their microdata archiving practices vary

Microdata Archiving Practices of African Data Producers

International Donor Organisations• Often make the microdata files from their surveys available via their websites

• Donor supported projects also provide survey microdata  via their websites e.g. The USAID- funded Demographic and Health Surveys conducted in African countries 

Microdata Archiving Practices of African Data Producers

Universities/Research Institutions• Most African research institutions do not have established  survey microdata preservation or dissemination policies. 

• The time and resources required to preserve and disseminate microdata are not available to most researchers.

•  Exclusive access to original data is seen to give researchers advantages over rivals in an academic field.

Microdata Archiving Practices of African Data Producers

Private Sector Organisations • Private sector data producers may provide their data for a fee

• Generally this data is collected for paying clients and is not available to the public.

Data Archiving at National Statistics Offices (NSOs)  

• Most survey microdata collected and archived in Africa is official data 

• Until recently this data was only used in-house by government statisticians  

• Survey findings were provided to the public as reports with aggregated data.

Data Archiving at NSOs• Academic research using survey data is now seen as key input into government planning

• This now depends on researchers gaining access to original microdata files from national surveys

Data Archiving at NSOs

• African NSOs currently do not have resources to archive and share data

• Thus many do not follow international data archiving best practice

• A recent survey revealed that, with few exceptions, data provision is either not part of NSO agendas, or is handled on a case-by-case basis 

Data Archiving options for NSOs

Option 1:Off-site archiving by international organisations

These organisations may have the resources available to ensure the long-term preservation of data files, and their dissemination in a suitably anonymised form

IPUMS-International: a global census microdata collaboratory

“The Hubble Telescope project of the social sciences”

Preserve census microdata and documentation for all the countries in the world. In 10 years: 338 censuses, 113 countries; for Africa 49 censuses, 21 countries

Disseminate--without cost--extracts of samples to bona-fide researchers worldwide. National Stat Offices receive copies on CD for national distribution.

Option 2:On-site archiving by NSO staff Utilising tools developed by international donor organisations 

e.g. The National Data Archive (NADA) web-based open-source application being installed at NSOs by the International Household Survey Network’s (IHSN) Accelerated Data Program (ADP). 

NSOs in 13 African Countries* have acquired the NADA application to manage and share their microdata 

*Ethiopia, Gambia, Ghana, Lesotho, Liberia, Malawi, Mozambique, Niger, Nigeria,   Senegal, Sierra Leone, Uganda and Zambia

Survey Data Archives:Another African data management option

• Modelled on the European network of national Survey Data Archives (SDAs) 

• Survey data is deposited at SDAs by NSOs, research institutions and private sector data producers

• SDAs provide the advocacy, institutional links and technical skills to facilitate data sharing in the region for research purposes.  

African Survey Data Archives

The South African National Data Archive (SADA) 

•South Africa’s Official Survey Data Archive •Preserves and shares microdata from South African surveys•A component of the South African research support infrastructure

African Survey Data Archives

DataFirst, at the University of Cape Town

• Preserves and shares South African survey microdata for research purposes

• Provides training in survey analysis

http://www.datafirst.uct.ac.za