Committee for the Coordination of Statistical Activities SA/2012/8 Twentieth Session 16 September 2012 Frankfurt, 17-19 September 2012 Items for discussion and decision: Item 4 of the provisional agenda ================================================================================== 

Best Practices on the use of non‐official sources in international statistical series 

Draft submitted by UNODC 

Background 

There is a common understanding that imputations/estimations are to be made in full transparency following the Principles Governing International Statistical Activities. However, there is not yet a common understanding on how non‐official data and imputation/estimation procedures should be used when official data are not available or when official data do not meet quality standards.  

On a number of occasions the CCSA discussed the role of non‐official data in international statistical series where the Committee recognized that International Organizations (IOs)s occasionally need to fill data gaps or to align national data to internationally comparable concepts by using non official sources or making its own imputations and estimations.  

In 2003 the Committee reviewed for the first time the issue of estimation methods for missing data, modelling techniques, and methods of aggregating country level indicator values to produce regional and global estimates1. The report was prepared with the specific reference to MDG indicators and it includes a series of recommendations that are valid for other type of imputations. In 2010 WTO presented a paper reviewing practices on the use of non‐official sources in international statistical series. As a follow up to this review, the CCSA established a Task Force chaired initially by UNECE and later by UNODC to clarify the role of non‐official sources in international statistics and to outline the content of best practices for IOs. In February 2012 the Committee reviewed the paper prepared by the Task Force and requested the Task Force to continue its work and prepare a draft document on “best practices or a common understanding” on the use of non‐official sources.  

 

This paper aims at consolidating what the Committee has been discussing for the last two years. It presentsbest practices on the use of non‐official sources which can guide IOs when they need to compliment official sources. The best practices are based on the belief that the nature of the sources to be used in international statistics (official/non official) has to be reviewed in the context of data quality frameworks.  Similarly to national statistical offices, statistical entities of international organizations are to be guided by professional standards and while data sources integrated in national statistical systems (NSSs) are normally a guarantee of data quality, IOs may occasionally need to utilize non official data to maximize relevance, availability, comparability and accuracy of international data series.  

                                                            1"Aggregation Of National Data To Regional And Global Estimates" SA/2003/8 26 August 2003. 

 

 

Building on the four different papers that have been previously prepared under the leadership of WTO, UNECE and UNODC, this paper is meant for exclusive internal use of the Committee. However, any CCSA member can use it to derive its own approach to non‐official sources which can eventually be presented to a wider audience and be approved by the organization constituency (only on behalf of the single organization and not of the CCSA).  

Official versus non official statistics 

At international level, there is not a universally accepted definition of official statistics. The SDMX Content‐oriented Guidelines defineOfficial statistics as “any statistical activity carried out within a NSS, or under the statistical programme of an intergovernmental organization”. This definition is rather circular and it is not widely recognized outside the statistical community. Different interpretations may occur for statistics produced by governmental and public agencies outside NSSs (which may or may not follow standard statistical practices and principles), or for statistics produced as collaborative efforts between statistical offices and other institutes (NGOs, research institutes, public sector).   

IOs whose core business is statistics may more easily associate official statistics to data produced by NSOs or institutions which are part of NSS, but agencies which focus on thematic areas, may have a different connotation of official statistics identifying for example official statistics as any data provided by representatives of member states (which may not be integrated intoNSSs).  

Few countries clearly define the scope of official statistics by law. The United Kingdom for example approved the Statistics and Registration Service Act (2007) which defines official statistics as “all those statistical outputs produced by the UK Statistics Authority’s executive office (the Office for National Statistics), by central Government departments and agencies, by the devolved administrations in Northern Ireland, Scotland and Wales, and by other Crown bodies (over 200 bodies in total)”.  

The label “official” can be based on the characteristics of the actors and institutions (the source) or on the characteristics of the process. For the purpose of this paper official statistics is intended as the statistics that are produced by national government institutions related to NSSs or other public institutions which may not be formally recognized as part of NSS but produce data which are transmitted to IOs. Non official statistics is intended as data which are produced by non‐public national sources including private sector, NGOs, academic research or data that are originally constructed by IOs using different methods (imputation, estimation, construction of new indicators).  

Are statistics disseminated by IOs considered as official statistics? 

The need for non‐official statistics  

All IOs should strive to use reliable official sources for producing international data series. The only use of official statistics makes the task of IOseasier and it is the most comfortable approach for Member States and national statistical offices. Unfortunately this goalsis not always achievable. Outside statistical areas where NSSs have a world‐wide consolidated role (such as national accounts, population, labour force, education, …), IOs may have to use alternativesto fill gaps in the data 

 

 

provided by official sources and to ensure accuracy, comprehensiveness and comparability of international data series.  

Available official statistics may not exhaust the domain of relevant economic and social information and additional sources of good quality data can complement official ones, or can provide information not produced by NSSs.  In modern societies, an increasing amount of information is produced by non‐official organizations, which may even include in their routine activities the production of specialized statistics, produced by professional statisticians or derived from their own administrative registers. 

Very often the paradigm to elevate official statistics at a higher level is based on the assumption that official statistics is most solid, complete, and independent. Indeed official data is of undisputable best quality in many countries and several statistical fields, but official sources cannot be universally accepted as best choice only because they have been produced by public institutions. In countries where the statistical process is not transparent, statistics on areas that are highly politically sensitive and relatively “young” in terms of existing statistical standards (for example environment, food security, poverty, crime, drug trafficking, ….) official or government statistics may not always meet the highest quality standards.  

Confining IOs to the unique role of blindly re‐publishing official data, can limit the capacity of  IOs  to consistently apply a concept of data comparability across all national data. 2  It also confines IOs to the role of compilers of already‐made governmental statistics, in a period where (i) the demand for information is rapidly increasing, both in quantity and in quality (e.g., increase reliance of researchers on micro‐data, increased relevance of the supra‐national nature of many economic and social phenomena) and (ii) the capacity of official statistical institutes to provide the required information is constrained by budgetary or institutional considerations.  

Some CCSA members, whose core‐business is statistics, are more likely to be more restrictive on the use of non‐official statistics to generate national estimates. While organizations which focus on specific themes (specialized agencies), and whose core mandate is not the production of statistics, are more likely to engage in an active role to produce estimates and, if needed, to utilize non‐official data to fill data gaps or amend national data. The statistical programme of specialized agencies has often a broader mandate in data production which is to produce evidence in connection with the mission of the organization. Therefore specialized agencies/departments have a stronger drive to fill data gaps to produce coherent and comprehensive statistical portraits. 

The increased economic inter‐connection across national borders and the increased trans‐national dimension of social and economic events push IOs to be more engaged in producing trans‐national data for which they become the primary “official” source.  Some topics are supra‐national by nature and they fall outside the role of NSS, therefore, using non‐official sources to fill data gaps is coherent 

                                                            2 It can be noted for example that in some areas (such as disability, violence against women, drug use, crime, poverty) countries which maximise their data quality and adopt the best methods of data collection to provide comprehensive measures, they often report higher rates, not because they have a bigger problem but because they adopt better measures. International data series that mix data of good and bad quality as provided by member states,can provide biased conclusions regardless of the cautionary statements that organizations may provide in metadata.  

 

 

 

with a supra‐national approach of IOs, which would consider for their secretariat some level of independence and professional authority from the individual state members, and the possibility to provide an increased public value added, complementing national data by producing or compiling additional statistical information.   

National and international organizations are also confronted with "big data", where there are many more data producers opening up their databases. The ability of those producers with an official mandate to control what will be done with their outputs becomes weaker and the difference between official and non‐official data becomes less clear.  

Improving the quality and availability of data provided by NSS is a priority for IOs which according to the Principles Governing International Statistical Activitiesshould implement capacity building programmes “within a balanced overall strategic framework for national development of official statistics". Looking at the broader horizon of non‐official sources can helps NSSs to increase their awareness of need for more and better data which can support the establishing of more productive partnerships between NSSs and IOs.  

 

Why the guidelines 

The quality of the official data is usually a matter of national debates and it is hardly openly discussed by IOs as the production of official statistics is part of the sovereign attributions of States. On the over hand, the quality of the non‐official statistics used by IOs and the best practices regarding their compilation and dissemination have become a matter of discussion for the international community. There is indeed a hierarchy between official and non‐official statistics and IOs need to approach non‐official sources more carefully than official sources, to ensure that the adoption of non‐official sources is the ultimate choice and it is handled with a strict transparent protocol.  Developing a common understanding among CCSA members on how to approach non‐official sources helps IOs to develop their own protocol and to ensure that IOs do not make an arbitrary use of non‐official sources so that they can properly balance national and international statistical needs while remaining insulated from political influences, be they governments or NGOs and other pressure groups. 

The development of best practices on the publication of non‐official data is a useful tool for all CCSA members but particularly for those organizations that need to use non‐official data or to make estimation/imputation procedures to improve or maintain availability and quality of their data series. These guidelines support interested CCSA members to carefully manage non‐official data with a protocol which ensures the respect of the Principles Governing International Statistical Activities. It is important to define circumstances when non‐official data can be used and limit the use of non‐official data to instances where national official sources do not provide the needed information or they are of a proven unacceptable quality.  

 

Change the focus from who collects the data to data quality   

 

 

Different priorities of national and international quality frameworks  

International quality frameworks share some of the same principles of national quality frameworks, but they may have different priorities. For example international comparability is one of the most important elements in international statistics while for NSS it represents one of the many other elements which often need to be balanced with relevance to national needs.  The following considerations can be made when looking at some features of data quality to understand why there are instances where NSS do not adequately meet the criteria of international quality standards:  

• International comparability: national official data may not be harmonized with international standards and they need to be adjusted to meet the quality comparability criteria set by IOs 

• Accuracy: limited financial and institutional resources of NSS may prevent the implementation of proper data collection systems while more resources are allocated to organizations that are not part of NSS and therefore non‐official data have higher quality than official data.  

• Independence: some institutions which are part of NSS may not be adequately independent from the political environment and some data  reported by national authorities to IOsmay be censored or mis‐reported. 

• Relevance: a major concern for IOs may not be addressed by NSS and IOs have to relay on non‐official sources (as described in an early paper presented by WTO) 

 

The use of non‐official data should be looked within the broader context of data quality frameworks. None of the national and international policy documents (National Quality Assurance Framework, Fundamental Principles of Official Statistics, and Principles Governing International Statistical Activities) makes reference to the selection of preferred sources on the basis of the nature of the institution (public/non‐public) as an element of quality assurance. While it can be argued that official statistics, defined as the statistics provided by NSSs, ensure a certain level of quality because they are produced under standard principles and procedures which promote quality, it should be noted that there is not a homogeneous system of data quality across countries. Not all national statistical systems have the resources to reach the highest standards and the means to properly cover all areas which are of concern by IOs.  

If IOs have to ensure the highest quality of their statistics, there should be a range of choices that they can make to maximise quality based exclusively on scientific principles as cited in the Principles Governing International Statistical Activities. While NSS can be a guarantee of quality in almost all indicators and countries, there are areas where they may not be able to meet the rapidly increasing demand for statistics or the highest quality standards (some NSS may themselves utilize non official data to respond to some pressing policy requests). IOs have an indisputable duty to prioritize support to NSSs to help them reaching the highest quality standards where there are deficits, but until a NSS isnot in the position to provide best qualitydata in a country, choosing official data only because it has the label of ”official” would go against the Principles Governing International Statistical Activities.  

If the starting point is a data quality framework based on the Principles Governing International Statistical Activities, the dichotomy between official and non‐official sources becomes less relevant.Data produced by NSS should always be considered a priority as NSSs are likely to work under the Principles of Official Statistics, however, NSSs do not have the monopoly of quality and where other sources can provide data which are not available in NSSs or are of a proven better quality, IOs should be put in the position to have its own quality judgment.  

Considerations on the role of national and international institutions 

 

 

Complementing national data with internal imputations or non‐official sourcestouches sensitive issues of professionalism, trust and independence of IOs. Building trust with themain producers implies for international statistical departments to build and maintain a closerelationship with national providers of official statistics being national statistical offices, Central Banks, lineministries or other public institutions. Disseminating data only provided by these “official providers” lowers the probability of frictions withnational authorities and increases the sense of national ownership of the internationally drivenprograms.   On the other hand, adding value to the data and building trust with users call fordisseminating all the statistical information (data and metadata) that the internationalstatisticians consider both reliable and relevant for correctly analyzing and interpreting theissues at hand. The two objectives are sometimes conflicting and international organizationsmay face a dilemma in balancing their statistical independence and professionalism against astrict interpretation of their intergovernmental mandate.  An open and transparent debate between an IO and its own constituency on the IO role to provide relevant and objective information helps to minimize the tensions, but different Member States and different institutions within the same Member State have often conflicting views and balancing all needs and expectations remain a challenge for many IOs.   

 

Best Practices on the use of non‐official sources in international statistical series 

Preamble 

Best practices onthe use of non‐official sources are guided by the existing Fundamental Principles of Official Statistics, the Principles Governing International Statistical Activities and the National Quality Assurance  Framework  (NQAF).  The  following  Principles  are  particularly  relevant  since  they emphasize how national official statistics strive to achieve the highest quality standards and how IOs have to base their choice on data sources exclusively in relation to professional standards. 

Fundamental Principles of Official Statistics 

• Principle  2.  To  retain  trust  in  official  statistics,  the  statistical  agencies  need  to  decide according  to  strictly  professional  considerations,  including  scientific  principles  and professional ethics, on the methods and procedures for the collection, processing, storage and presentation of statistical data. 

• Principle 3. To facilitate a correct  interpretation of the data, the statistical agencies are to present  information  according  to  scientific  standards  on  the  sources,  methods  and procedures of the statistics. 

• Principle 5. Data  for statistical purposes may be drawn  from all  types of sources, be  they statistical  surveys or administrative  records. Statistical agencies are  to  choose  the  source with  regard  to  quality,  timeliness,  costs,  sustainability  in  time  and  the  burden  on respondents. 

 

 

 

Principles Governing International Statistical Activities  

• Principle 1. High quality international statistics, accessible for all, are a fundamental element of global information systems. Good practices include: 

o Compiling and disseminating international statistics based on impartiality  

• Principle  2.  To  maintain  the  trust  in  international  statistics,  their  production  is  to  be impartial and strictly based on the highest professional standards. Good practices include: 

o Using strictly professional considerations for decisions on methodology, terminology and data presentation  

• Principle  4.  Concepts,  definitions,  classifications,  sources,  methods  and  procedures employed  in  the  production  of  international  statistics  are  chosen  to  meet  professional scientific standards and are made transparent for the users. Good practices include: 

o Documenting  how  data  are  collected,  processed  and  disseminated,  including information about editing mechanisms applied to country data  

o Giving credit,  in  the dissemination of  international statistics,  to  the original source and using agreed quotation standards when re‐using statistics originally collected by others  

• Principle  5.  Sources  and methods  for  data  collection  are  appropriately  chosen  to  ensure timeliness and other aspects of quality,  to be cost‐efficient and  to minimise  the  reporting burden for data providers. Good practices include:  

o Facilitating the provision of data by countries  

o Working  systematically  on  the  improvement  of  the  timeliness  of  international statistics  

o Ensuring that national statistical offices and other national organisations for official statistics  are  duly  consulted  and  advocating  that  the  Fundamental  Principles  of Official Statistics are applied when data are collected in countries 

 

National Quality Assurance Framework (NQAF) 

• Quality assurance guidelines:  o Managing  the  institutional  environment:  assuring  professional  independence 

(NQAF 4), impartiality and objectivity (NQAF 5), transparency (NQAF 6), quality commitment (NQAF 8) 

o Managing statistical processes: assuring methodological soundness (NQAF 10) o Managing  statistical  outputs:  assuring  relevance  (NQAF  14),  accuracy  and 

reliability  (NQAF  15),  coherence  and  comparability  (NQAF  18),  managing metadata (NQAF 19)  

 

Best Practices  

Each IO makes decisions on data sources on the basis of its own needs and its data quality framework.  Official statistics is in principle the best source of information for data disseminated and analyzed by IO. The CCSA recognizes that there are instances when IOs need to use non‐official 

 

 

sources to fill gaps or improve data quality and comparability. The following practices are recognized as the best approach to handle non‐official data at international level:  

1. Non‐official  sources  may  be  used  by  international  organisations 3  to  reach  the  following objectives:  a. to give background or context to data from official sources; 

b. to validate data received from official sources; 

c. to  apply  transformations  to  national  official  data  in  the  interests  of  international comparability  or  for  the  purpose  of  producing  new  indicators  (for  example,  applying different classifications, base years or units of measurement or construct per capita ratios);  

d. to  construct  international  data  series  in  fields which  are  not  covered  by  existing  official sources; 

e. to  impute  national  data where  national  official  data  do  not  exist  or  are  of  proven  poor quality; 

f. to impute missing values within an official national time series 

 

2. Only professional scientific standards are used in determining sources of data and estimations in international  statistical  series.  Accuracy,  relevance,  independence,  stability  and  expected availability over time should be among the most important factors to consider.   

3. Non official data may be used and disseminated by IO only after a thorough quality assessment of available national and international statistics. In such review, priority is given to data produced by national authorities within national statistical systems and international series produced by CCSA members. Non official sources are considered only when national official sources are not available or are of proven poor quality. 

 4. The quality and sustainability of the data‐generation process embedded in the non‐official 

source is reviewed before it is adopted on the basis of stability, both in the past and in the foreseeable future. Stability in the past refers directly to the quality of non‐official statistics, in particular the use of consistent methodologies over time. The quality of the metadata provided by the non‐official source may be used as anindicator of the seriousness of its statistical production. 

Consultation 

5. Relevant  national  official  source  organizations  are  consultedwhen/beforenon  official data  are published  for  single  countries  and when/beforetime  seriesare  extended  by  adding  values  at either end. 

                                                            3 Utilizing private dataproviders to access more rapidly and efficiently a large array of data originally published by official sources can be another area for IOs.This option, which exists principally for economic data, could allow an increased value-added content ofinternational statisticians by shifting existing resources to the analytical role. However, this option is not considered in this document because it entails a broader discussion on the role of IOs in data collection.  

 

 

 6. Methodology and criteria  for  selecting non official  sources are clearly  stated  in  the  IO quality 

framework  which  is  approved  by  the  IO  relevant  governing  body  or  internal  management system. 

 

Documentation 

7. Consistent  criteria  for  determining  the  selection  of  non  official  sources  or  the  production  of original estimations and imputationsare properly documented and made accessible to all users.  

 

Dissemination  

8. Non official data may be flagged when disseminated to inform users about the different nature of the source or to clearly separate data from official and non‐official sources.  

9. Sources of non‐official data and methodology used to construct new indicators or impute national data are made transparent and visible when non official data are disseminated  

 Partnership with the private sector 

 10. When non‐official sources involve the private sector is useful to enter in a Memorandum of 

Understanding in order to clarify copyrights and build common trust. Whenever possible or practical the relevant national authorities are kept informed of the arrangements between the IO and the non‐governmental body.  

 

 

 

Annex 

Existing practices in selected IOs on the use of non‐official sources 

(from paper presented by WTO in 2010) 

UNIDO In the case of UNIDO' s INDSTAT database, the transformation of original data ismade in five stages. At the first stage, only obvious reporting errors are corrected in order tokeep the data in original form; in the second stage, inconsistent data are corrected usingsupplementary information from the national sources. Up to stage 2, data are considered asofficial and used to prepare the country tables for the International Yearbook of IndustrialStatistics. 8 However, statistical work for INDSTAT does not stop with the publication of theInternational Yearbook of Industrial Statistics.4At the third stage, data are adjusted toeliminate the departures from the level of ISIC aggregation using national and internationalsources of supplementary data. At Stage‐4, UNIDO statisticians estimate missing data eitherby obtaining the data from the external sources or by applying related proportion orinterpolation. At the Stage 5 provisional estimates are made for latest years. Non‐officialsources are used as supplementary data at Stage 4 and 5, when readily available.  Another UNIDO database, MVA (manufacturing value added), is mainly for internaluse. Data are collected from the secondary sources, such as UNSD, UNPD, WDI, IMF andOECD. Often there is discrepancy among these sources which need to be addressed. UNIDOalso produces current year estimates from the growth rates using forecasting models. One ofthe non‐official sources often considered for this purpose is the Economist Intelligence Unit.As a rule, no estimates are published for an individual country if it entirely comes from nonofficialsources. Nevertheless, such data are used as imputation to compute the growth rate orpercentage share for the regional total.  FAO Another example of the use of non‐official sources is the work done by FAO toestimate fertilizer production, trade and consumption. Reliable data on fertilizer are pivotal for several important purposes, including medium‐term forecasting, national policy planningand monitoring, analysis and policy related to environment. The FAOSTAT fertilizer domainuses a supply and utilisation account structure with production, trade, consumption and nonfertilizeruse comprising the four elements of the domain. The main sources of data areofficial data received by FAO from countries with supplementary data from non‐official ormixed sources (national official sources and industry experts) from the International FertilizerAssociation (IFA).  Non‐official data are very useful to FAO statisticians, especially for (i) validating datareceived from official sources; (ii) imputing missing country level data (when data is notreported by countries for any of the four elements); and (iii) compiling more complete andcomparable regional and global 

                                                            4For this publication, UNIDO’s data production rules do not allow the use of non-official source. The data in UNIDO publication and in official national publication are identical or the difference, if any, is nominal. 

 

 

aggregates of fertilizer production, trade and consumption(especially when data is not reported by large fertilizer producing/consuming countries likeChina and India).  Because of the critical role of these non‐official sources in constructing representativeestimates for the supply and utilization accounts, FAO fertilizer data specialists have enteredinto a close interaction with representatives of the fertilizer industry and other experts. Thesecontacts are particularly important to ascertain data reliability. The specialists attend meetingswith industry where non‐official information is shared with FAO, and verified by the varioussources before dissemination by FAOSTAT. Thanks to this cooperation, compiling data fromofficial and non‐official sources and imputing data based on both official and non‐officialsources leads to a higher quality FAOSTAT fertilizer data domain that meets the needs ofusers.  UNWTO Tourism is a typical and recent example of developing jointly official statistics andcomplementary data from non‐official sources. Both governmental and private stakeholdersidentified the need to improve the analysis of tourism's contribution to national economieswith a wider range of indicators than those "pivoting exclusively on official statistics"5 andusually produced by national accounts and balance of payments. Developing such aframework where official and non‐official stakeholders could find their place started with thedevelopment of a System of Tourism Statistics (STS), providing an exhaustive description ofthe field to be covered and a measurement of its various dimensions (economic, social, etc.).The framework is closely related to the implementation of the Tourism Satellite Accounts,which provided the conceptual framework (and a common language) for organizing, andharmonizing existing data, and identifying data gaps.  This statistical framework is to be completed by qualitative information andcomplementary indicators (principally short‐term) to enlarge the scope of economic analysisand include issues like business cycles, and cope with the specific needs of key stakeholdersin the tourism sectors (specially tourism administrations and industry associations). Often,these complementary indicators are mostly based on non‐official data sources, using somesort of administrative records. For example, in several countries, arrival figures do not havethe formal recognition of official statistics; in other instances, the source of data come fromcredit card records or traffic control agencies. The momentum created by building up anational tourism information system is expected to encourage national tourismadministrations to assume their leadership regarding the production and compilation of thestatistical information needed to monitor and analyse the tourism sector.  ITU A similar example of relying on a mix of official and unofficial data sources isprovided by the ITU. In a field of constant innovation and permanent changes, compilingand harmonizing telecommunication/ICT data is a challenge. In addition, ICT epitomizes,with the globalization of business models and the internationalization of standards, a situationwere national official definitions are rapidly obsolete.  

                                                            5"Developing official statistics and complementary data: tourism as a case study" UNWTO, mimeo 2010. 

 

 

In this context, the role of an international organization working jointly with a widearray of national official and non‐official stakeholders is key in developing internationaldefinitions, standards and methodologies. Almost naturally, ITU's statisticians play animportant role in developing standards and definitions, because they are the main source ofglobal and internationally comparable ICT &telecom data. Where official data are notavailable, ITU's Market Information and Statistics Division uses data from private sectorcompanies and others to fill data gaps and to complement official data.  One example of data derived from non‐official sources is the number of mobilecellular subscriptions. Ideally, ITU gets these data directly from a questionnaire sent to theirofficial respondents in each country. When the information is missing, the ITU statisticiansmake an estimate based on mobile operator's published subscriber data. Similarly, ITU hasincluded data from industry associations in its database (for example GSMA's WirelessIntelligence data on mobile broadband subscriptions), when official data were not available.The unofficial series is used only until countries provide their own, official data.  At the difference of UN‐WTO, the ITU is not yet in a phase where official andunofficial stakeholders can dialogue together in a common statistical framework, such as theone provided by the Tourism Satellite Accounts. But, similarly to UN‐WTO, one of the keystrategy to build the condition of a dialogue between the various stakeholders was to create a"Partnership on Measuring ICT for Development". This multi‐stakeholder Partnership hasdeveloped a core list of ICT indicators, which provides definitions, model questions andmethodological notes to measure the Information Society. This list of 50 indicators, whichwas agreed upon through a consultation process involving governments, non‐governmentaland international organizations, covers basic infrastructure and access indicators as well asICTs in households, enterprises, and education. The list, which is revised regularly, guidescountries in measuring the information society, even if it has not reached the stage where itcan be formalized into a statistical framework, such as the Tourism Satellite Accounts.  Illustratively, the two organizations mentioned above developed their own indicators,moving a step forward in their mission of building an international information system ontheir respective areas. The UN‐WTO publishes a Tourism Confidence Index, based on theresults of an opinion survey it conducts directly to selected representatives of the public andprivate sector organizations. This survey has been produced every four months since May2003. The analysis contained in the UN‐WTO's flagship publication "World TourismBarometer" is, in large part, based on this survey. Similarly, ITU produces two keybenchmarking tools: the ICT Development Index (IDI), as well as the ICT Price Basket.These indices, which track ICT development and prices over time, help stakeholders toevaluate ICT policies and set realistic targets. In both cases, these international organizations use the official and unofficial information they gathered to produce an "international indicator", proper to the international organization.  UNODC A similar step is made by the UN Office on Drugs and Crimes. The UNODC 'smandate is, inter alia, to publish "comprehensive and balanced information about the worlddrug problem" in recognition of the importance of factual and objective information ininternational drug control. As part of its mission, this international organization publishes"Global Illicit Drug Trends" on the supply of and demand for illicit drugs. Based on data andestimates collected or prepared by governments, UNODC 

 

 

and other international institutions,UNODC attempts to identify trends in the evolution of global illicit drug markets. Inparticular, this organization, to serve its global mandate, implements surveys on cultivationand production of drugs which affects the illicit trafficking around the world. In engaging inthis very sensitive activity, UNDOC statisticians are sometimes confronted with the issue ofbalancing their statistical independence and professionalism with the option of publishingonly officially sanctified statistics.  WTO Finally, the last example on building statistics for market access and non‐tariffbarriers, illustrates a situation where unofficial data are used to put the official data intoperspective, instead of simply bridging information gaps. This, obviously, is a sensitive issuethat needs to be treated carefully by international organizations which remain largely intergovernmentalrather than supra‐national bodies.  The issue of non‐tariff barriers is particularly complex in trade policy. While officialtariffs (a duty imposed on an import) are relatively easy to measure as they depend on wellknown parameters (basically, a product definition and a country of origin –as defined by rulesof origin), non‐tariff measures refer to quality standards, such as sanitary or environmentalaspects, that the product should respect in order to be accepted in the domestic market. Inspite of their importance in regulating trade, there is little understanding of the exactimplications of NTMs on trade flows, export‐led growth and social welfare in general. Themain reason of this lack of understanding is that internationally there is no comprehensiveand continuously updated information on NTMs. The only internationally available crosscountry database on NTMs is the UNCTAD Trade Analysis and Information System(TRAINS) database, which needed to be adapted and updated.  For the analyst interested in building an information system on non‐tariff measuresand their implication for trade, two sets of independent questions have to be solved, and noneof them is solvable by using official sources only. The first one is to differentiate a measurefrom a barrier, and how to classify them. The second is, "how effective or restrictive, is ameasure to limit international trade?". A Multi‐Agency Support Team (MAST) was set up toproduce an updated classification of the various NTMs and to advise on the feasibility of datacollection of such measures.  The classification of NTMs proposed by the MAST was established by internationalstatisticians, and follows a hierarchical "tree" structure where NTMs are differentiatedaccording to 16 "branches" or chapters, each comprising of "sub‐branches" (1‐digit), "twigs"(2‐digits) and "leafs" (3 digits). As far as data collection is concerned, MAST agreed on theimportance of preserving the experience with collection of data from official sources (i.e.,from the "supply" side: the government imposing the NTMs). But MAST also decided toinclude the "demand" side, i.e., the private sector companies that are affected by NTMs.  Therefore, in addition to official data collection, MAST proposed to collect data fromthe private sector by conducting firm level surveys and by providing a web based applicationto facilitate data collection from private companies. This framework allows the collection oftwo distinct datasets: official NTMs data (originating from international organizations,regional agencies, and national sources), and private sector data (originating from firm levelsurveys and web based applications). 

 

 

 The participation of the respective agencies that contribute to the MAST and the useof the data collected varies in function of their institutional restrictions vis‐à‐vis unofficialdata. For example, the WTO' s statistical domain is strictly restricted to those measures thatwere officially notified to the organization by the governments, excluding other sources(including official ones). Similarly, for those notifications, it cannot officially refer, in anyexternal communication or dissemination, to the classification of NTMs proposed by theMAST, but has to use the reference (or lack of) provided by the authorities in their officialcommunication. In practices, it means that any other information should be restrained for internal use (e.g., trade policy analysis). As a consequence, WTO's participation to the interagencyeffort is limited to inciting its members' representatives to notify and update theirofficial data.  At the contrary, the International Trade Centre (initially, a joint WTO‐UNCTADinitiative to enable small business export success in developing countries) is more interestedin the practical implications of NTMs for exporters, and is less restricted in the source of theinformation it uses. Consequently, ITC offered to conduct a large scale company‐level surveyon the firms' experience with NTMs when exporting and importing goods. In each countrycovered, ITC will contract a specialized survey company, research institution or trade supportorganization. The survey approach has two steps, including a phone screening that isrepresentative by export sector and size (around 300‐1000 completed phone screens bycountry) as well as in‐depth interviews by trained moderators with those companies that faceproblems when complying with NTMs (based on a standardized questionnaires). Interviewswith exporters and importers arecomplemented by additional interviews with otherstakeholders such forwarding companies but also business associations.  The previous example offers an interesting use of non‐official sources, when businessopinion serve to qualify the official data. In this case, non‐official data help understanding theofficial indicator and identify which measures are actually binding for trade. As similarexample is provided by the World Bank' s "doing business" database, the best‐known sourceof data in the domain of trade and business facilitation. 6 Doing Business provides aquantitative measure of regulations for starting a business, dealing with construction permits,employing workers, registering property, getting credit, protecting investors, paying taxes,trading across borders, enforcing contracts and closing a business—as they apply to domestic firms.  Another objective of "Doing Business", which is also found in the above mentionedICT development and price indexes, is for benchmarking, from an international perspective,some of the dimensions of national regulatory regimes. Ranking and benchmarking can beuseful in stimulating debate about policy. Indeed, these indices, produced by internationalorganizationsand allowing a direct comparison among countries, raise a lot of awareness.Accordingly, they may at times also provoke a more critical reaction from countries (eitheron the data or on the methodological composition of the index), which need to be addressedby the producing organizations. As mentioned by the World Bank website, a common firstreaction (from governments) is to doubt the quality and relevance of the Doing Businessdata.11 Aware of the statistical limitations of some of the non‐official sources used to 

                                                            6http://www.doingbusiness.org. 

 

 

buildthe indicators, this agency has taken special care to properly document the methodology andprovide the users with an independent evaluation of its strength and weaknesses.