Stichprobe versus Abschneideverfahren

Transkript

1 Stichprobe versus Abschneideverfahren Ein Verfahrensvergleich am Beispiel der Konjunkturstatistik in der Industrie Jürgen Schmidt Mathematisch-Statistische Methoden Statistisches Bundesamt Statistische Woche Dresden 19. September 6 Statistisches Bundesamt, IIA/Mathematisch-Statistische Methoden

2 I. Problemdarstellung und Untersuchungsziel Belastung der Betriebe des Verarbeitenden Gewerbes durch Konjunkturstatistiken Monatsbericht für Betriebe: u.a. Beschäftigte, Umsatz, Auftragseingänge 48 Tsd. Betriebe melden monatlich Monatliche Produktionserhebung: Produktion nach Menge und Verkaufswert 15 Tsd. Betriebe melden monatlich Stichprobe versus Abschneideverfahren Folie 2

3 I. Problemdarstellung und Untersuchungsziel Monatsbericht für Betriebe Status quo Reformziele Neues Konzept Meldepflicht f. alle Betriebe v. Unternehmen mit = Beschäftigten Entlastung der Unternehmen von Befragungsaufwand Weitgehende Wahrung der Ergebnisqualität Kostensenkung bei den Statistischen Ämtern Meldepflicht f. alle Betriebe mit =5 Beschäftigten (Abschneideverfahren 5+) Neues Konzept: 23 Tsd. Betriebe melden monatlich (Abschneidegrenze der Jahreserhebung liegt weiterhin bei Beschäftigten) Mögliche Alternative: Stichprobe statt Abschneideverfahren Empirischer Verfahrensvergleich: Kann die Stichprobe bei vergleichbarem Entlastungseffekt zuverlässigere Ergebnisse für die Konjunkturbeobachtung liefern als das Abschneideverfahren (5+)? Stichprobe versus Abschneideverfahren Folie 3

4 II. Fachliche Vorgaben für den Verfahrensvergleich Nachweisungsmerkmale Umsatz, Beschäftigte, [Auftragseingänge] Evaluierungskriterien Genauigkeit der Ergebnisse Belastung der Betriebe Datenbasis Betriebe des Monatsberichts mit mind. Beschäftigten (Gesamtheit +) Zeitraum Januar 2 bis Dezember 4 Abschneideverfahren (5+) oder Stichprobe? Fachliche Ergebnisgliederung Wirtschaftsabteilungen (WZ-Zweisteller) auf Länderebene [ Wirtschaftsklassen (WZ-Viersteller) auf Bundesebene] Art des Nachweises Vorrangig Veränderungsraten, daneben auch Totalwerte Regionale Ergebnisgliederung Bundesländer Stichprobe versus Abschneideverfahren Folie 4

5 II. Fachliche Vorgaben für den Verfahrensvergleich Bund-Länder-AG steuert und begleitet Erste Untersuchungsphase: Ergebnisse für die Wirtschaftsabteilungen Gewinnung von Steinen u. Erden, sonstiger Bergbau Ernährungsgewerbe Herstellung von chemischen Erzeugnissen Metallerzeugung u. bearbeitung Herstellung von Metallerzeugnissen Maschinenbau Medizin-, Mess-, Steuer- u. Regeltechnik, Optik, Herstellung von Uhren Herstellung von Kraftwagen u. teilen der Länder Bremen, Nordrhein-Westfalen, Rheinland-Pfalz und Sachsen-Anhalt Stichprobe versus Abschneideverfahren Folie 5

6 III. Szenario Abschneideverfahren (5+) Gesamtheit (+) Teilgesamtheit (5+) Abschneidegrenze 5 Beschäftigte + Einfaches Verfahren + Geringer Erhebungsumfang + Betriebe <5 Beschäftigte werden nicht belastet Vollerhebung Ergebnisse haben Bias (Verzerrung) Entwicklung der Betriebe <5 Beschäftigte wird nicht abgebildet Regionale oder branchenspezifische Strukturen werden nicht berücksichtigt Stichprobe versus Abschneideverfahren Folie 6

7 III. Szenario Abschneideverfahren (5+) % Betriebe Umsatz Beschäftigte % Betriebe Umsatz Beschäftigte % Anteil total erfasster Betriebe der Gesamtheit (+) (Dezember 4) Ernährungsgewerbe (NRW) Medizin-, Mess-, Steuer- und Regeltechnik, Optik, Herstellung von Uhren (NRW) % % Betriebe Umsatz Beschäftigte Betriebe Umsatz Beschäftigte % Gewinnung von Steinen und Erden, sonstiger Bergbau (Rhl.-Pf.) Metallerzeugung und -bearbeitung (Rhl.-Pf.) Stichprobe versus Abschneideverfahren Folie 7

8 III. Szenario Abschneideverfahren (5+) % Betriebe Umsatz Beschäftigte % Betriebe Umsatz Beschäftigte % Anteil total erfasster Betriebe der Gesamtheit (+) (Dezember 4) Herstellung von chemischen Erzeugnissen (S.-A.) Maschinenbau (S.-A.) % % Betriebe Umsatz Beschäftigte Betriebe Umsatz Beschäftigte % Herstellung von Metallerzeugnissen (Bremen) Herstellung von Kraftwagen und -teilen (Bremen) Stichprobe versus Abschneideverfahren Folie 8

9 III. Szenario Abschneideverfahren (5+) Einschub: Abschätzung der Genauigkeit von statistischen Ergebnissen: Systematischer Fehler (Bias) Mittlerer quadratischer Gesamtfehler (MSE) Standardfehler MSE = (Standardfehler) 2 + (Bias) 2 Maß für den zufallsbedingten Unschärfebereich RMSE = MSE Verzerrung Maß für die Genauigkeit eines Schätzwertes Stichprobe versus Abschneideverfahren Folie 9

10 III. Szenario Abschneideverfahren (5+) Abschätzung der Genauigkeit für Totalwerte (Beispiel: Umsatz) U i (+) U i (/5) U i (5+) Bezeichnungen U i (+): U i (5+): Umsatz der Gesamtheit (+) im Monat i analog Monat i U i (/5): analog U i (5+) ist Schätzwert für U i (+) Bias U i (5+) = U i (/5) Der Bias U i (5+) lässt sich durch Zuschätzung von U i (/5) (z.b. durch Fortschreibung von U (/5) aus der Jahreserhebung) reduzieren Stichprobe versus Abschneideverfahren Folie

11 III. Szenario Abschneideverfahren (5+) Abschätzung der Genauigkeit für Veränderungsraten zum Vormonat (Beispiel: Umsatz) U i -1 (/5) U i -1 (+) Veränderung U i (+) Veränderung U i (5+) U i (+) U i (/5) Bezeichnungen: Veränderungsrate der Teilgesamtheit (5+) im Monat i: U i -1 (5+) Monat i-1 Monat i R i (5+) ist Schätzwert für R i (+) U i (5+) Bias R i (5+) = R i (+) R i (5+) Im Allgemeinen sind keine Informationen zur Reduzierung des Bias R i (5+) verfügbar U i (5+) R i (5+) = - 1 U i -1 (5+) Veränderungsrate der Gesamtheit (+) im Monat i: U i (+) R i (+) = - 1 U i -1 (+) Stichprobe versus Abschneideverfahren Folie 11

12 III. Szenario Abschneideverfahren (5+) Nach Umformung: A i-1 Bias R i (5+) = [ R i (/5) - R i (5+) ] A i Bezeichnungen: Anteil von U i -1 (/5) am Umsatz U i -1 (5+) im Monat i -1: Beispiel: R i (5+) : 2% R i (/5) : + % A i-1 : 3% Bias R i (5+) : +2,8% - Punkte R i (+) : +,8% A i -1 = U i -1 (/5) U i -1 (5+) Veränderungsrate der Teilgesamtheit (/5) im Monat i: U i (/5) R i (/5) = - 1 U i -1 (/5) Stichprobe versus Abschneideverfahren Folie 12

13 III. Szenario Abschneideverfahren (5+) %-Punkte Bias R i (5+) A i -1 = 3, A i -1 = 1, A i -1 =,5 A i -1 =,3 A i -1 =,2 2,8 A i -1 = A i -1 =,5 12 %-Punkte R i (/5) R i (5+) Stichprobe versus Abschneideverfahren Folie 13

14 IV. Szenario Stichprobe Gesamtheit (+) Stichprobe + Vergleichbar geringer Erhebungsumfang zum Abschneideverfahren (5+) + Repräsentativ für die Gesamtheit + Stichprobendesign berücksichtigt regionale und branchenspezifische Strukturen Ergebnisse haben zufallsbedingten Unschärfebereich (Stichprobenzufallsfehler) Gliederungstiefe der Ergebnisse ist begrenzt Aufwändiger als Abschneideverfahren (5+) Stichprobe versus Abschneideverfahren Folie 14

15 IV. Szenario Stichprobe Stichprobendesign für den Verfahrensvergleich Schichtung: Länder WZ-Zweisteller 2 bis 5 Beschäftigtengrößenklassen mit optimaler Schichtabgrenzung Stichprobenaufteilung: Stichprobenumfang je Land = Anzahl Betriebe der Gesamtheit (5+) Abgestufte Präzision für WZ-Zweisteller je Land Optimale Aufteilung (Neyman) auf die Beschäftigtengrößenklassen je WZ-Zweisteller Hochrechnung: Veränderungen zum Vormonat: Kombinierte Verhältniswertschätzung Totalwerte: Freie Hochrechnung Stichprobe versus Abschneideverfahren Folie 15

16 IV. Szenario Stichprobe Abschätzung der Genauigkeit für Totalwerte: Übliche Schätzformel für den Standardfehler bei freier Hochrechnung Für Veränderungsraten: Schätzung von Standardfehler und Bias des Schätzers, da kombinierte Verhältnisschätzung nicht erwartungstreu Ergebnis der Testrechnungen: Bias der Verhältniswertschätzung ist vernachlässigbar klein Stichprobe versus Abschneideverfahren Folie 16

17 V. Ergebnisse des Verfahrensvergleichs Evaluierung der Genauigkeit Problem: Vergleich von Bias und Standardfehler Behelfslösung: Bias und Standardfehler gleicher Größe werden gleich bewertet Bewertung der Genauigkeit Bias bzw. Standardfehler der geschätzten Veränderungsraten Rel. Bias bzw. Rel. Standardfehler der geschätzten Totalwerte < 2 %-Pkte 2-5 %-Pkte > 5 %-Pkte < 5 % 5- % > % Stichprobe versus Abschneideverfahren Folie 17

18 V. Ergebnisse des Verfahrensvergleichs Durchschnittliche Genauigkeit der geschätzten Veränderungsraten für den Umsatz (Februar 2 bis Dezember 4) 2-5 %-Punkte WZ-Zweisteller >5 %-Punkte Abschneideverfahren (5+) Stichprobe Mittlerer absoluter Bias (%-Punkte) Mittlerer Standardfehler (%-Punkte) Bremen NRW Rhl.-Pf. S.-A. Bremen NRW Rhl.-Pf. S.-A. Gewinnung von Steinen u. Erden, sonstiger Bergbau 7,1 15, 5,1 1,3 2,8 2,5 Ernährungsgewerbe 3,6,8,6,4 4,1,4,8,7 Herstellung v. chemischen Erzeugnissen 6,5,9 7,5,7,5 1,3 Metallerzeugung u. -bearbeitung,2,2,7 6,4,3,4 1,1 Herstellung v. Metallerzeugnissen 5,2,8,9 3,1 7,8,5 1,3 2,4 Maschinenbau 5,1,6 1,1 2,9 16,1,8 2, 3,9 Medizin-, Mess-, Steuer u. Regeltechnik, Optik, Herstellung von Uhren 4,3 1,5 3, 4,1,8 1, 1,7 3,6 Herstellung v. Kraftwagen u. -teilen,2 1,6,7,5,7 2,8 Stichprobe versus Abschneideverfahren Folie 18

19 V. Ergebnisse des Verfahrensvergleichs Geschätzte und tatsächliche Entwicklung der Veränderungsraten (Umsatz) Gesamtheit (+) Abschneideverfahren (5+) % Rheinland-Pfalz: Gewinnung von Steinen u. Erden, sonstiger Bergbau 2/2 6/2 12/2 6/3 12/3 6/4 12/4 Stichprobe versus Abschneideverfahren Folie 19

20 V. Ergebnisse des Verfahrensvergleichs Geschätzte und tatsächliche Entwicklung der Veränderungsraten (Umsatz) Gesamtheit (+) Abschneideverfahren (5+) % Nordrhein-Westfalen: Ernährungsgewerbe 2/2 6/2 12/2 6/3 12/3 6/4 12/4 Stichprobe versus Abschneideverfahren Folie

21 V. Ergebnisse des Verfahrensvergleichs Durchschnittliche Genauigkeit der geschätzten Veränderungsraten für Beschäftigte (Februar 2 bis Dezember 4) 2-5 %-Punkte WZ-Zweisteller >5 %-Punkte Abschneideverfahren (5+) Stichprobe Mittlerer absoluter Bias (%-Punkte) Mittlerer Standardfehler (%-Punkte) Bremen NRW Rhl.-Pf. S.-A. Bremen NRW Rhl.-Pf. S.-A. Gewinnung von Steinen u. Erden, sonstiger Bergbau 1,4 9,1 1,4,4,7 Ernährungsgewerbe,3,2,4,3,2 Herstellung v. chemischen Erzeugnissen,8,3 1,,4,2 Metallerzeugung u. -bearbeitung,3,2,4,4,3 Herstellung v. Metallerzeugnissen 3,,2,3,8 1,1,,2 Maschinenbau,8,3,8 1,7,,3 Medizin-, Mess-, Steuer u. Regeltechnik, Optik, Herstellung von Uhren 2,,5,9 3,4 1,4,2,6 Herstellung v. Kraftwagen u. -teilen,,9,6,4 Stichprobe versus Abschneideverfahren Folie 21

22 V. Ergebnisse des Verfahrensvergleichs Geschätzte und tatsächliche Entwicklung der Veränderungsraten (Beschäftigte) Gesamtheit (+) Abschneideverfahren (5+) % Rheinland-Pfalz: Gewinnung von Steinen u. Erden, sonstiger Bergbau 2/2 6/2 12/2 6/3 12/3 6/4 12/4 Stichprobe versus Abschneideverfahren Folie 22

23 V. Ergebnisse des Verfahrensvergleichs Geschätzte und tatsächliche Entwicklung der Veränderungsraten (Beschäftigte) Gesamtheit (+) Abschneideverfahren (5+) % Nordrhein-Westfalen: Ernährungsgewerbe 2/2 6/2 12/2 6/3 12/3 6/4 12/4 Stichprobe versus Abschneideverfahren Folie 23

24 V. Ergebnisse des Verfahrensvergleichs Durchschnittliche Genauigkeit der geschätzten Totalwerte für den Umsatz (Januar 2 bis Dezember 4) 5- % > % WZ-Zweisteller Gewinnung von Steinen u. Erden, sonstiger Bergbau Ernährungsgewerbe Herstellung v. chemischen Erzeugnissen Bremen 24,3 26, Abschneideverfahren (5+) Mittlerer relativer Bias % NRW 45, 11, 2,7 Rhl.-Pf. 344,2 11,3 1,2 S.-A. 28,6 5,7 7,7 Bremen 8,8 18, Stichprobe Mittlerer relativer Standardfehler % NRW 1,9,7,9 Rhl.-Pf. 6, 2,6 1,9 S.-A. 7,2 3,4 3,6 Metallerzeugung u. -bearbeitung 1, 2,8 2,8 2,8 5,2 1, 2,4 4,5 Herstellung v. Metallerzeugnissen 8 17,1 13,5 39,3 21,5 1, 2,8 4,7 Maschinenbau 13,7 8,1,2 23,2 16,6,9 2,6 5, Medizin-, Mess-, Steuer u. Regeltechnik, Optik, Herstellung von Uhren 11,1 23,5 29,6 67,6 19,2 1,7 3,3 7,1 Herstellung v. Kraftwagen u. -teilen,3 1, 1, 11,2 7,8 1, 1,6 6,2 Stichprobe versus Abschneideverfahren Folie 24

25 V. Ergebnisse des Verfahrensvergleichs Geschätzte und tatsächliche Entwicklung des Umsatzes Gesamtheit (+) Abschneideverfahren (5+) Mio Euro 25 Rheinland-Pfalz: Gewinnung von Steinen u. Erden, sonstiger Bergbau /2 1/2 6/2 6/2 12/2 12/6/3 6/3 12/3 6/4 12/4 Stichprobe versus Abschneideverfahren Folie 25

26 V. Ergebnisse des Verfahrensvergleichs Geschätzte und tatsächliche Entwicklung des Umsatzes Gesamtheit (+) Abschneideverfahren (5+) Mio Euro 25 Nordrhein-Westfalen: 24 Ernährungsgewerbe /2 1/2 6/2 6/2 12/2 12/2 6/3 6/3 12/3 12/3 6/4 12/4 Stichprobe versus Abschneideverfahren Folie 26

27 V. Ergebnisse des Verfahrensvergleichs Durchschnittliche Genauigkeit der geschätzten Totalwerte für Beschäftigte (Januar 2 bis Dezember 4) 5- % > % Abschneideverfahren (5+) Stichprobe WZ-Zweisteller Mittlerer relativer Bias % Mittlerer relativer Standardfehler % Bremen NRW Rhl.-Pf. S.-A. Bremen NRW Rhl.-Pf. S.-A. Gewinnung von Steinen u. Erden, sonstiger Bergbau 42,1 271,1 41,3,9 1,3 4,1 Ernährungsgewerbe 7,8 17,1 22, 11,1 2,7,6 1,1 Herstellung v. chemischen Erzeugnissen 21,1 3,6 1,4, 13,1,3 1,4 1,8 Metallerzeugung u. -bearbeitung 2,4 3,9 4,3 5,9 3,7,4 1,9 3,3 Herstellung v. Metallerzeugnissen 72,8 22,7, 45,6 8,5,2,9,8 Maschinenbau 14,1 11,3 13,9 31, 12,8,3,6 2,2 Medizin-, Mess-, Steuer u. Regeltechnik, Optik, Herstellung von Uhren 36,6 38,2 43, 4,8,3,4 1,5 4,1 Herstellung v. Kraftwagen u. -teilen,3 2,1 1,4 17,6 7,6,9 1,8 4,2 Stichprobe versus Abschneideverfahren Folie 27

28 V. Ergebnisse des Verfahrensvergleichs Geschätzte und tatsächliche Entwicklung der Beschäftigtenzahlen Gesamtheit (+) Abschneideverfahren (5+) Beschäftigte Rheinland-Pfalz: Gewinnung von Steinen u. Erden, sonstiger Bergbau 1/2 6/2 12/2 6/3 12/3 6/4 12/4 Stichprobe versus Abschneideverfahren Folie 28

29 V. Ergebnisse des Verfahrensvergleichs Geschätzte und tatsächliche Entwicklung der Beschäftigtenzahlen Gesamtheit (+) Abschneideverfahren (5+) Beschäftigte Nordrhein-Westfalen: Ernährungsgewerbe 1/2 6/2 12/2 6/3 12/3 6/4 12/4 Stichprobe versus Abschneideverfahren Folie 29

30 VI. Fazit der ersten Untersuchungsphase Abschneideverfahren (5+) Zuverlässige Schätzungen der monatlichen Veränderungsraten (Umsatz, Beschäftigte) für bedeutende Zweisteller (z.b. Herstellung v. Kraftwagen, chemische Industrie) Unsichere Schätzungen der Veränderungsraten für kleinbetrieblich strukturierte Zweisteller (z.b. Gewinnung v. Steinen u. Erden, sonstiger Bergbau) Genauigkeit kann durch länder und branchenspezifische Abschneidegrenzen verbessert werden Nicht geeignet (mit Ausnahmen) für die Schätzung von Totalwerten Bias kann durch adäquates Zuschätzverfahren reduziert werden Stichprobe versus Abschneideverfahren Folie 3

31 VI. Fazit der ersten Untersuchungsphase Stichprobe Konkurrenzfähige Alternative zum Abschneideverfahren (5+) Annähernd vergleichbar zuverlässige Schätzungen der monatlichen Veränderungsraten für bedeutende Zweisteller Überlegen bei der Schätzung von Veränderungsraten für kleinbetrieblich strukturierte Zweisteller sowie von Totalwerten (i. Allg.) In der Stichprobenpraxis muss mit etwas höheren Standardfehlern als den kalkulierten gerechnet werden Unsichere Schätzungen von Veränderungsraten und von Totalwerten für umsatzschwache Zweisteller in kleinen Ländern Problem kann durch Optimierung der Stichprobenaufteilung reduziert bzw. behoben werden Stichprobe versus Abschneideverfahren Folie 31

32 VI. Fazit der ersten Untersuchungsphase Zielvorgaben werden nicht voll erreicht Stichprobe hat Vorteile Optimierung der Verfahren wird das Problem nicht lösen Zielkonflikt: Entlastung Genauigkeit Lösungsansatz: Zielvorgaben überdenken Stichprobe versus Abschneideverfahren Folie 32

33 VIELEN DANK FÜR IHRE AUFMERKSAMKEIT Jürgen Schmidt Statistisches Bundesamt, Wiesbaden Telefon: +49 ()611 / juergen.schmidt@destatis.de Statistisches Bundesamt, IIA/Mathematisch-Statistische Methoden