Empirische Untersuchungen haben meist eine Population oder Grundgesamtheit (eine Klasse von Individuen oder Elementen) zum Gegenstand, über die möglichst allgemeingültige Aussagen gemacht werden sollen. Die induktive Methode erfordert, daß über die Individuen Beobachtungen angestellt und über diese dann verallgemeinert wird. Die gesamte Population kann man aber nicht untersuchen,
Man muß folglich die Untersuchung auf eine Teilmenge der Population beschränken und die Ergebnisse dieser Untersuchung dann auf die gesamte Population verallgemeinern. Eine zu solchem Zweck gebildete Teilmenge ist eine Stichprobe (engl. sample).
Eine Stichprobe soll die Population repräsentieren. D.h. das, was für die Stichprobe gilt, soll in gleicher Weise für die gesamte Population gelten. Hierüber gibt es natürlich keine vollständige Sicherheit, da Elemente der Population, die nicht in der Stichprobe sind, mit einer gewissen Wahrscheinlichkeit von den innerhalb der Stichprobe geltenden Verhältnissen abweichen. Diese Wahrscheinlichkeit will man durch Entnahme einer guten Stichprobe klein halten. Die Güte einer Stichprobe bemißt sich nach ihrer Reliabilität, also nach der Wahrscheinlichkeit, mit der eine andere Stichprobe derselben Population dieselben Verhältnisse aufweist. Hierfür sind zwei Eigenschaften der Stichprobe ausschlaggebend:
Ad 1: Die Reliabilität einer Stichprobe wächst trivialerweise ceteris paribus mit ihrer Größe. Die Statistik geht wie folgt vor: Vorgegeben ist ein gewünschter Grad an Sicherheit, d.h. eine gewisse Wahrscheinlichkeit, mit welcher die Verhältnisse in der Stichprobe den Verhältnissen in der Population entsprechen. Dann wird errechnet, wie groß die Stichprobe sein muß, um den gewünschten Grad an Wahrscheinlichkeit zu erzielen.
Ad 2: Eine Stichprobe ist repräsentativ gdw jedes Element der Population dieselbe Chance hat, in der Stichprobe vorzukommen. Das gewährleistet man am klarsten dadurch, daß man eine Zufallsstichprobe entnimmt. Dazu entwickelt man ein stochastisches Verfahren, das aus der Population eine Stichprobe der gewünschten Größe auswählt. Angenommen z.B., die Elemente der Population sind numeriert und wir brauchen eine Stichprobe der Größe N. Dann läßt man einen Zufallszahlengenerator eine Menge von N Zahlen in dem betreffenden Intervall generieren und nimmt die so identifizierten Elemente in die Stichprobe auf. Will man die Bürger einer Stadt untersuchen, so kann man den ersten Eintrag jeder Seite des Adressbuchs in die Stichprobe aufnehmen (unter der Annahme, daß jeder Bürger dieselbe Chance hat, im Adressbuch zu erscheinen [für das Telefonbuch würde das sicher nicht gelten]).
Hat man Interesse an statistischen Aussagen, so muß man die Stichprobe in eine Menge gleichgroßer Teilmengen unterteilen. Untersucht man z.B. ein Textkorpus, so entnimmt man nicht eine Stichprobe von 100.000 laufenden Wörtern, sondern man entnimmt z.B. 5 Proben à 20.000 laufende Wörter. Dann kann man gewisse statistische Werte wie Standardabweichung, Standardfehler usw. berechnen.
Eine Zufallsstichprobe ist nicht immer einfach zu bekommen; aber es gibt Ersatz. Angenommen, die Verteilung bestimmter Merkmale in der Population ist bekannt. Sei die zu untersuchende Population z.B. die Menge der deutschen Staatsbürger. Dann ist bereits bekannt, wie viel Prozent davon Frauen sind, wie viel Prozent unter 50 Jahren alt, wie viele ein Hochschulstudium abgeschlossen haben und anderes mehr. Dann kann man gezielt eine Stichprobe zusammenstellen, die in bezug auf diese Merkmale dieselben Proportionen aufweist. Dies ist eine gewichtete Stichprobe. Freilich muß man sich überlegen, ob man auch für andere, nicht so gewichtete Merkmale Repräsentativität benötigt. Z.B. macht es einen Unterschied, ob man diese gewichtete Stichprobe der deutschen Bundesbürger ausschließlich mit Erfurter Bürgern bestückt oder ob Bürger der ganzen Republik – innerhalb der gebildeten Gruppen – repräsentiert sein sollen. Will man das, so muß man innerhalb jeder der Gruppen wieder eine Zufallsstichprobe ziehen.
Oft ist all dies zu aufwendig. Dann stellt der Forscher eine Stichprobe nach Gusto zusammen. Benötigt er z.B. für eine bestimmte Fragestellung eine Stichprobe der Städte Italiens, so nimmt er diejenigen, über die Bücher in seinem Regal stehen. Eine solche Stichprobe ist eine Konvenienzstichprobe oder willkürliche Stichprobe. Sie ist mit Sicherheit nicht repräsentativ, sondern unausgewogen (engl. biased), denn es waren zweifellos bestimmte Eigenschaften der Städte, die dazu geführt haben, daß es überhaupt ein Buch über sie gibt und daß dieses Buch in das Regal des Forschers gelangte. Die Untersuchung einer solchen Stichprobe wird also Ergebnisse liefern über solche Mitglieder der Population, welche eben diese Eigenschaften aufweisen; und das kann dem Erkenntnisinteresse durchaus zuwiderlaufen. Auf Konvenienzstichproben kann man also keine statistischen Aussagen gründen.