Ordet statistik kan dels avse datauppgifter som ofta presenteras i numerisk form, vanligen i tabeller eller diagramen, dels vetenskapen om hur dessa datauppgifter skall samlas in, utvärderas, analyseras och presenteras. Som vetenskap är statistiken en del av den tillämpade matematik. I arbetet används också element från kognition, psykologi, data och systemvetenskap, numeriska beräkningar samt bidrag från andra ämnen som befattar sig med matematik, data och datorintensiva metoder.
För utvecklandet av den statistiska teorin spelar sannolikhetsteorin en central roll. Denna är den teoretiska grunden för statistiken och statistiska mått. Skillnaden mellan statistik och sannolikhetsteori är att medan sannonlikhetsteorin behandlar sannolikheter för utfall av slumpförsök där försöken kan upprepas och de yttre omständigheterna kontrolleras medan man inom statistiken behandlar datamaterial från experiment och observationsstudier, där försöken inte kan upprepas eller de yttre omständigheterna inte kontrolleras.
Inom statistiken är man därför speciellt intresserade av stickprov ur populationer, och hur man från dessa stickprov kan beskriva eller dra slutsatser om populationens beskaffenhet. Stickprovsteori är följaktligen statistikerns viktigaste arbetsredskap och det enda arbetsredskap som tillåter korrekta sannolikhetsbaserade uttalanden om en större population utifrån ett stickprov. Utvecklingen inom stickprovsteorin har dock på senare år dominerats av forskning där bevisföringen baseras på antaganden som mycket enkelt kan bevisas vara felaktiga och ge grovt missvisande resultat.