Probabilidade
O estudo da probabilidade tem sua ligação inicial aos jogos de azar. Esses jogos possuem duas características comuns: a primeira é a incerteza de acontecer determinado evento e a segunda é a regularidade em longo prazo, que permite prever o número de vezes que ocorrerá determinado evento em uma série de tentativas.

No campo da ciência experimental existe um tipo semelhante de incerteza e regularidade em longo prazo. Assim é incerto se o próximo nascimento dentro de um hospital será uma criança do sexo feminino ou do sexo masculino, mas existe uma regularidade para prever para um grande número de nascimentos a porcentagem de meninos e meninas (50% meninos e 50% meninas).

Fenômenos como o acima mencionado, nos quais não é possível prever com exatidão o resultado das manifestações individuais, recebem o nome de fenômenos casuais. Embora não seja possível definir o termo “acaso”, o que importa na individualização dos fenômenos casuais é o caráter errático das flutuações encontradas em seqüências de resultados obtidos essencialmente sob as mesmas condições e, conseqüentemente, a impossibilidade de predição exata de suas manifestações individuais.

Lei dos grandes números
“Quando um experimento se repete um grande número de vezes, a probabilidade (na definição pela freqüência relativa) de um evento tende para a probabilidade teórica”.

A lei afirma que a aproximação pela freqüência relativa tende a melhorar quando o número de observações aumenta Essa lei reflete uma noção bastante simples apoiada pelo senso comum: Uma estimativa probabilística baseada apenas em umas poucas observações pode apresentar grande divergência, mas com um número crescente de observações a estimativa tende a ser cada vez com menor erro (precisão). Por exemplo, se fizermos uma pesquisa se fizermos uma pesquisa sobre a população de um estado brasileiro e observamos apenas alguns cidadãos (amostra), os resultados podem conter grande erro, porém se analisarmos várias pessoas em várias cidades diferentes dentro deste estado (selecionados ao acaso), os resultados das amostras estarão muito próximos dos verdadeiros valores da população e quanto maior a amostra (maior número de pessoas entrevistadas) maior será esta aproximação.