Una de las principales formas como los humanos aprenden es repetir experimentos y observar los resultados. Los bebés aprenden que si dejan caer su vaso, este golpea el piso y hace un ruido fuerte, al repetir esta acción una y otra vez. Los científicos aprenden sobre la naturaleza al observar los resultados de experimentos que repiten muchas veces. Con suficiente información sobre los resultados de los experimentos, podemos empezar a predecir qué puede pasar si el experimento se repite en el futuro. Por ejemplo, si un jugador de béisbol ha logrado un hit 33 de 100 veces al batear, entonces también se puede esperar que logre un hit el 33% de las veces que batee en el futuro.
En algunos casos podemos predecir las posibilidades de que algo ocurra con base en nuestro conocimiento de la situación. Por ejemplo, una moneda debería caer en cara aproximadamente el 50% de las veces que se lance debido a la simetría de la moneda.
En otros casos, hay demasiadas variables desconocidas como para predecir las posibilidades de que algo ocurra. Por ejemplo, la posibilidad de que mañana llueva se basa en condiciones climáticas que hemos observado en el pasado. En estas situaciones, podemos experimentar y usar resultados del pasado para estimar las posibilidades de que algo ocurra.