Les estimateurs statistiques permettent de caractériser la distribution d'une population de données ou d'une partie de cette population, notée {x1,...,xn,}. Les estimateurs statistiques étant déterminés à partir d'une série de réalisations d'une variable aléatoire, ils constituent également des variables aléatoires, dont on peut spécifier les lois de probabilité.
La moyenne arithmétique est l'estimateur convergent de l'espérance mathématique de X :
mX suit une loi de distribution de moyenne E(X) et de variance V(X)/n.
La moyenne quadratique des écarts à la moyenne est l'estimateur convergent de la variance de X :
La moyenne et la variance de la distribution de sX2 sont respectivement données par :
Un estimateur sans biais de la variance de X est alors n sX2/(n-1). Il convient de noter que mX et sX2 sont deux variables indépendantes.
La covariance entre deux séries d'observations {x1,..,xn} et {y1,..,yn} peut être estimée par :