E fini, et possède une seule classe finale C.
Soit la loi de probabilité invariante portée par C (elle est unique), alors , : :
Avec et on parle de convergence presque sûre.