·                 La hiérarchie spatiale (Spatial Scalability) signifie le partage du flux MPEG en plusieurs couches ayant différentes résolutions spatiales. De ce fait, c'est l'unique méthode qui permet la compatibilité de MPEG-2 avec les standards existants tel que MPEG-1 et H261. A l'entrée du codeur, l'image originale subit une décimation spatiale donnant lieu à une image de moindre résolution, qui est codée pour donner la couche de base. Le flux de la couche de base est ensuite décodé et une interpolation spatiale permet d'avoir des images de même taille que le signal original. La différence entre les deux images (celle d'origine et celle de la couche de base restituée) est de nouveau codée pour donner lieu à la couche d'amélioration.

·                 La hiérarchie temporelle (Temporal Scalability) signifie le partage du flux MPEG en plusieurs sous flux ayant chacun une fréquence d'image (en nombre d'images par seconde) inférieur au flux original. Par exemple, un signal vidéo à 50 images par seconde est divisé en deux signaux de 25 images par seconde chacun correspondant à une image sur deux du flux original.

·                 Partitionnement des données (Data Partitionning) consiste à séparer les 64 coefficients d'un bloc, à la sortie de la transformation DCT, en deux ou plusieurs couches ayants différentes priorités dans le réseau. Le partitionnement peut se faire en un nombre arbitraire de couches.

La notion de hiérarchie présente un avantage particulièrement crucial pour le marché de la vidéo numérique, qui est la compatibilité des produits MPEG. En effet, elle permet d'assurer une compatibilité ascendante, qui signifie qu'un décodeur correspondant à un nouveau standard est capable de décoder des trains binaires produits par les anciens standards, ainsi qu'une compatibilité descendante permettant à un décodeur d'anciens standards de décoder une partie du flux vidéo du nouveau standard. Par exemple, cela peut servir à assurer la compatibilité des flux HDTV (c’est à dire pour la télé à haute définition) avec les décodeurs de la télévision standard.