Conforme vamos descendo pela hierarquia da memória, há também uma diminuição do custo por bit, isto é, a capacidade de memória vai aumentando, mas o tempo de acesso torna-se mais lento. Em virtude disso, você há de convir que o ideal é a utilização de apenas memórias mais rápidas; contudo, estas memórias são muito caras. Sendo assim, para manter um equilíbrio entre custo e o benefício, o tempo de acesso sofre diminuição em favor do custo mais baixo, e por consequência, utilizando memórias que são mais lentas.

Fica evidente que diante desta situação criaram-se artifícios para facilitar e aumentar a performance. Uma das ideias foi organizar os dados e também os programas na memória de tal forma que as palavras de memória mais requisitadas sejam localizadas e encontradas de forma mais rápida.

Geralmente, os acessos futuros à memória principal pelo processador sejam posições recentemente usadas na memória. Sendo assim, a memória cache mantém uma cópia das palavras da memória usadas recentemente. Isto agiliza o processo, pois as palavras que serão requisitadas pelo processador provavelmente estarão armazenadas na memória cache.