O terceiro e último item definido na arquitetura de Von Neumann é a memória do computador, elemento responsável por armazenar os dados dos programas e o resultado do processamento dos dados. A memória computacional é classificada em quatro diferentes categorias, que se relacionam diretamente a velocidade de acesso e custo de armazenamento. Normalmente, quanto mais veloz é o acesso à memória, maior o custo associado. A pirâmide hierárquica da memória computacional é exibida na figura abaixo.

A memória secundária, é um meio de armazenamento permanente, ou seja, os dados armazenados são mantidos ainda que o computador não esteja mais energizado. O segundo tipo de memória, classificado como principal, tem como atribuição armazenar os dados dos programas em execução.Saiba+ O próximo nível na hierarquia é ocupado pela memória cache, que é segunda memória mais rápida em velocidade de acesso, só ficando atrás dos registradores. Normalmente, a memória cache é utilizada para armazenar parte do conteúdo da memória principal que está sendo executado naquele momento pelo processador. Saiba+

O topo da pirâmide de hierarquia de memória é ocupado pelos registradores, elementos que têm capacidade de armazenamento extremamente baixa mas que possuem altíssima velocidade de acesso aos dados armazenados. Como já exibido no estudo da CPU, os registradores são parte da Unidade Central de Processamento e têm a função de permitir acesso rápido da ULA a informações durante a execução de uma tarefa pelo processador. O espaço disponível em cada registrador é de poucos bits, a depender do tipo do processador.