Question

Porque os sistemas de memória em um computador são organizados de forma hierárquica, o que seria esse conceito?

Answer 1

Dois fatores principais determinam a hierarquização dos sistemas de memória. Existem outros fatores que explico depois. Os principais são esses

Velocidade
Custo

De um modo geral, quando mais veloz a memória, mais cara. 
Quanto mais barata a memória, mais lenta.

A memória mais rápida que existe em computadores convencionais é a memória RAM. Ela é rapidíssima. 
Em outubro de 2017, velocidades de RAM chegam a 60.000 megabytes por segundo

Em 2000 (dezessete anos atras), um gigabyte de RAM custava mais de 1000 dólares. Hoje, um gigabyte de RAM custa US$ 4,50
Baixou um bocado

Hoje em dia um hd de 4 terabytes = 4 * 1024 gigabytes custa 130 dólares o que dá um custo por gigabyte de menos de 4 centavos por gigabyte, ou seja, memória RAM custa algo em torno de 100 a 150 vezes mais caro que memória de HD. Isso hoje em dia !! 2017. Há poucos anos atras a diferença era tão grande que era inviável ter discos SSD de tão caro que eles eram, sendo aplicados apenas em situações muito específicas. Hoje SSD são vendidos em lojas. Mesmo assim, pelo preço de um SSD você compra um HD normal com muito mais capacidade (porém, muito mais lento). Lembro que SSD é um dispositivo que fica entre a RAM e um HD convencional em termos de preço e em termos de performance.

Por exemplo, o sistema que calcula o imposto de renda no Brasil. Cerca de 30 milhões de pessoas precisam declarar e ter suas declarações processadas.

Suponha que cada declaração ocupe 10 megabytes (nem é isso mas faz de conta).

30 milhões * 10 megabytes = 300 milhões de megabytes = ... algo perto de 300 giga. Nem parece muito né ? 

Para um computador processar tudo isso ele vai pegar uma declaração por vez e processar. 10 mega de ram é suficiente. Vamos imaginar que o processamento da declaração gere 20 mega bytes de dados. Total 10 + 20 = 30megabytes. Pouco. Cabe em qualquer RAM de computador antigo.

Só que são 30 milhões delas e aí é preciso muito dado para armazenar essa informação. Aï é preciso o sistema de armazenamento que guarde os dados de uma forma mais barata, pode ser mais lenta.

Outros fatores que justificam o uso de memória hierárquica é a perenidade do dado.

Se o dado pode ser descartado rapidamente, ele pode ficar numa memória que não precisa de perenidade. Por exemplo, qual a programação da tv a cabo da semana que vem ? Isso só vai ser útil até a semana que vem, depois pode ser descartada (em tese). 

Já a sua certidão de nascimento (sim .. é um dado) deve ser guardada por toda a sua vida.

A programação da tv pode ser guardada numa foto do snapchat !
A sua certidão de nascimento deve ser guardada no meio mais resistente ao tempo. Que por incrível que pareça ainda é o papel. Isso mesmo. Papel de mais de 3000 mil anos ainda contém dados. Hd's com pouco mais de 5 anos já apresentam perda de dados.

Então a ideia é ir movendo os dados da memória mais cara e rápida e volátil para a memória mais lenta e mais perene a medida que os dados vão se tornando menos úteis no momento. 
No sentido contrário, os dados são movidos/copiados das memórias mais lentas, mais baratas e mais perenes para as memórias mais rápidas a medida que eles vão sendo mais requisitados.