Question

como o sistema operacional pode proteger a área de memória dos processos em execução.

Answer 1

Através do uso de memória protegida para os processos de usuário.

A ideia aí é que o sistema operacional irá alocar memória de forma distinta de acordo com o privilégio do processo. Processos de sistema tem privilégios de acesso mais amplo. Já os processos de usuários sao restritos a acessar apenas as memórias que lhes cabem. Quando um processo de usuário acessa uma área de memória que não lhe pertence acontece uma "memory protection exception"

Alguns computadores implementam isso por hardware, facilitando o trabalho do sistema operacional, que apenas vai monitorar. Em arquiteturas mais antigas isso era feito a "mão", digamos assim, e dava bronca de vez em sempre :)