O primeiro uso do that e também o mais básico é quando that tem a função de demonstrar algo, nesse caso ele significa “aquele”, “aquela”. Nesse uso é importante notar que o that é usado para coisas que estão a uma certa distância do indivíduo, fora da sua área de alcance.
“Relative pronouns” correspondem aos pronomes relativos que ligam duas sentenças: a “relative clause” e a "main clause”, que podem ser traduzidos como oração principal e oração relativa. “Relative pronouns” são os pronomes em inglês que podem retomar algo já dito anteriormente, e também unir mais de uma oração.
Pronomes relativos em inglês ou relative pronouns são aquelas palavras responsáveis por interligar informações dentro de uma frase. Eles servem para fazermos referência a alguma coisa que já havíamos mencionado antes para que não seja preciso repeti-la.
Lembre - se: quando o pronome for relativo for seguido por um verbo, ele exerce a função de sujeito. Caso o pronome relativo for seguido por um substantivo ou pronome, ele exerce função de objeto.
As relative clauses (orações relativas) são sentenças que ligam ou relacionam informações sobre pessoas e objetos. ... Nesses casos, os pronomes relativos (relative pronouns) who (quem), whom (quem/para quem), whose (cujo/cuja), which (qual/quais) e that (aquele/aquilo) são usados na composição das frases.
Em resumo, which só pode ser utilizado para falar de coisas, who somente para falar de pessoas e that para falar de coisas e, em alguns casos, também de pessoas.
IMPORTANTE: who também exerce a função de pronome interrogativo e nesse caso, seu significado é quem. Confira a frase abaixo. Exemplo: ... O significado do pronome relativo whom pode ser que, quem, a quem, a qual, o qual, os quais, as quais, dependendo da frase.
Sendo assim, o que define quando usar which ou what é o seguinte: What: usado para perguntas gerais, onde quem pergunta não sugere nenhuma opção de resposta. Which: usado para perguntas mais específicas, onde quem pergunta limita a resposta do receptor da mensagem sugerindo opções.
Não precisa decorar isso, existe uma forma bem simples de não errar. Você pode omitir o that sempre que ele vier antes de pronomes (e.g. I, You, He, She, It, We, You, They). Confira aqui mais detalhes sobre os pronomes em inglês. Na linguagem falada e informal o that é quase sempre omitido.