O Reino de Judá, formado pelas tribos de Benjamim e Judá, foi controlado por Roboão, filho do rei Salomão. As dez tribos restantes formaram o Reino de Israel, dominado por Jeroboão, com capital em Samaria. Dessa maneira, a civilização hebraica se dividiu entre judeus e israelitas.
Após a morte de Salomão, seu filho Roboão assumiu o trono, mas devido ao descontentamento em relação aos impostos, as 10 tribos do Norte separam-se e proclamaram Jeroboão como seu rei. Israel foi dividido entre o Reino de Israel (ao Norte com capital em Siquém) e o Reino de Judá (ao sul com capital em Jerusalém).
De acordo com o Antigo Testamento, Manassés, rei de Judá, teria feito o que é mau aos olhos de Deus, e por causa de suas obras, todo o Reino de Judá estava condenado ao exílio e à escravidão.
Para os árabes, Jerusalém é al-Quds ("A Sagrada"). Foi chamada de Jebus (Yevus) pelos jebusitas. "Tzion" inicialmente se referiu a parte da cidade, mas depois passou a significar a cidade como um todo. Durante o reinado de David, ficou conhecida como Yir David (a cidade de David).
Com a derrota da Grande Revolta Judaica contra o domínio romano, em 70, Jerusalém foi tomada pelas forças do comandante romano, Tito. Outra vez, as muralhas e o Templo de Jerusalém (que o rei Herodes, o Grande, ampliara e embelezara, tornando-o portentoso) foram destruídos, e o resto da cidade voltou a ficar em ruínas.
Cercado durante alguns meses, Nabucodonosor II resolveu apoderar-se de Jerusalém pela terceira vez, dando origem à terceira e última deportação de judeus para a Babilónia (586).
Após um período de estabilidade, com a construção de um Templo Sagrado pelo rei Salomão (filho de Davi), Jerusalém foi invadida pelo Império Assírio em 722 a.C e parte do povo judeu foi tomado como escravo nas cidades da região da Mesopotâmia — que atualmente compreende parte do Iraque.
Neemias reconstruiu as muralhas da cidade desde a Porta das Ovelhas, a norte, passando pela Torre de Hananel, no canto noroeste, a Porta dos Peixes, a oeste, a Torre das Fornalhas, no canto sudoeste do Monte do Templo, o Portão do Estrume, no sul, até a Porta Leste e o portão além da Ponte Dourada, a leste.
Ao estabelecer-se na terra prometida, ele trabalhou pela reconstrução do Templo de Jerusalém, completando a obra em torno do ano 515 a.C., com muita persistência, tendo enfrentado uma interrupção das atividades durante um período de dezesseis anos, aproximadamente de 536 a 520 a.C.
Antes de desaparecer, ela era guardada no templo de Jerusalém, erguido no reinado de Salomão. No ano de 642 a.C., para proteger a arca de uma possível invasão ao templo, o rei Josias teria mandado escondê-la. Depois disso, a Bíblia não faz mais referências sobre o paradeiro do baú sagrado. Aí começam as especulações.