Král David ustanovil Jeruzalém hlavním městem svého království a náboženským centrem židovského národa v roce 1003 př.obč.l. O nějakých 40 let později jeho syn Šalamoun nechal zbudovat Chrám a transformoval Jeruzalém v prosperující hlavní město impéria, které se rozk celého království.
Za vlády krále Chizkijáše byl Jeruzalém (tehdy již značně větší) roku 701 př. n. l. obležen asyrským vojskem. Obléhání však Jeruzalém přestál (na rozdíl od severoizraelského Samaří, které bylo 722 př. n. l. dobyto), mimo jiné díky Šiloašskému tunelu, který přiváděl vodu z pramene Gichon nacházejícího se mimo město, do nádrže Siloam uvnitř hradeb. V roce 598 př. n. l. však byl Jeruzalém dobyt babylonským vojskem. Po pokusu o vzpouru proti babylonské nadvládě bylo město roku 586 př. n. l. dobyto znovu – babylonský král Nebukadnesar II. zničil jeruzalémský Chrám a velkou část obyvatelstva odvedl do zajetí.
Období Druhého Chrámu
Poté, co Babylonii ovládli Peršané a Kýros II. povolil návrat zajatců a vyhlásil náboženskou svobodu (593 př. n. l.), byl Jeruzalém znovu vybudován jako hlavní město judské provincie. Záhy byl obnoven i Chrám, který byl tentokrát poměrně skromný. Roku 332 př. n. l. zemi obsadil Alexandr Veliký, Jeruzalém však nebyl dotčen. Začalo období helenizace, izraelská země byla zprvu pod vládou Ptolemaiovců, od roku 198 př. n. l. pak pod vládou Seleukovců. Vyšší židovské vrstvy ochotně přijímaly řecké zvyklosti. To se však nakonec proti židům obrátilo, když Antiochos IV. Epifanés vyhlásil v celé říši jediný kult a v jeruzalémském Chrámu byla na místě oltáře postavena socha Dia Olympského. Následně roku 167 př. n. l. vypuklo Makabejské povstání, které Judeu zbavilo cizí nadvlády – vlády se ujali Hasmonejci.
Vláda Hasmonejců trvala do roku 63 př. n. l., kdy Jeruzalém dobyli Římané. Roku 37 př. n. l. byl Římem jmenován judským tetrarchou Herodes Veliký, který město rozšířil a podstatně zkrášlil – nechal přebudovat Chrám, mnohé ulice nechal vydláždit mramorem, nechal postavit pevnost Antonia. Po jeho smrti roku 4 př. n. l. Judeu spravovali římští prefekti a prokurátoři, kteří s postupem času stále necitlivěji zasahovali do záležitostí Židů a uvrhovali zemi do chaosu.
Roku 66 nakonec vypuklo protiřímské povstání – začala První židovská válka. Roku 69 Římané oblehli Jeruzalém, a když byl roku 70 téměř vyhladověn, dobyli jej. Chrám vypálili a celé město zcela srovnali se zemí. Z Chrámu zbyla jen západní zeď – Zeď nářků.
Římská nadvláda
Jeruzalém zůstal v troskách až do vlády císaře Hadriána, který jej znovu vybudoval jako římské město, pojmenované Colonia Aelia Capitolina (135), a zakázal židům do něj vstupovat. Zákaz však nebyl striktně dodržován – ještě v tom samém století v Jeruzalémě vznikla židovská osada.
Císař Constantinus I. se snažil přeměnit Jeruzalém v křesťanské město, obnovil tedy Hadriánův zákaz. Mírně však slevil, když dovolil židům vstup do města na jediný den v roce – ve výroční den zboření Chrámu (Tiš'a be-av). Matka Konstantina Velikého, Helena, podle legendy navštívila Jeruzalém, kde nalezla zbytky kříže, na kterém byl ukřižován Ježíš. Určila místo ukřižování a na tomto místě byla vybudována bazilika Svatého hrobu (někdy označován jako „Boží hrob“).
Muslimské a křižácké období
Roku 638 byl Jeruzalém ovládaný dosud Byzantinci bez boje dobyt muslimskými vojsky chalífy Umara II., kteří rychle povolili židům návrat do Jeruzaléma. Na Chrámové hoře byl postaven Skalní dóm a mešita al-Aksá. Jeruzalém poté na dalších 400 let náležel muslimským Umajjovcům a posléze Fátimovcům. V 11. století na Blízký východ vpadli Turci, kteří roku 1071 dobyli Jeruzalém, ale již roku 1097 jej Fátimovci od Turků, oslabených postupem první křížové výpravy v Sýrii, dobyli nazpět. O dva roky později byl Jeruzalém obležen a dobyt evropskými křižáky, kteří většinu jeho obyvatelstva povraždili.
Město se stalo centrem křižáckého Jeruzalémského království na dalších 88 let. Po porážce křižáků v bitvě u Hattínu roku 1187 se blíže k Jeruzalému dostal Saladin, po krátkém obléhání si město podmanil a vrátil pod muslimskou nadvládu. Roku 1192 uzavřel Saladin s křižáky dohodu z Ramly, která zajišťovala volný přístup křesťanským poutníkům do města.
S návratem muslimské vlády nad městem se do Jeruzaléma vrátili i židé. Ve 13. století se pak nadvláda nad městem střídala, nakonec však křižáci byli po pádu Akkonu, poslední křižácké výspy, roku 1291 definitivně vyhnáni.
Období Osmanské říše
Roku 1517 padl Jeruzalém do rukou Osmanské říše a město vkročilo do období rozkvětu. Sultán Sulejman I. vybudoval dodnes dochované jeruzalémské hradby, obnovil tvrz a Davidovu věž. Koncem 16. století však zeslábla moc centrální vlády Osmanské říše, jednotlivé skupiny mezi sebou často bojovaly, což vedlo k pustnutí celé Palestiny. To se přirozeně odrazilo i v Jeruzalémě, kde se velké části uprostřed města vylidnily.
Na počátku 19. století čítalo obyvatelstvo Jeruzaléma asi 9 000 lidí (zhruba 4 tisíce muslimů, 3 tisíce křesťanů a 2 tisíce židů). Veškerá populace žila doposud uvnitř hradeb Starého Města, jež tvořily čtyři čtvrti: muslimská, křesťanská, židovská a arménská. I přes mírnou imigraci židů z východní Evropy však město stále stagnovalo.
Britská vláda
V 1. světové válce připadl Jeruzalém 10. prosince 1917 Britům. Následujícího dne do města vstoupil vojenský velitel Edmund Allenby. Postavení města s příchodem Britů stouplo a stalo se významným centrem. Se založením Britského mandátu Palestina v roce 1920 bylo město místem sídla nejvyššího komisaře. Sionisté navíc ve městě postavili sídlo Národního institutu, ve které sídlila Židovská agentura a Židovská národní rada (Vaad Leumi). V roce 1925 byla na hoře Skopus otevřena Hebrejská univerzita. Byly také založeny nové čtvrti mimo hradby města – jak židovské, tak i arabské.