На закате IV века, когда император Константин уже принял христианство (313 год) и была основана Византийская империя, Земля Израиля стала главным образом христианской страной. В святых для христианства местах в Иерусалиме, Вифлееме и Галилее были построены церкви, а в разных уголках страны открыли свои двери монастыри.

Евреи лишились своей относительной автономии и права занимать общественные должности. Им было запрещено посещать Иерусалим за исключением одного дня в году (Тиша бе-Ав, девятый день месяца Ава), когда разрешалось оплакать разрушение Храма.

614 году Земля Израиля была захвачена персами – не без помощи евреев, которые лелеяли в себе мессианские надежды на избавление. В качестве благодарности за оказанную помощь евреям было даровано право управления Иерусалимом. Эта передышка длилась около трех лет, после чего византийская армия вновь овладела городом (629год) и изгнала из него еврейских жителей.

Арабы пришли в Эрец Исраэль через четыре года после смерти пророка Мухаммеда (632 год) и господствовали на этой земле более четырех веков. В начале калифы правили ею из Дамаска, а затем–из Багдада и Египта. На заре их правления евреи вновь поселились в Иерусалиме еврейской общине был дарован принятый тогда статус "зимми" (немусульманское население, находящееся под защитой). Жизнь, имущество и религиозные свободы еврейского населения были защищены в обмен на уплату подушной подати и налога на землю.

Однако, впоследствии на немусульман были наложены разного рода ограничения (717 год), которые повлияли на положение евреев в обществе, соблюдение ими религиозных обрядов и их юридический статус. Были введены не посильные налоги на сельскохозяйственные угодья, вынудившие сельских жителей перебраться город. Жизнь их при этом вряд ли улучшилась, зато сильно возросла социальная и экономическая дискриминация, которая заставила немалую часть населения покинуть свою родину навсегда. К концу 11-го столетия еврейская община на Земле Израиля резко уменьшилась и потеряла свою былую организационную и религиозную сплоченность.

На протяжении следующих двухстолетий стране правили крестоносцы. Они прибыли из Европы на Святую землю по призыву Папы римского Урбана II, дабы очистить ее от неверных. В июле 1099 года после пятинедельной осады рыцари Первого крестового похода со своей разношерстной армией наконец захватили Иерусалим, перебив при этом большинство его нехристианских жителей. Евреи забаррикадировались в синагоге, пытаясь защитить свой квартал, но им было суждено сгореть заживо или стать рабами. В течение следующих десятилетий крестоносцы постепенно распространили свою власть на всю территорию страны. 

Частично это было достигнуто путем заключения соглашений и договоров, но главным образом – с помощью военных побед в кровавых сражениях. Латинское королевство крестоносцев, созданное завоевателями, которые представляли меньшинство населения, существовало главным образом в укрепленных городах и замках.

Когда крестоносцы проложили транспортные пути из Европы на Святую землю, сюда потянулись паломники все больше евреев стали возвращаться в родные края. В дошедших до нас документах этого периода говорится о прибытии 300 раввинов из Франции и Англии. Некоторые из них обосновались в Акре (Акко), а некоторые – в Иерусалиме.

Когда армия мусульман под предводительством Саладина сбросила крестоносцев (1187год), евреи вновь получили некоторую свободу, включая и право жить в Иерусалиме. Хотя после смерти Саладина (1193 год) крестоносцы вновь овладели небольшим плацдармом на территории Эрец Исраэль, их власть распространялась лишь на небольшое число укрепленных замков.

Крестоносцы были окончательно изгнаны со Святой земли мамлюками (1291 год) – воинами-мусульманами, захватившими власть в Египте.