Когда на смену селевкидам пришли римляне, они предоставили хасмонейскому царю Гиркану II ограниченную власть, заставив его подчиняться римскому губернатору в Дамаске. Евреи были враждебно настроены к новому режиму и нередко бунтовали против него. Последняя попытка восстановить былое величие династии Хасмонеев, предпринятая Маттатиягу Антигоном, завершилась провалом и положила конец хасмонейскому правлению (40 год до нашей эры). Эрец Исраэль стала еще одной провинцией могущественной Римской империи.

В 37 году до нашей эры римляне назначили царем Иудеи зятя Гиркана II. Звали его Иродом. Облеченный практически неограниченной властью во всех внутренних делах своей страны, он стал одним из самых могущественных монархов в восточной части Римской империи. Ирод, страстный поклонник греко-римской культуры, активно занялся строительством. При нем были возведены города Кейсария и Себастия, крепости Иродион и Массада. Он перестроил Храм, превратив его в одно из великолепнейших зданий своего времени. Но несмотря на все свои достижения, Ироду так и не удалось завоевать доверие и поддержку своих еврейских подданных.

Через десять лет после смерти Ирода (4 год до нашей эры) Иудея стала напрямую управляться римской администрацией. Растущий гнев и возмущение против постоянно увеличивающихся притеснений евреев со стороны римлян то и дело выливались в бунты. В 66 году они переросли в полномасштабное восстание.Отборные римские войска под предводительством Тита в конечном итоге одержали победу, сравняли Иерусалим с землей (70 год) и покорили последний оплот евреев – крепость Массада (73 год).

Полное уничтожение Иерусалима и разрушение Второго храма обернулись подлинной катастрофой для еврейского народа. Как писал историк того времени Иосиф Флавий, сотни тысяч евреев погибли при осаде Иерусалима и в других уголках страны, а еще тысячи были угнаны в рабство. После восстания под предводительством Шимона Бар Кохбы (132 год), которому удалось вернуть Иерусалим и Иудею, наступил недолгий период еврейского народовластия. Но власть римлян в те времена была столь могущественна, что печальный исход был неизбежен. Тремя годами спустя Иерусалим был вновь "вспахан волами" в полном соответствии с римской традицией, Иудея была переименована в Палестину, а Иерусалим – в Элию Капитолину.

Хотя Храм был уничтожен, а Иерусалим стерт с лица земли, евреи выжили в этой битве с Римом. В городе Явне (70 год), а затем в Тверии возобновились заседания Синедриона (преемник Великого собора) – верховного органа юридической и судебной власти.

Крошечная еврейская община, оставшаяся без своего государства и без Храма, тем не менее продолжала жить и даже увеличивалась благодаря возвращавшимся домой изгнанникам. Была восстановлена общественная жизнь, вновь заработали учреждения, на смену священникам пришли раввины. Синагоги стали центром жизни еврейской общины, чем свидетельствуют руины синагог, найденных в Капернауме, Коразине, Бараме, Гамле и других уголках Эрец Исраэль. Галаха (свод еврейских религиозных законов) послужила своего рода мостиком, связавшим евреев воедино и передаваемым из поколения в поколение.