Rzymianie, którzy zastąpili Seleucydów w roli regionalnej potęgi, pozostawili w rękach machabejskiego króla Hirkana II ograniczoną władzę, podporządkowując go jednak rzymskiemu gubernatorowi w Damaszku. Żydzi byli do nowych władz nastawieni wrogo i w kolejnych latach miały miejsce liczne bunty. Ostatnią próbę przywrócenia rodzimej dynastii dawnej potęgi podjął Antygon, którego klęska i śmierć z rąk Rzymian w 40 roku p.n.e. oznaczała koniec rządów Machabeuszy. Ziemia Izraela stała się jedną z prowincji Imperium Rzymskiego.
W 37 roku p.n.e. Herod, zięć Hirkana II, został mianowany przez Rzymian królem Judei. Dzięki przyznaniu niemal pełnej autonomii w sprawach wewnętrznych stał się jednym z najpotężniejszych władców we wschodniej części Imperium Rzymskiego. Herod, wielbiciel kultury grecko-rzymskiej, rozpoczął wielkie prace budowlane: założył miasta Cezarea i Sebaste (dzisiejszy Nablus), zbudował fortece Herodion i Masada. Przebudował także Świątynię, tak że stała się jedną z najwspanialszych budowli swego czasu. Pomimo wielu osiągnięć Herodowi nie udało się zdobyć zaufania i poparcia swoich poddanych.
Herod Wielki zmarł w 4 roku p.n.e.; dziesięć lat później Judea znalazła się pod bezpośrednią władzą Rzymu. Rosnące niezadowolenie z powodu wzrastającej rzymskiej opresji wywoływało co jakiś czas rozruchy, które w 66 roku n.e. przerodziły się w powstanie. Przeważające siły rzymskie pod wodzą Tytusa w końcu zatriumfowały, w 70 roku n.e. zrównując z ziemią Jerozolimę, zaś w 73 roku n.e. zdobywając ostatni punkt oporu Żydów – Masadę.
Całkowite zniszczenie Jerozolimy, wraz z Drugą Świątynią, było dla Żydów katastrofą. Według ówczesnego historyka Józefa Flawiusza, setki tysięcy Żydów straciły życie podczas oblężenia Jerozolimy i w innych miastach, tysiące sprzedano w niewolę.
Ostatni, krótki okres żydowskiej niezależności, związany jest z powstaniem pod wodzą Szymona Bar Kochby w 132 roku n.e., podczas którego Żydzi zdobyli Jerozolimę i Judeę. Przygniatająca przewaga Rzymian sprawiała jednak, że wynik tego starcia mógł być tylko jeden. Trzy lata później, zgodnie z rzymskim zwyczajem wojennym Wzgórze Świątynne zostało zaorane, Judea przemianowana na Palestynę, a Jerozolima – na Aelia Capitolina.
Choć Świątynia została zburzona, a Jerozolima spalona do cna, Żydzi i judaizm przetrwali konfrontację z Rzymem. Sanhedryn, najwyższa władza sądownicza i legislacyjna (kontynuacja Wielkiego Zgromadzenia), w 70 roku n.e. zebrał się ponownie w Jawne, a później w Tyberiadzie. Naród żydowski, pozbawiony jednoczącego wpływu państwa i Świątyni, podnosił się jednak stopniowo, zasilany od czasu do czasu powracającymi uchodźcami. Życie społeczne i instytucjonalne odradzało się, kapłanów zastąpili rabini, a nowymi centrami żydowskich społeczności stały się synagogi, o czym świadczyć mogą ich ruiny między innymi w Kafarnaum, Korozain, Bar’am czy Gamli. Elementem spajającym wszystkich Żydów była Halacha, przekazywany z pokolenia na pokolenie zbiór żydowskich praw religijnych.