波斯和古希腊时期 (公元前538-142年)
根据征服巴比伦帝国(公元前538年)的波斯王居鲁士的一项法令，大约有5万犹太人开始在大卫家族的后代索罗巴伯的带领下第一次返回以色列故土。不到一个世纪后，犹太律法师以斯拉领导了第二次返国。在此后的4个世纪中，犹太人在波斯人统治下(公元前538-333年)及后来古希腊人(托勒密王朝和塞琉古王朝)的王权统治下(公元332前-142年)实行过不同程度的自治。
犹太人在受神启示的以斯拉的领导下返回家园，在第一圣殿旧址上建造第二圣殿，加固耶路撒冷城墙以及设立大议会作为犹太人的最高宗教和法律机构，这些都标志着第二圣殿时期的开始。犹大国是在波斯帝国的范围内，由祭司和长老会在耶路撒冷领导的国家。
这片土地作为希腊亚历山大大帝公元前332年所征服的古代世界的一部分，仍然是在以叙利亚为基地的塞琉古统治者统治下的一个犹太神权国家。禁止犹太人信奉犹太教，亵渎他们的圣殿，以向全体人民强行推行希腊文化和习俗。犹太人为此揭竿而起(公元前166年)。
哈斯蒙尼王朝 (公元前142-63年)
犹太人先在祭司世家哈斯蒙尼家族的马塔提斯而后是其儿子犹大·马卡比的领导下进入了耶路撒冷，清洗了圣殿(公元前164年)，犹太人每年用“哈努卡节”（光明节）来纪念这些事件。
在哈斯蒙尼取得进一步的胜利后，塞琉古恢复了犹地亚——现在称作以色列故土的自治，然后，随着塞琉古王国的崩溃(公元前129年)，犹太人获得独立。哈斯蒙尼王朝持续了约80年，在该王朝的统治下，该王国重新获得了略小于所罗门王国的疆域，在犹太人统治下政治稳定，犹太人的生活充满生机。
罗马统治(公元前63年-公元313年)
当罗马人取代塞琉古人成为这一地区的大国时，他们给哈斯蒙尼国王赫凯纳斯二世有限的权力，把他置于罗马帝国的大马士革总督管辖之下。犹太人对新的政治怀有敌意，在随后的岁月中经常举行起义。马塔提斯·尼安蒂戈努斯作了最后一次努力来恢复哈斯蒙尼王朝昔日的荣耀，他的失败和逝世使哈斯蒙尼统治随之结束(公元前40年)，以色列故土也成了罗马帝国的一个省。
公元前37年，赫凯纳斯二世的女婿希律被罗马人任命为犹地亚国王。在国家的内部事务上，他几乎被赋予了无限的自治，从而成为罗马帝国东部最强大的君主之一。希律王是希腊-罗马文化的崇拜者，他制定了大规模的建筑计划，包括凯撒城和塞巴斯特城以及赫罗德和马塞达的要塞。他还重新设计了圣殿，使之成为那个时期最辉煌的建筑物之一。希律王尽管取得了许多成就，但却没有赢得犹太臣民的信任和支持。
在希律逝世(公元前4年)后10年，犹地亚被置于罗马人的直接管理之下。罗马变本加厉的压迫使犹太人义愤填膺，他们不时进行暴力反抗，并于公元66年全面起义。狄托率领人数占优势的罗马军队最终取胜，把耶路撒冷夷为平地(公元70年)，并摧毁了犹太人在马塞达的最后一个堡垒(公元73年)。
耶路撒冷和圣殿的彻底毁灭对于犹太民族来说是一场灾难。根据现代历史学家约瑟夫斯·弗莱维厄斯说，数十万犹太人在耶路撒冷城被围时及在该国的其他地方惨遭杀戮，更有成千上万人被卖为奴。
古代犹太人最后拥有主权的短暂时期是在西蒙·巴尔·科赫巴起义(公元132年)之后，在这次起义中，耶路撒冷和犹地亚被重新夺回。但由于罗马人的力量占压倒优势，其结果是不言而喻的。3年后，耶路撒冷根据罗马习俗被“一对公牛犁为耕地”，犹地亚更名为巴勒斯梯尼亚，耶路撒冷则更名为埃利亚卡皮托利纳。
尽管圣殿被毁，耶路撒冷被夷为平地，但犹太人和犹太教却在与罗马的较量中幸存下来。最高立法和司法机构古犹太教公会(前身为大议会)先在雅乌内(公元70年)后来在太巴列重新召开会议。在没有统一的国家机构和圣殿的情况下，残留的犹太人小社区逐渐恢复，并因流亡者不时返回而得到了加强。例行的公共生活也重新开始，拉比取代了祭司，犹太教会堂成为犹太人定居点的中心。在迦百农、科拉济、巴拉姆、加姆拉及其他地方发现的犹太教会堂遗物证明了这一点。哈拉卡(犹太教法典)成为犹太人共同遵守的法律并代代相传。
马塞达：近千名犹太男女和儿童在耶路撒冷被毁的灾难中幸存下来，他们占领了靠近死海的马塞达希律王山顶宫殿并构筑防御工事。他们在这里坚守了3年，多次击退想驱逐他们的罗马人的进攻。当罗马人最终攀上和攻破城墙时发现守卫者及其家属都选择了自杀而不愿沦为奴隶。
《哈拉卡》是《圣经》时期以后指导全世界犹太人生活的一套法律。它论述了犹太人在人际关系和教仪方面应遵守的宗教义务，实际上包括了人的生活的所有方面——出生和婚姻，欢乐和痛苦，农业和商业，伦理和神学。《哈拉卡》植根于《圣经》，以《塔木德》为依据，《塔木德》是一部律法习俗集（完成于公元400年），它把第一部口头律法的书面汇编《密西拿》（编纂于公元210年）和对《密西拿》的注释《革马拉》合并编纂而成。为给学习《哈拉卡》提供实用指导，宗教学者开始在第一和二世纪编写简明而系统的文摘。其中最具权威性的是约瑟夫·卡洛16世纪在萨法德所著的法律汇编《布就之席》。