Ve čtrnácti letech vstoupil do místní odnože Hagany. Během války o nezávislost v roce 1948 velel pěší rotě v rámci brigády Alexandroni. V roce 1953 založil a velel zvláštní elitní jednotce "101", která byla pověřena výkonem odvetných operací. V roce 1956 byl jmenován velitelem brigády výsadkářů a zúčastnil se bojů v Sinajské kampani. V roce 1957 prošel kurzem na důstojnické koleji Camberley Staff College ve Velké Británii.
V letech 1958-62 sloužil Ariel Šaron na pozici velitele pěší brigády a následovně jako velitel školy pro pěší vojsko. V roce 1964 byl jmenován velitelem Severního velitelství IDF a v roce 1966 velitelem armádního výcvikového odboru. Do bojů během Šestidenní války v roce 1967 zasáhl jako velitel ozbrojené divize na Sinaji, kde jeho úspěšný útok proti egyptské armádě hrál klíčovou roli v získání celého poloostrova.. V roce 1969 byl jmenován velitelem Jižního velitelství IDF.
Armádu Ariel Šaron opustil v roce 1973, záhy byl však povolán zpět do aktivní služby, aby opět velel ozbrojené divizi v souvislosti s vypuknutím Jom kipurské války v říjnu stejného roku. Pod jeho vedením překročily izraelské síly Suezský kanál, které nakonec vedlo k vítězství a později i k uzavření mírové dohody s Egyptem.
Po ukončení vojenské kariéry se začal aktivně angažovat v politice. V prosinci roku 1973 byl poprvé zvolen poslancem Knesetu, o pouhý rok později však rezignoval ve prospěch postu bezpečnostního poradce v kabinetu ministerského předsedy Jicchaka Rabina (1975-76).
Do Knesetu byl opětovně zvolen v roce 1977 za politickou stranu Šlomcijon. V první vládě Menachema Begina zastával post ministra zemědělství (1977-81) a z této pozice prosazoval i spolupráci s Egyptem v oblasti zemědělství.
V roce 1981 byl Ariel Šaron jmenován ministrem obrany a o rok později vedl invazi izraelské armády do Libanonu, která měla za úkol zničit teroristickou infrastrukturu OOP v této zemi. Na poli mezinárodních vztahů hrál klíčovou roli při znovunavázání diplomatických vztahů s africkými zeměmi, jež byli přerušeny během Jom kipurské války. V listopadu roku 1981 byla i díky němu uzavřena první dohoda o strategické spolupráci se Spojenými státy. Zároveň pomohl rozšířit spolupráci v oblasti obrany s mnoha dalšími zeměmi. Významnou roli hrál i v realizaci úspěšného přesunu tisíců etiopských Židů přes Súdán do Izraele.
V letech 1983-84 zastával Šaron post ministra bez portfeje, od roku 1984-1990 pak působil ve funkci ministra obchodu a průmyslu. V této pozici se zasloužil o uzavření Dohody o volném obchodu se Spojenými státy v roce 1985.
V letech 1990-1992 působil jako Ministr výstavby a bydlení a předseda ministerského výboru pro přistěhovalectví a absorpci. V souvislosti s pádem Sovětského svazu a následnými přistěhovaleckými vlnami z Ruska inicioval a realizoval program zaměřený na absorpci imigrantů po celé zemi a výstavbu 144 000 bytů.
V letech 1992-1996 byl členem Zahraničního a Obranného výboru Knesetu.
V roce 1996 byl Ariel Šaron jmenován ministrem pro národní infrastrukturu a podílel se na propagaci společných projektů s Jordánskem, Egyptem i Palestinci. Zároveň zastával post předsedy ministerského výboru pro podporu Beduínů.
V roce 1998 byl Šaron jmenován ministrem zahraničí a stanul v čele jednání o konečném statutu s Palestinskou samosprávou.
Během výkonu své funkce na pozici ministra zahraničí se Ariel Šaron setkával s americkými, evropskými, palestinskými a arabskými představiteli v rámci rozhovorů směřujících k posílení mírového procesu. Pracoval na projektech jako Flagship Water Project financovaný mezinárodním společenstvím, jehož cílem je najít dlouhodobé řešení pro kritickou situaci vodních zdrojů v oblasti a vybudovat základnu pro mírové vztahy mezi Izraelem, Jordánskem, Palestinci a dalšími zeměmi Blézkého Východu.
Po volbách v květnu 1999, které vyhrál Ehud Barak, který se stal i ministerským předsedou, byl Ariel Šaron povolán, aby se stal úřadujícím předsedou strany Likud (v září téhož roku byl na tento post řádně zvolen). V této době byl opět členem Zahraničního a Obranného Výboru.
Dne 6. února 2001 byl Ariel Šaron zvolen ministerským předsedou. Svůj kabinet představil Knesetu 7. března 2001. Po vyhlášení předčasných voleb do 16. Knesetu, které se uskutečnily 28. ledna 2003, byl prezidentem pověřen úkolem zformování vlády a tentokrát svůj tým Knesetu představil 27. února 2003.
V prohlášení, které izraelská vláda vydala v zápětí po zvolení Ariela Šarona ministerským předsedou v únoru 2001, bylo potvrzeno odhodlání izraelské vlády dosáhnout míru s palestinskými sousedy. V květnu 2003 Šaronova vláda přijala americkou cestovní mapu pro řešení izraelskopalestinského konfliktu. V červnu roku 2004 vláda schválila Plán jednostranného stažení z Pásma Gazy a severního Samaří, který byl realizován v následujícím roce s cílem vytvořit šanci pro mír.
Ministerský předseda Ariel Šaron utrpěl mozkovou příhodu těsně před konáním voleb do 17. Knesetu dne 4. ledna 2006. Funkci úřadujícího premiéra převzal v souladu s ustanoveními Základního zákona Ehud Olmert.
Bývalý ministerský předseda Ariel Šaron nikdy nenabyl vědomí a zesnul o osm let později 11. ledna 2014.
Zůstali po něm dva synové, Omri a Gilad.