Új-Zélandon, Wellington egyik külvárosában látta meg a napvilágot, felmenői között vannak angolszászok, norvégok és maorik is. Már az anyatejjel a filmművészetet szívta magába, hiszen anyai nagyapja operatőr volt, aki a második világháború alatt készített felvételeivel kiérdemelte a Brit Birodalom Rendje kitüntetést. Négyéves volt, amikor az ausztráliai Sydneybe költöztek, s már ekkor ideje java részét filmforgatásokon töltötte, mivel szülei a stáb étkeztetésével és ellátásával foglalkoztak. Hatévesen kapta első szerepét, egy tévésorozatban egy árvát alakított. A család 1978-ban visszatért Új-Zélandra, ahol Crowe rockzenekart alapított, énekelt, gitározott, egyik dala a profetikus I Want To Be Like Marlon Brando címet viselte. Végül mégis a színészi pálya mellett döntött és a nagyobb lehetőségekkel kecsegtető Ausztráliába költözött. 1983-ban szerepet kapott a Grease című musical egyik feldolgozásában, 1986 és 1988 között a The Rocky Horror Picture Show-val turnézott. Eső filmszerepe a háborús filmdráma, a Véreskü volt 1990-ben, és még ugyanebben az évben főszerepet is kapott Az átkelés című drámában. Tehetségét bizonyítva 1991-ben a Bizonyíték című filmben egy szelíd, hiszékeny mosogatót, egy évvel később a Romper Stomperben egy brutális náci skinheadet alakított.
Az Egyesült Államokban 1995-ben mutatkozott be a Gyorsabb a halálnál című filmmel, melyben Sharon Stone, Gene Hackman és Leonardo DiCaprio voltak a partnerei. Ezután a SID 6.7 - A tökéletes gyilkos című sci-fiben az emberiség legaljasabb tulajdonságaiból összegyúrt bűnöző elmét játszott, akit Denzel Washington üldözött. A langyos fogadtatású filmek után könnyed romantikus vígjátékok következtek. Bridget Fonda oldalán egy pénztelen újságírót játszott a Különös varázslatban, Salma Hayek mellett a Szakíts, ha bírsz! című romantikus vígjátékban pedig egy szenvedélyes szeretőt.
"Elég csak egyszer látni" - vélekedtek róla ekkoriban a filmkritikusok, ám ő rájuk cáfolt következő filmjével, a Szigorúan bizalmas című thrillerrel. Az 1950-es évek Los Angeles-i alvilágába kalauzoló alkotásban egy bonyolult összeesküvésben erőszakos eszközökkel nyomozó zsarut alakított, miközben izzott a levegő közte és Kim Basinger között, aki alakításáért Oscar-díjat kapott. A filmet összesen kilenc Oscar-díjra jelölték, Crowe pedig a viszonylagos ismeretlenségből A-kategóriás filmsztárrá lépett elő.
1999-ben A bennfentesben egyik dohányipari óriásvállalat egyik vezetőjét alakította, akit kirúgnak állásából, mert tiltakozik a cég a nikotinfüggés felgyorsítását célzó kísérletei ellen. A Michael Mann rendezésében készült, a jegypénztárkanál gyengén teljesítő film kedvéért Crowe majdnem húsz kilót hízott, ősz parókája alatt alig lehetett ráismerni, jutalma élete első Oscar- és Golden Globe-jelölése lett. 2000-ben Ridley Scott kosztümös filmjében, a Gladiátorban Maximus, a hatalmas római generálisból lett gladiátor bőrébe bújva aratta élete eddigi legnagyobb sikerét: Oscar-díjat kapott a legjobb férfi főszereplő kategóriában, maga mögé utasította az akkor már kétszeres Oscar-díjas Tom Hankst. A Gladiátor öt kategóriában nyert az Oscar gálán és a legjobb filmnek járó szobrocskát is elvitte.
Közben pletykák röppentek fel Crowe erőszakos viselkedéséről, többször keveredett verekedésbe, egyszer le is tartóztatták mert egy szállodai alkalmazottat inzultált. "Rossz fiús" hírneve és a filmvásznon nyújtott intenzív alakítása miatt, beteljesítve az ifjúkori próféciát Marlon Brandóhoz hasonlították. Még több címlapot töltött meg Meg Ryannel való kapcsolata, akivel a Túszharc című darabban játszott együtt. A szőke színésznő állítólag Crowe miatt lépett ki házasságából, de kapcsolatuk nem volt hosszú életű. Crowe 2003-ben feleségül vette az ausztrál énekesnő Danielle Spencert, akitől két fia született, de 2012-ben elváltak útjaik.
Crowe 2001-ben a Nobel-díjas matematikus John Nash életéről szóló, Ron Howard által rendezett Egy csodálatos elme című életrajzi drámában játszott főszerepért 2002-ben Golden Globe díjat kapott és ismét, sorozatban harmadszor jelölték az Oscarra. 2005-ben újra együtt dolgozott Ron Howarddal a nagy gazdasági válság idején játszódó, minden ízében professzionális melodrámában, A remény bajnokában. 2006 és 2008 között három filmet forgatott Ridley Scottal: a Bor, mámor, Provence című romantikus vígjátékot, az Amerikai gengsztert és a Hazugságok hálójában című akciófilmet. Újabb közös filmjük a 2010-ben született Robin Hood volt, amelyben a szintén ausztrál Cate Blanchett és Max von Sydow voltak a partnerei. 2012 nagy sikere volt A nyomorultak című musical sztárparádét felvonultató filmváltozata, amelyben Crowe Javert felügyelő szerepében kamatoztathatta énektudását. 2013-ban Henry Cavill oldalán Az acélemberben egy képregény szuperhősének apját alakította, idén a nagy port kavart Noé című, biblia témájú Darren Aronofsky film főszereplőjeként láthattuk. Hamarosan a mozikba kerül új filmje, a The Water Diviner, amelyben rendezőként fog bemutatkozni. A történetben egy ausztrál férfi Törökországba utazik, hogy az első világháborúban vívott Gallipoli ütközet után megtalálja három eltűnt fiát.