Egy szegény takácsmester tizennegyedik gyermekeként látta meg a napvilágot a szászországi Hohenstein-Ernstthalban. Élete első négy évét az éhezés és a vitaminhiány miatt vakon töltötte: az élénk fantáziájú kisfiút ebben az időben csak nagyanyja színes meséi kapcsolták össze a külvilággal. Tanítói diplomát szerzett, de nem sok időt töltött ezen a pályán. 1859-ben egy kollégája zsebórájának ellopása miatt börtönbe került, ahonnan néhány hét múlva kiszabadult, de a tanítói engedélyét elvették. Ezután magántanítványok szerzésével, meseírással próbálkozott, de pénzre csak lopásokkal, szélhámosságokkal tudott szert tenni. Többszörös visszaeső bűnösként hosszú éveket töltött fegyintézetekben, első regényeit is a rács mögött kezdte írni.
1874-ben hátat fordított addigi életének, hazaköltözött szüleihez, és újságírónak állt. Pályája kezdetén humoros falusi történeteket és érzelgős ponyvaregényeket írt, első kalandregényeinek színhelye a Közel-Kelet, a Balkán és Afrika volt. 1890-ben aztán ő is megnézte a vadnyugat hőse, Buffalo Bill Németországban turnézó cirkuszának előadását, és rálelt történeteinek ideális helyszínére. Ezeket a messzi tájakat nem járta be, útirajzokra, földrajzi könyvekre és persze határtalan képzelőerejére támaszkodva írt, mégis olyan élethű leírásokat adott, hogy olvasói elhitték, hogy saját élményeit beszéli el.
Regényei közül a leghíresebb a Winnetou, amely Old Shatterhand és a bölcs indián harcos, Winnetou kapcsolatát rajzolja meg. Shatterhand a német származású, bátor és ügyes kalandor, akinél kiválóbb nyomkereső és céllövő az egész Vadnyugaton nincs, kivéve Winnetou-t. Ő az író egyik énhőse: éppen olyan, amilyen ő maga is szeretett volna lenni. (May sikerei csúcspontján az olvasók előtt is eljátszotta kitalált regényhősei szerepét, Old Shatterhand öltözetében mesélt el személyesen soha meg nem élt kalandokat, és drezdai otthonának is a Villa Shatterhand nevet adta). May főhősei idealizáltak - bátrak, nagylelkűek és makulátlan jelleműek. Műveinek egyik titka is ez: az olvasó szívesen azonosul ezekkel a szinte tökéletes karakterekkel, főként mivel fordulatos és izgalmas cselekmények, nemes és felemelő eszmények társulnak hozzájuk.
A legolvasottabbak ma is May észak-amerikai indiánokról szóló vagy velük kapcsolatos regényei, a Winnetou mellett Az Ezüst-tó kincse és Az inka öröksége.
Indiánregényei és európai népszerűsége ellenére May nem vívott ki túl nagy figyelmet az Egyesült Államokban. Francia kortársához, Jules Verne-hez hasonlóan ő is a kissé félreismert szerzők körébe tartozik, hiszen egyikük sem ifjúsági olvasmánynak szánta műveit.
Az 1912. március 30-án elhunyt May utóélete legalább annyira kalandos, mint történetei. A nácik idején számos művét antiszemita felhangokkal írták át, nagy rajongója volt maga Adolf Hitler is. Ellenhatásként a kommunista NDK-ban May szabályszerű indexre került, őt "sovinisztának", műveit ponyvairodalomnak bélyegezték. A keletnémet fiatalok Winnetou kalandjait sokáig a nyugati rokonok által becsempészett könyvekből ismerhették meg. Az NDK-ban csak születésének 140. évfordulóján, 1982-ben rehabilitálták, attól kezdve viszont könyvei több százezres példányszámban jelentek meg, és sorra levetítették az NSZK-ból importált May-féle indiánfilmeket is.
Németországban idén - születésének 170. és halálának 100. évfordulója alkalmával - Karl May emlékévet tartanak, az év végéig csaknem száz rendezvényen, tárlaton, felolvasóesten, könyvbemutatón emlékeznek Winnetou és Old Shatterhand atyjára.