Nemzedékek óta nagyon művelt értelmiségi család leszármazottja volt. A piarista gimnáziumba járt, majd a pesti bölcsészkaron tanult. Versekkel indult, de nem volt igazán lírai alkat, a próza lett igazi terepe, széleskörű műveltsége, csillogó intelligenciája, finom humora itt nyilvánult meg leginkább. 1924-ben doktorált, s középiskolai tanár lett a Vas utcai Felsőkereskedelmi Iskolában, itt tanított mindaddig, míg a zsidótörvények értelmében le nem parancsolták a katedráról. Közben hosszabb-rövidebb időt külföldön, Párizsban, Olaszországban és Londonban töltött.

Nem mindennapi vállalkozásának megírásába az Erdélyi Helikon című lap pályázatának nyomán kezdett: a feladat a magyar irodalom történetének megírása volt. Szerb tárgyi és mesterségbeli tudása méltó terepet talált magának a kibontakozáshoz, s az 1932-re elkészült Magyar irodalomtörténet elnyerte az első díjat. A mű országos hírnevet hozott neki, ám egyúttal vihart is kavart, mivel a magyar irodalom jeles és kevésbé jeles alakjait Szerb egyszerűen leemelte a piedesztálról, emberközelbe hozta őket és műveiket, csodálat és megrendültség helyett szeretetteljes iróniával, olykor humorral írt irodalmunk nagyjairól. Nem kevésbé olvasmányos, s nem kevésbé „szentségtörő” az 1941-ben megírt A világirodalom története sem, amely a világháború után okozott zavart a szovjet fejezet miatt, s csak 1957-ben jelenhetett meg teljes egészében.

A harmincas évek voltak írói és közéleti munkásságának legmozgalmasabb évei: 1933-ban a Magyar Irodalomtudományi Társaság elnökévé választották, 1935-ben és 1937-ben Baumgarten-díjat kapott, előadásokat tartott a Magyar Rádióban, s közben írt és fordított fáradhatatlanul. Nagy sikert aratott regénye, a Pendragon-legenda, amely szerencsésen ötvözi magában a kalandregényt, a krimit, a kultúrhistóriát, s mindezek paródiáját, valamint az 1937-es kultuszmű, az Utas és holdvilág, a magát kereső ember önelemző regénye.

A negyvenes évek elejétől, a nácizmus térhódításával az egyébként katolikus hitben nevelkedett Szerb Antal számára kezdtek beszűkülni a lehetőségek, állásából elbocsátották, a Magyar irodalomtörténetet indexre tették. 1943-ban, majd 1944 júniusában munkaszolgálatra hívták be. Előbb Pesten dolgoztatták, ebben az időben állította össze – Nemes Nagy Ágnes segítségével – utolsó művét, a Száz vers című gyűjteményt. 1944 novemberében Sopron mellé, előbb Fertőrákosra, majd Balfra vitték. Innen felesége és befolyásos ismerősei kétszer is próbálták megszöktetni, ám ő nem hagyta magára vele együtt szenvedő barátait, írótársait, Sárközi Györgyöt és Halász Gábort. Az állandó nélkülözéstől, a kemény munkától és ütlegeléstől legyengült írót végül 1945. január 27-én egy nyilas keretlegény puskatussal egyszerűen agyonverte.

1968-ban Balfon emlékművet avattak, amelyen Szerb Antal szavai olvashatók: „A szabadság nemcsak egy nemzet magánügye, hanem az egész emberiségé is.”