A korán árvaságra jutott fiú orvosnak tanult, hivatásának a kémiát választotta. Több ezer kísérletet végezve számtalan vegyület pontos összetételét határozta meg, és egyben bebizonyította, hogy azokban az összetevők aránya mindig egyenlő. Ezzel igazolta az állandó és a többszörös súlyviszonyok törvényét, s nyomós bizonyítékot adott Dalton atomelméletének. Az atomok tulajdonságait tanulmányozva 1826-ban atomtömeg-táblázatot állított össze, amely alig tér el a mai értékektől. Mivel azonban nem mindig tett különbséget az atomok és a molekulák között, s alapértéknek az oxigénatomot vette, táblázatát életében nem használták.

Berzelius unalmasnak és fárasztónak találta, hogy az elemeket mindig teljes nevén emlegesse, főként, amikor a vegyületek összetevőit adta meg. Jelölésükre a korábbi geometriai rajzok helyett inkább a vegyjeleket javasolta, az elemek neveinek latin kezdőbetűi alapján. (A képlet alsó indexében az adott elem viszonylagos számát jelölte a molekulában. Így lett pl. a két hidrogén és egy oxigénatomból álló vízmolekula képlete H₂O.) A rendszert gyorsan elfogadták, és ma is használják.

Berzelius a kor új csodáját, az elektromosságot tanulmányozva elsőként figyelte meg, hogy az elektromos áram egyes vegyületek bomlását okozza. Kidolgozott egy dualisztikus elektrokémiai elméletet is, amely később hibásnak bizonyult. Több új elemet is felfedezett: a cériumot, a szeléniumot, a tóriumot és a szilíciumot.

Számtalan kémiai jelenség és fogalom névadója volt. A vegyületeket két csoportba sorolta: az élő vagy holt szervezetekből származó anyagokat szervesnek, a többit szervetlennek nevezte el; ez az osztályozás máig érvényes. Ő vezette be az allotrópia fogalmát arra a jelenségre, hogy egyes elemek különböző szerkezetű változatokban fordulnak elő, és egyik formájukból a másikba átváltozhatnak (a szén esetében ilyen a grafit, a gyémánt és a fullerén). A megegyező összetételű, de eltérő tulajdonságú vegyületeket izomernek, polimernek pedig azokat nevezte el, amelyekben az atomok relatív száma megegyezett, de abszolút száma eltért egymástól. A kémiai reakciókat elindító vagy gyorsító anyagokat katalizátornak hívta, s ő alkotta meg a sóképző elemekre a halogén kifejezést.

Berzelius ötvenéves korára a kémia világszerte legnagyobb tekintélye lett. Évtizedekig minden évben összefoglalót adott ki a vegyészet legújabb eredményeiről, s ha ebben egy teóriát tévesnek minősített, az attól kezdve szalonképtelennek minősült. Idős korára azonban egyre konzervatívabb lett, makacsul ragaszkodott nézeteihez, így számos helyes elmélet csak halála után nyerhetett teret. Kortársai a kémia fejedelmének tartották, bárói rangot kapott, Párizsban egyenrangú félként fogadta Lajos Fülöp király, Goethe pedig megtiszteltetésnek tartotta, hogy együtt vacsorázhatott vele. A modern kémia egyik atyja 1848. augusztus 7-én halt meg Stockholmban.