Iskoláit Debrecenben végezte, gyenge fizikumú, beteges gyerek lévén az irodalom, az ábrándok világába vonult vissza a hétköznapok zaja elől. Érettségi után a budapesti egyetem magyar-német szakán tanult, költői pályája is itt kezdődött. Versei eleinte A Hét és a Vasárnapi Újság című lapokban, majd 1908-tól az akkor meginduló Nyugatban jelentek meg.

1909-ben vissza kellett térnie Debrecenbe, hogy családfenntartó legyen. Több helyi lapnak dolgozott, a helyi közélet kérdéseiről, a különböző társadalmi jelenségekről publicisztikákat, a Debreceni Független Újságba színikritikákat írt, s továbbra is küldte verseit a Nyugatnak. 1913-ban ismét Pestre költözött, ahol megjelent első kötete, a Hajnali szerenád. Korai költészetének alaphangja a melankólia, a fájdalom- és magányérzés volt, erősen hatott rá Schopenhauer filozófiája. Nevezetes és igen jellemző versei e korszakának a Meddő órán és az Elégia egy rekettyebokorhoz.

Pesten kezdetben házitanítóskodott, majd a művészek nagy barátja, Hatvany Lajos vette pártfogásába. Ekkor derült ki, hogy súlyos tüdőbeteg, így Hatvany támogatásával különböző szanatóriumokban keresett gyógyulást. 1907-ben az Esztendő című lap munkatársa lett, megjelent a Lomha gályán című kötete, s feleségül vette szerelmes verseinek múzsáját, Lichtmann Annuskát. Házasságukból 1920-ban született leányuk, Eszter, aki később szintén kiváló költő, műfordító lett.

Az I. világháború eseményeit rettenettel szemlélte, pacifistaként elítélt minden vérontást, a háborús hőskultusszal nem tudott és nem is akart azonosulni. Az őszirózsás forradalom lelkesedéssel töltötte el, a Tanácsköztársaság kikiáltását is örömmel köszöntötte. 1918-ban a Vörösmarty Akadémia titkára lett. Betegsége azonban ismét szanatóriumba kényszerítette, s a Tanácsköztársaságot követő időszakot is ott töltötte. 1921-től az Est-lapok munkatársa, itt jelentek meg versei, novellái, kritikái is. Utolsó korszakának verseiben ismét felerősödött pesszimizmusa, a minden sorát átható szomorúság. A Körúti hajnal, az Esti sugárkoszorú, a Lélektől lélekig e kor jellegzetes versei, s a Jó éjszakát!, amelyben a ma is oly kínzóan aktuális kérdésre keresi a választ, mint van-e értelme, haszna a művészetnek, a költészetnek.

Élete utolsó éveit Újtátrafüreden, a tüdőszanatóriumban töltötte, Budapesten halt meg 1928. november 7-én. Temetésén Babits mondott búcsúbeszédet, a Nyugat pedig emlékszámmal adózott egykori munkatársának.

Tóth Árpád igen jelentős műfordítói munkát is végzett, nevéhez fűződik többek között Shelley Óda a nyugati szélhez, Oscar Wilde A readingi fegyház balladája, Rilke Archaikus Apolló-torzó című költemények fordítása, s Babits Mihállyal és Szabó Lőrinccel együtt ő ültette magyarra Baudelaire A romlás virágai című kötetét.