El topònim de Talarn deriva de TALARNO, fortalesa cèltica erigida al s.VII després de Crist. La vila es va formar al capdamunt d'un turó, a recer de l'antic castell, que n'ocupava la part més elevada i al voltant del qual va anar creixent un petit poblet que, amb el temps, esdevindria un dels centres de població més importants de la comarca.

El lloc s'esmenta al 1060, quan el comte de Pallars va cedir el territori de Tremp, que era de Talarn, a la mitra d'Urgell per a la construcció de la col·legiata de Santa Maria. El 1370 el rei li va atorgar el dret de celebrar fira i mercat.

El 5 d'octubre de 1453, el rei Alfons V d'Aragó i IV de Catalunya constitueix TALARN capital de la sotsvegueria del Pallars i residència obligada dels sotsveguers. La vila tenia vot a corts.

Durant els segles XVII i XVIII, Talarn es converteix en residència habitual de la noblesa. L'any 1716 esdevé seu de corregiment, ja que va donar suport al bàndol de Felip V durant la guerra de Successió. L'any 1784 va tenir com a corregidor el baró d'Eroles D. Joaquim Ibáñez - Cuevas i de Valonga, il·lustre predecessor de qui, anys a venir, serà capità general de Catalunya, D. Joan Ibáñez Cuevas.

L'església parroquial de Sant Martí és d'origen romànic i es troba ja documentada el 1097. No obstant això, tal com la trobem avui dia correspon a la reconstrucció del 1639. Conserva un magnífic orgue barroc.

De l'any 1911 a 1916 es va construir l'embassament de Sant Antoni i la central hidroelèctrica de Talarn.