El texto es introducido por un visitante ocasional en una pequeña ciudad siberiana. En ella conoce a Alejandro Petróvich, un exconvicto de caracteruraño y huidizo, el cual le intriga profundamente. En un segundo viaje, descubre que Petróvich ha fallecido durante su ausencia, así que decide investigar en sus pertenencias para descubrir más sobre él. Es en ellas donde descubre un manuscrito con sus memorias durante su estancia en prisión, titulado Recuerdos de la casa de los muertos. En su relato, Petróvich va recorriendo distintos aspectos de la vida en prisión, dedicando generalmente cada capítulo a un tema distinto. Así hay temas dedicados a la celebración de la Navidad, a una representación teatral llevada a cabo por los presos, al intento de fuga de dos de ellos, al verano en la cárcel, o en la personalidad de alguno de los personajes que más llamaron su atención; todos ellos narrados en primera persona. Entre estos temas va intercalando divagaciones acerca de la administración, el sistema de justicia o la cultura popular rusa. El relato no está estrictamente ordenado temporalmente, y la mayor parte se centra en el primer año de presidio, descrito por el autor como el más duro. Durante todo el texto se da especial importancia a las impresiones que siente el autor y a la descripción del comportamiento y la psicología de los otros presos.