De herfst is een grootse, epische vertelling die drie generaties van een bijzondere familie omspant - en het gruwelijke geheim dat ze met zich meedragen. Het verhaal begint aan het eind van de Amerikaanse Burgeroorlog, en houdt de lezer gevangen tot diep in de twintigste eeuw. Als Norman Pelham, een jonge boerenzoon uit Vermont, als soldaat de mysterieuze Leah, een weggelopen slavin, tegen het lijf loopt, is het liefde op het eerste gezicht. De rest lijkt eenvoudig: Norman en Leah trouwen en vormen jarenlang een liefderijk en hecht gezin. Totdat de zware last van het verleden die Leah met zich meetorst haar te veel wordt. Tot verbazing van haar familie neemt zij op een dag het onwrikbare besluit in haar eentje af te reizen naar haar geboorteplaats om eindelijk het verleden onder ogen te zien. Als zij terugkeert, is zij onherkenbaar veranderd en voor haar familie onbereikbaar geworden. Uiteindelijk is het haar kleinzoon die jaren later Leahs dramatische geheim zal ontsluieren...