Begin jaren zestig. In een saaie voorstad van Londen brengt de negentienjarige student Paul de zomermaanden door in zijn ouderlijk huis. Op aanraden van zijn moeder schrijft hij zich in bij de plaatselijke tennisclub. Tijdens een toernooi ontmoet hij Susan: achtenveertig jaar oud, zelfverzekerd, ironisch, overdonderend. Susan is getrouwd, met twee volwassen dochters. Paul en Susan worden elkaars geliefden.

In Het enige verhaal kijkt Paul jaren later terug op de zomer die zijn leven voorgoed veranderde, op het begin van hun liefde, op de daaropvolgende jaren samen en hoe dit leven uiteindelijk, heel langzaam, ontrafelde.