In 1876 zag de Amsterdamse Werkliedenvereniging Patrimonium het levenslicht. De vereniging werd opgericht om een volksbeweging in gang te zetten tot behoud van Nederland als orthodox-protestantse natie. Later werd Patrimonium vooral bekend als een van de grootste woningcorporaties van Nederland. Na de jaren zestig kreeg de secularisatie ook vat op Patrimonium, maar het christelijk-sociaal denken bleef van invloed. Zo nam Patrimonium aan het eind van de jaren negentig het beheer van de verpauperde sociale woningbouw in de Bijlmermeer op zich. In 2004 volgde de fusie met de van oorsprong sociaal-democratische Bouwvereniging Rochdale. Niet bij steen alleen vertelt het verhaal van een woningcorporatie die lang functioneerde als hoeksteen van de verzuiling en ruimte bood aan een bijzondere subcultuur. Het verhaalt ook van een beweging die een verzakelijkte organisatie werd, en zo niet alleen geconfronteerd werd met de gevolgen van het secularisatieproces, maar daar zelf ook een rol in speelde.
