Willem had furore gemaakt in de slag bij Waterloo en had als dank het domein in Tervuren van zijn vader cadeau gekregen. Daar liet hij een zomerpaleis bouwen dat moest lijken op het buitenverblijf van de Romanov familie in Pavlovsk, zodat Anna zich hier thuis zou voelen.
Hun komst was echter niet door iedereen gewenst. De katholieke adel wilde terug naar de tijd van de Oostenrijkse Nederlanden. Twee vooraanstaande families namen het voortouw om dit doel te bereiken: De Mérodes en De Robiano's. Ze konden echter de vereniging van Noord en Zuid niet tegenhouden.
Louis-François de Robiano de Borsbeek (1781-1855) ontpopte zich als een fervent penvoerder van de katholieken en organiseerde petities in Vlaamse plattelandsdorpen, waaronder Tervuren. Dit leidde tot grote spanningen in het dorp en uiteindelijk tot de Belgische omwenteling in 1830.