Het eerste deel van dit verhaal eindigde met de vraag hoe de Cadogans op landgoed Raaphorst terecht kwamen. Rond 1700 raakten de toenmalige eigenaressen van Raaphorst, twee zusters Van Boetzelaer, in financiële problemen en wilden het verkopen. Dat lukte niet.
De gezusters trachtten vervolgens er vanaf te komen door Raaphorst in 1709 en 1711 in te zetten als hoofdprijs van een “overdeftige” loterij, zoals men in de Opregte Leydse Courant adverteerde. Het kostte de Amsterdamse organisatoren ongeveer vijf maanden om door verkoop van loten à twaalf gulden het prijzengeld binnen te halen. In 1711 was dit 600.000 gulden. De winnaar kon kiezen voor een alternatieve hoofdprijs van 50.000 gulden in plaats van Raaphorst. Dat gebeurde ook, net als in 1709. De Van Boetzelaers bleven dus aan Raaphorst vastzitten. Direct na afloop van de laatste loterij boden ze kasteel, landgoed en heerlijkheid eind 1711 opnieuw “gewoon” te koop aan, onder meer in advertenties in Haagse kranten. Nu hapte mevrouw Cadogan toe. Op 17 maart 1712 werd ze voor 40.000 gulden eigenares. Vrijwel direct daarna begon zij haar landgoed te verfraaien waardoor het na enige tijd in “Ridderlyken luister” was gebracht. Milady was erg gesteld op Raaphorst en woonde er elke zomer. Regelmatig kwamen gasten over de vloer, onder wie de Amsterdamse koopman en tekenaar Andries Schoemaker. Hij maakte bij deze gelegenheid een schets van het kasteel. In de winter woonden de Cadogans in Den Haag, eerst aan de Kneuterdijk, later aan het Korte Voorhout. Overigens was William, Lord Cadogan wegens zakelijke bezigheden vaak buiten Holland. Hij overleed in 1726 te Londen. Milady Cadogan overleed in haar Haagse huis op 2 november 1749. Haar stoffelijk overschot werd overgebracht naar Londen en bijgezet bij dat van haar man in Westminster Abbey.
De afwikkeling van de nalatenschap van Milady Cadogan was een complexe zaak, vooral omdat de erfenis van haar man nog steeds niet verdeeld was. Bovendien hadden de erfgenamen van de Lord en de Lady elk zo hun eigen ideeën over hun erfdeel. Een spoor van documenten in archieven te Wassenaar, Den Haag en Londen was het gevolg. Na bijna vijf jaar bereikte men overeenstemming en kon Raaphorst namens de erven door Charles, Lord Cadogan (jongere broer van wijlen Lord William) verkocht worden. Het landgoed werd daartoe gesplitst in vier kavels, die geveild werden in de Nieuwe Doelen (nu Haags Historisch Museum) op 8 juli 1754. Voor de luttele som van 3.300 gulden kwam het kavel met het kasteel en de heerlijkheid Raaphorst in handen van Frederik Hendrik van Wassenaer. De eigendomsoverdracht is enkele dagen later geformaliseerd ten overstaan van de baljuw van Wassenaar en Zuidwijk, Joan van Gijbelant. Uit een belastingkohier blijkt dat het kasteel al in 1755 was afgebroken. Het enige dat thans nog rest van Raaphorst, is een deel van het – door tijdgenoten geroemde – stallencomplex dat Milady Cadogan liet bouwen.
Albert Clobus
Pentekening van kasteel Raaphorst door Jacobus Stellingwerf naar een schets die Andries Schoemaker in 1727 maakte bij zijn bezoek aan Milady Cadogan (Koninklijke Bibliotheek).