Хайгров-Гарденс стал семейной резиденцией принца и принцессы Уэльских после свадьбы. Это был рай для Чарльза и ад для Дианы. Всего в нескольких минутах езды от особняка жила любовница принца Камилла Паркер-Боулз. Спенсер не любила находиться в Хайгров-Гарденс — она предпочитала апартаменты Кенсингтонского дворца в Лондоне.
«Диана считала Хайгров тюрьмой. Она редко приглашала туда друзей и родных. Диана чувствовала там присутствие Камиллы, которая жила чуть дальше по дороге», — рассказал друг принцессы актер Джеймс Гилби.
Рождение Уильяма и Гарри смягчило отношение Дианы к загородной жизни. Дети превратили нелюбимый дом в семейное гнездышко. Чарльз с Дианой и мальчиками часто гуляли по живописной территории поместья, забывая обо всех проблемах.