У 1589 році Яків VI надав палац як весільний подарунок своїй нареченій Анні Данській. У цьому палаці у них народилось троє дітей, включаючи майбутнього англійського короля Карла I, який, втім, не звертав на Данфермлін уваги. Його наступник Карл II відвідав старий палац пращурів тільки одного разу.
Після вигнання Стюартів палац почав руйнуватись, й уже у 1708 році він втратив дах. До XIX століття від нього лишились тільки живописні руїни.