De Hollandse graaf Floris V (1254 – 1296) liet rond 1285 een stenen vesting bouwen op een strategische plek aan de monding van de rivier de Vecht, de belangrijkste vaarroute naar het bisdom Utrecht. Tijdens een valkenjacht werd Floris V in 1296 door zijn eigen edelen ontvoerd en op brute wijze vermoord en werd zijn kasteel vernield. Vanaf 1370 werd het oorspronkelijke Muiderslot in ere hersteld en uitgebreid met de woonvleugel aan de kant van de Zuiderzee. In 1576 werd het slot versterkt met aarden wallen en bastions.