In 1280 liet hij een van de meest bekendste kastelen van Nederland bouwen; het Muiderslot.  Bovendien werd in deze periode ook het Grafelijk kasteel voltooid met de bekendste zaal van Nederland “de Ridderzaal”.  Floris ging ook wonen in dit kasteel en zo werd Den Haag tot op de dag van vandaag het centrum van de Nederlandse macht.

Maar het ging fout in 1296. Floris raakte in conflict met Engeland over de wolhandel en de Engelse koning Edward vroeg aan andere Hollandse edelen om in te grijpen. Tijdens een valkenjacht werd Floris door onder andere Gijsbrecht van Amstel en Gerard van Teylingen gevangengenomen en naar het Muiderslot gebracht. Toen dit nieuws bekend werd, wilde het volk hem bevrijden. Hij was namelijk nog steeds ongekend populair bij “de gewone mensen”. Op 27 juni 1296 vluchtten de edelen met hun gevangene uit het Muiderslot. Gerard van Velsen reed voorop als verkenner en stuitte op een groep burgers die Floris wilde redden.

Van Velsen keerde zijn paard en reed terug.  Floris lag vastgebonden met handen en voeten op een paard en had een handschoen in zijn mond gepropt gekregen. Van Velsen trok zijn zwaard en het paard steigerde van schrik. Tijdens deze eerste zwaardslag verloor Floris zijn beide handen en viel van zijn paard. Van Velsen en twee andere edelen staken Floris daarna 22 keer met hun zwaard en sloegen toen op de vlucht. Floris stierf niet veel later, op 42-jarige leeftijd, in Muiderberg.