Door de torens en de slotgracht lijkt het op een burcht, maar het is meer een herenhuis dan een verdedigbaar kasteel. In 1632 koopt de Amsterdamse burgemeester Frans Banninck Cocq (1605-1655) Ilpenstein. Hij is de man die door Rembrandt van Rijn op de Nachtwacht wordt afgebeeld als kapitein van de schutterij. Hij trouwt met Maria Overlander van Purmerlant en mag zich daarom Heer van Purmerlant in Ilpendam noemen. Na het overlijden van Banninck Cocq en zijn echtgenote komt Ilpenstein in handen van de Amsterdamse regentenfamilie De Graeff.
Het slot wordt gesloopt in 1872.