Den ble anlagt i 1164 av Valdemar den Store, som kloster for den katolske Johannitterordenen. Hans Tausen, som reformerte den danske kirka, bodde på klosteret, og det var herfra han startet reformasjonen. Under kong Fredrik II ble klosteret gjort om til et kongelig slott, og Frederik II døde her i 1588. Etter kongens død ble Antvorskov gjort om til et kongelig len, som Frederik IV senere endret til et grevskap til sin elskerinne. Da hun døde, gikk grevskapet tilbake til kronen. I perioden 1717-1763 var Antvorskov et av Danmarks 12 rytterdistrikter. Inntektene fra disse distriktene var det økonomiske grunnlaget for hæren, og soldatene ble innkvartert på det gamle slottet. I 1774 ble Antvorskov delt inn i ni herregårder.