Samhället växte fram vid Gräfsnäs järnvägsstation på Västgötabananen, som öppnades 1900. Av denna återstår idag museijärnväg Anten-Gräfsnäs Järnväg, som är en betydande turistattraktion.
Strax intill, på en liten halvö i sjön Anten, ligger ruinerna efter Gräfsnäs slott. Det byggdes i mitten av 1500-talet och ersatte det tidigare Loholms slott, som låg på Loholmen längre österut i sjön. Det var stamgods för ätten Leijonhufvud, och möjligen födelsplats för Margareta Leijonhufvud, som i och med giftermålet med Gustav Vasa 1536 blev svensk drottning. Slottet har brunnit vid tre tillfällen, med hundra års mellanrum: 1634, 1734 och 1834. Efter sista branden byggdes det aldrig upp igen, utan fick förfalla, men har under 1900-talet konserverats.
Under oroligheterna mellan hertig Karl och Sigismund belägrades greve Axel Leijonhufvud på Gräfsnäs i sju veckor av hertigens folk. 1612 plundrades det av danskarna. Gräfsnäs förblev inom släkten Leijonhufvud till 1724, då det såldes till hovmarskalken, greve E. A. Sparre. Han sålde det vidare till justitiekansler Thomas Fehman. Dennes hustru Kataria Tham gjorde det till fideikommiss för en son i sitt föregående äktenskap, sedermera kommendören J. Gripenstedt, men fideikommissrätten upphävdes 1824. År 1847 köptes godset av hertig Kristian August av Schleswig-Holstein-Sonderburg-Augustenburg. Under hans son, hertig Fredrik Kristian August och dennes son Ernst Günther hamnade det gamla slottet i fullständigt förfall; till och med taket revs. 1897 köptes godset av grosshandlare Christian Barchman i Göteborg, som under firma Gräfsnäs aktiebolag innehade det till sin död 1906.
)
)
