Här har den store fältmarskalken Axel Lillie - som byggde slottet omkring 1650 - dundrat och befallt sitt folk och vid hans ståtliga fester kunde hans hustru Christine Mörner berätta, hur hon klädd i harnesk följde sin man på de stora fälttågen i Tyskland, här har Axel von Fersen under långa år drömt om drottning Marie Antoinette och här har den landsflyktige franske hertigen d''Aumont de Pienne tillbragt några vintrar med att klippa silhuetter och göra små studier av herrgårdslivet på 1800-talets början, tavlor av stort kulturhistoriskt värde. .
Att Löfstad med sådana människoöden kommit att bli medelpunkten för allmogens övertro och romantiska berättelser är ej att undra över. Redan för ett par hundra år sedan talade folket om "Lillie-käringen" - den ovan nämnda fru Christina - som påstods skrida omkring i månskenet och kontrollera, att de tretton portarna voro stängda och att brandvakten inte somnade på sin post. .
Men "Lilliekäringen ville väl" och mötte man henne, behövde man aldrig bli rädd. Förresten visade hon sig bara för några få av husfolket, herrskapet fick aldrig se henne. Uppe i kyIksalen däremot fanns det ett spöke, en kaplan, som kunde skrämma vettet ur de Fersenska betjänterna med sitt enda öga och sin hesa sång. Han påstods ha blivit sinnessvag av ett slag han fick av en gäst, vilken ville förpassa honom ut genom fönstret. Kaplanen fördes bort från Löfstad och återvände aldrig dit i livet, men efter sin död tog han hämnd genom att gå igen. .
Om nu de båda spökena, både Lilliens fru och kaplanen fått frid i sina gravar vet ingen och sägnerna om dem har de flesta i trakten glömt. Däremot ha de efterträtts av "den grå damen", som än i den dag som är visar sig då och då. Ingen kan riktigt säga, hur hon ser ut, men hennes dräkt är lysande grå och med ledning av detta vill en del folk tolka henne vara Axel von Fersens olyckliga syster, grevinnan Piper, en gång hertig Fredrik Adolfs ungdomskärlek och intim väninna till drottning Hedvig Elisabeth Charlotta. Vid det Fersenska mordet misstänktes hon av pöbeln vara sammansvuren med sin broder och ha blandat gift i kronprins Karl Augusts mat och lyckades fly från Stockholm i roddbåt ut till Vaxholm. Sedan hon erfarit broderns hemska död återvände hon ej mer till Stockholm utan drog sig tillbaka till Löfstad för sin återstående levnad. .
"Grå damen" bådar alltid död. När hon visar sig vet man att det snart därpå följer ett dödsfall. Så var det, när Löfstads sista härskarinna, fröken Emilie Piper, dog och så var det även i vintras. Då bådade hon bortgång för en av slottets trotjänare. "Det var tidigt på julaftons morgon. Nere i parken var det ännu alldeles mörkt och jag kom från ladugården och skulle upp på slottsgården", berättar den man som såg henne i vintras. "När jag kom nere vid dammen, inte långt från monumentet över greve Axel Fersen, kom någon emot mig. Jag trodde det var någon av tjänarna, men när hon kom närmare såg jag, att det var HON. Hon stirrade på mig med sina stora ögon och jag blev som förstenad När hon gått förbi vände hon sig om och såg upp mot slottet och så försvann hon. När jag kom upp till slottet talade jag om vad jag sett och några dar efteråt var den gamla mamsell död". .
Mannen går aldrig mer genvägen över slottsdammen och han talar inte gärna om sitt möte med den grå damen. Den gamle trotjänaren Eriksson, betjänt på Löfstad sedan många decennier, har också mött henne och ingen på hela godset förnekar existensen av den gråklädda grevinnan, som själv så olycklig i sitt liv tycks ha fått uppgiften att efter döden varsla död för de levande på Löfstad.
