História tejto americkej vily sa začala duchmi. Vynálezca William Wirth Winchester, ktorý zomrel v roku 1881, opustil svoju manželku Sarah vdovu, ktorej dieťa tragicky zomrelo o 15 rokov skôr. Čoskoro po Winchesterovej smrti vdova odišla do média, ktoré privolalo ducha svojho zosnulého manžela. Vynálezca legendárneho „Winchestera“povedal, že rodina bola prekliata, pretože jeho vynález si vyžiadal tisíce životov na planéte. Manžel z iného sveta nariadil svojej manželke odísť a začať stavať dom v inom štáte, zatiaľ čo hneď po dokončení stavby Sarah zomrie.
Vdova, ktorá uverila médiu, sa presťahovala do kalifornského mesta San Jose a začala tu stavať nový dom, našťastie jej manželské úspory mali stačiť dosť dlho. Od roku 11884 do roku 1922 stavitelia denne pracovali na dome, ktorý skončil so 160 izbami a vyzeral skôr ako labyrint. Faktom je, že Sarah v snahe rozšíriť stavbu prinútila pracovníkov robiť nelogické a jednoducho zbytočné práce, napríklad schody spočívajúce oproti stropu alebo murované okná. V roku 1922 bola výstavba dokončená ao niekoľko dní neskôr Sarah zomrela.
Hovorí sa, že duchovia ľudí zabitých z Winchesteru dnes žijú v kaštieli a je tu aj legenda, že ten, kto vstúpi do domu, ho nikdy neopustí.