Nem tudjuk biztosan, hogy ki és mikor építtethette a kővár korai magját. 1331-ben írtak Széchy Péter királyi várnagyról, aki Szanda várából parancsolt a váruradalomhoz tartozó környékbeli népeknek, akik különböző földesúri szolgáltatásokkal tartoztak a magas kővárban élőknek. Luxemburgi Zsigmond király kedvelt híveinek, a Pásztói családnak adományozta, majd a Csetnekiek kezére jutott. Mivel ők részt vettek Nápolyi László trónkövetelő oldalán a lázadásban, a győztes Zsigmond elkobozta, és feleségének,Cillei Borbála úrnőnek adta át, aki a befolyt jövedelmekből tartotta fenn fényes udvartartását. A 16. században, akkori birtokosa, a Báthory főnemesi család csak kismértékben erősítette meg a jelentéktelen várat, amit 1546-ban könnyedén elfoglaltak az Oszmán Birodalom csapatai. Híres várkapitánya, Hubiár aga a bujáki vár alatti réten vívott párviadalt Kapitán Györggyel, a hollókői parancsnokkal, egy rab váltságdíján való vitájuk eldöntése végett. A szandai „pogányok” gyakori rablóportyáinak megbosszulására végül 1551-ben a balassagyarmati magyar vitézek – a legenda szerint egy rejtett üregen keresztül – behatoltak a hegyi erősségbe, annak őrségét az utolsó emberig levágva. A győztes keresztény katonaság elvonulása során felrobbantotta falait, hogy többé ne szolgálhasson a „pogány” búvóhelyéül. Azóta egyre romosabb, régészeti feltárása és megóvása még várat magára.