Kratka šetnja uzbrdo iz centra grada vodi do nedavno rekonstruisane tvrđave Besac, koju su Turci podigli 1478. godine. Ona je svedok mnogi krvavih bitaka, a tokom svoje istorije često je menjala namenu. Na primer, između dva svetska rata služila je kao policijska stanica, a tokom drugog svetskog rata, u vreme italijanske okupacije bila je njihovo uporište i služila je kao zatvor. Tvrđava ima moćne kamene zidine koje ograđuju dvorište i citadelu sa dve kružne kule. Danas je tvrđava popularna turistička destinacija u ovom kraju i odličan vidikovac s pogledom na Virpazar i močvarnu oblast u njegovoj okolini.