A edificação do Castelo terá iniciado em 1214, quando se encontrava à frente da Ordem de Militar de S. Bento de Avis, o Mestre D. Fernão Anes. Atualmente ainda são visíveis diversos troços da muralha e três das suas torres, a Torre da Rainha, localizada no Largo Cândido dos Reis, é a única visitável e oferece uma vista inesquecível sobre a paisagem envolvente; a Torre de São Roque, localizada na rua com o mesmo nome e a Torre de Santo António, localizada na Rua dos Muros. No adarve, antes da Torre da Rainha é possível apreciar as ruínas do Claustro Sul do Convento, que constituem a imagem de marca da vila.