O Castelo do Queijo ou Castelo de São Francisco Xavier, construído no século XV, é uma pequena fortificação defensiva, situada na Praça Gonçalves Zarco. Desde tempos imemoriais que se diz que o enorme rochedo onde o castelo foi construído era um lugar sagrado para os Draganes, tribo Céltica que veio para a Península Ibérica seis séculos antes de Cristo.

Composto por delineamento angular, amplas plataformas de tiro, grossíssimas paredes, ausência de torres, com fossos para a terra firme, uma imponente porta levadiça. Todo este conjunto arquitectónico faz deste castelo uma bela obra de arte. Do lado norte, encontra-se ainda o escudo das armas portuguesas.

Nele existiu, em tempos, um oratório dedicado a São Francisco Xavier, que estava colocado na sala da casa principal do Castelo.
Apesar de o seu nome oficial ser Forte de S. Francisco Xavier, por estar assente nuns rochedos em forma de queijo, adoptou-se o nome de Castelo do Queijo.

Este Castelo foi utilizado pelas forças de D. Miguel, que dali bombardearam as tropas liberais comandadas por D. Pedro. Na fachada Norte pode ver-se o escudo das armas portuguesas.

Pertence à Associação de Comandos, Delegação do Norte e é actualmente utilizado como palco de eventos culturais e de animação.

Situado logo após o Parque da Cidade, constitui um dos melhores pontos da cidade para se observar o pôr-do-sol.