La forteresse, face à l'église de Luz, est un élément important de l'histoire locale.

Construite en 1670, la forteresse aurait à l'origine une batterie de 5 canons pointée vers la mer et a fut bâti pour protéger l'église et les villageois des pirates et des Maures.

Ceux-ci à l'époque attaquaient sans relâche les villages côtiers de l'Algarve, pillant, capturant souvent les habitants et les transformant en esclaves.

Après avoir été largement utilisé à des fins militaires, le fort est tombé en désuétude et a été vendu aux enchères par le gouvernement en 1894.

Il a été acheté par Sr. Marreiros Neto, un dignitaire de Lagos qui tomba sous le charme de l'édifice en procédant à la restauration de l'église d'en face. Il transforma l'étage de la forteresse en résidence privée. Voyageant souvent de Lagos à Luz pour des week-ends de détente à cheval, il utilisait le rez-de-chaussée (aujourd'hui le célèbre restaurant Fortaleza) comme écurie.

Aujourd'hui, entièrement restauré il est devenu l'un des bâtiments les plus emblématiques de Luz.