As origens da Insigne e Real Colegiada de Nossa Senhora da Oliveira remontam ao mosteiro dedicado ao Salvador do Mundo, à Virgem de Santa Maria e aos Santos Apóstolos, fundado pela condessa Mumadona Dias, cerca de 950.

A invocação de Nossa Senhora da Oliveira prevalece após 1342, com o reverdecimento de uma oliveira na praça fronteira. A edificação atual evidencia as sucessivas remodelações e acrescentos, integrando elementos de diversas épocas - a reconstrução gótica impulsionada por D. João I; a torre da igreja de características manuelinas, concluída cerca de 1513-1515; a capela-mor, de arquitetura clássica, reedificada no séc. XVII por D. Pedro II; os estuques das capelas maior e colaterais são referências da reforma neoclássica iniciada em 1830; a última intervenção data do séc. XX e pretendeu deixar à vista o granito das paredes e as colunas de origem medieval. 

A igreja é classificada como monumento nacional desde 1910.