Foi mandado construir em 1420 pelo conde de Barcelos, D. Afonso, filho bastardo de D. João I. O desenho do paço inspirou-se fortemente nas grandes casas senhoriais francesas. Entre 1937 e 1959, foi alvo de profundas obras de restauro e reedificação com resultados algo polémicos sobre os critérios adotados relativamente à sua reconstituição.
Atualmente, o paço está convertido em palácio-museu.
