Recuperado para o turismo rural, o pazo conforma unha impresionante edificación amurallada, con un gran patio interior e solana.

Os seus oríxenes remontanse ó século XVI, habendo constancia de que en 1579, Alonso Nuñez de Taboada, primer posuidor das Casas de Bendoiro, ordea que se poñan na súa sepultura as armas dos Taboada e Churruchaos, "de quienes vengo y desciendo".

No escudo oval que preside a entrada principal, figuran as armas dos Taboada, Arias, Camba, López de Lemos, e Churruchaos.

Entre os emparentamentos nobres, cabe destacar que no pazo naceu a que foi esposa do primeiro Conde de Fontao, Moscoso de Altamira, home prominente, que foi presidente do Senado e ministro da Gobernación con Isabel II.