Trata-se de um edifício palaciano, de arquitetura chã, construído em finais do século XVI e transformado em 1606, sofrendo alguns restauros nos séculos XVIII, XIX e 1.ª metade do século XX. Foi residência dos Barões de Alvito (mais tarde Condes-Barões), que o abandonaram logo a seguir ao terramoto de 1755, passando o edifício por diversas mãos. Contudo, a memória da família ali se perpetuou, dando o nome ao largo que posteriormente se formou frente ao palácio. Possui uma extensa fachada de acentuada horizontalidade, tornejando a Ocidente para a Rua dos Mastros.
A fachada principal apresenta-se visualmente bipartida; o corpo principal é ritmado por uma sucessão de nove vãos de janela de sacada de lintel rematado em cornija, com gradeamentos de ferro fundido com coroamento de pinhas de ferro fundido, no 2º andar e de peito no 1º, sucessão interrompida no 6º vão pela bandeira de lintel curvo da porta principal, gradeada a ferro forjado. Quebrado pela ligeira inflexão que é demarcada pela imponente pilastra de cantaria, surge o pano onde se abrem seis vãos por piso com a mesma leitura da anterior. Este corpo é composto por um último piso sobre beirado de telha de canudo. A Ocidente, a solução anterior é repetida nos cinco vãos por piso que a fachada apresenta. O tardoz do edifício, irregular e mais pobre, abre-se para o antigo jardim. O palácio mantém uma presença urbanística ímpar e é uma referência memorial insubstituível.
Largo do Conde Barão, 43-47A; Rua dos Mastros, 2-2.ª, Lisboa