Em fins do século XIX, a região conhecida hoje como o bairro da Liberdade foi ocupada de fato. Dentre as herdades tradicionais que ali existiam, estava a Chácara Tabatinguera, propriedade de Dona Anna Maria de Almeida Lorena. Ela era neta de D. Bernardo José de Lorena, governador da capitania de São Paulo entre 1788 e 1797, vice-rei da Índia entre 1806 e 1816, e 5º Conde de Sarzedas, título nobiliárquico criado em 1630 pelo rei Felipe IV de Espanha. Anteriormente a chácara havia pertencido ao pai dela, D. Francisco de Assis Lorena, filho de D. Bernardo.

Foi Dona Anna quem mandou abrir, em suas terras, ruas como a Conselheiro Furtado e Conde de Sarzedas, além de mandar construir a Capela de Santa Luzia que, após a sua morte, em 1903, foi doada pelos herdeiros à Cúria Metropolitana.

Seu sobrinho, Luiz de Lorena Rodrigues Ferreira, filho de Dona Leonor Andromeda de Almeida Lorena, deputado por São Paulo, foi quem mandou construir o Palacete, provavelmente entre os anos de 1891 e 1895. Ele, que não herdou o título por descender do Conde por linhagem materna, já com 60 anos de idade apaixonou-se por Marie Louise Belanger, uma francesa de 18 anos. Casou-se com ela e a trouxe para viver no Palacete. Daí teria surgido o apelido “Castelinho do Amor” que se arraigou pela vizinhança. A localização, no topo de uma colina, não podia ser mais privilegiada: permitia que se avistasse todo o vale do Tamanduateí e que fosse de lá visto.

Após a morte do proprietário, sua esposa, filho e nora ainda permaneceram no local até 1939. A partir daí o Palacete passou a ser ocupado por diversos locatários e, precariamente conservado, entrou em processo de arruinamento.

Quando a Fundação Carlos Chagas, atual proprietária do terreno, procurou o arquiteto Ruy Ohtake para projetar a construção do edifício que hoje abriga os Gabinetes dos Desembargadores de Direito Privado do Tribunal de Justiça de São Paulo (Edifício Nove de Julho), o arquiteto Samuel Kruchin assumiu as pesquisas para o restauro do antigo casarão. Em 2001 foi aberto o processo de tombamento e, por meio da Resolução nº 15/2002, o Conselho Municipal de Preservação do Patrimônio Histórico, Cultural e Ambiental da Cidade de São Paulo – CONPRESP – tombou a edificação conhecida como Palacete Conde de Sarzedas. Nesse local histórico está instalado agora o Museu e Centro Cultural do Tribunal de Justiça de São Paulo.