Ce pavillon est transformé en villa d’été par le propriétaire suivant, Monsieur Élie Lormont Brocard qui rachete l’ensemble du domaine en 1845. Il ajoute notamment un étage au pavillon mais il garde la façade ainsi que les statues qui sont toujours visibles.
Le pavillon connut quelques déboires, le 9 février 1867, le Courrier des Vosges indique qu’un commencement d’incendie s’est déclaré au chalet du château la veille carbonisant une poutrelle et perçant une cheminée mais le feu est rapidement éteint par le jardinier et des voisins.
À sa mort en 1861, le propriétaire légue la propriété à la ville, mais sa veuve, Madame Jeanne Cécile Pasquet, en conserve l’usufruit jusqu’à ce qu’elle y renonce en février 1890. Elle meurt en juin de la même année.
