W 1770 r. ówczesny biskup Feliks Paweł Turski postanowił wznieść tam barokową rezydencję o charakterze pałacowym. Wybudowano dwie istniejące do dziś murowane oficyny. W 1950 r. budynki przejął Skarb Państwa.
