Efter många års förhoppningar om en restaurering av den flera hundra år gamla biskopsborgen, som sedan 1626 fungerat som Sveriges andra gymnasium, var det äntligen dags.
En yttre och inre reparation blev möjlig sedan domkapitlet 1862 sökt ett anslag på drygt 70 000 riksdaler, varpå ståndsriksdagen 1863 beviljat ett statligt belopp på 50 000 riksdaler och stiftets Emeritusfond lånat ut 20 000 riksdaler.
Vid den yttre restaureringen återfick huset bland annat sina trappstegsgavlar. Frågan om en inre reparation hade diskuterats länge och ytterligare blivit aktualiserad med skolreformen 1850, då gymnasiet förenades med apologist- och lärdomsskolan. Det var den lägre förberedande skola som hållit till i den gamla katedralskolan, konsistoriehuset, det högra huset framför domkyrkan.
Reformen 1850 degraderade det kungliga gymnasiet till högre elementarläroverk och en andra skolreform 1878 till högre allmänt läroverk.
Arkitekt för ombyggnaden 1863 var Per Johan Ekman som bland annat 1857 hade ritat Västerås nya läroverk. I Västerås grundades landets första gymnasium 1623.
En intressant uppgift av Björn Thordeman, som skrivit Roggeborgens historia, är att biskop Annerstedt redan 1859 begärt ett anslag på 136 000 riksdaler av prästeståndet. Det för ett bygge av ett nytt skolhus ritat av professor F.W. Scholander, men han fick avslag.
Scholander hade gått i skolan här ett par terminer på 1830-talet. Hans mor, född Nyström, hade som nybliven änka med sonen och tre döttrar flyttat från Stockholm till Strängnäs 1829 och köpt en gård vid den nuvarande Sundkarlsbacken.
15 år gammal flyttade Fredrik Wilhelm till Stockholm och sin morbror arkitekten Axel Nyström, senare professor vid Konstakademien och chef för Överståthållarämbetet. Redan då började Fredrik Wilhelm vid Konstakademiens byggnadsskola. Han blev med tiden själv professor och beskriven som navet i det svenska konstlivets hjul under 1850-, 60- och 70-talen.
Längst till vänster syns taket på domprostgården och ovanför huset Lyktan, Paulinska huset och det nuvarande biskopshuset från 1640-talet.
1882 utsågs domprosten A.T. Strömberg till ny biskop och fick flytta in i biskopshuset som då fått en ny exteriör i holländsk renässans av arkitekten Claes Grundström. Denne hade fått sin utbildning av Fredrik Wilhelm Scholander. Claes Grundström har i en intervju sagt att han inspirerats av det Petersenska huset från 1600-talet, vid Munkbron i Stockholm, inför ombyggnaden av biskopshuset.
Strandvägen nedanför biskopsgårdarna fram till ångbåtsbron fanns inte. Den började läggas ut 1858, då kyrkogårdsmuren började rivas och allt materiel från kyrkans murar kördes ned till stranden som bärlager för den nya gatan.
Kyrkans nya orgel som invigdes 1860 fick också tegel från muren till sitt fundament. Murarna hade varit omkring två meter höga och bestod av tegel och gråsten.
Nedanför biskopshuset fanns inget badhus, det syns en vit grind och man kan skymta ett staket efter stranden.
De två stora vita husen till höger vid ångbåtsbron uppfördes i början av 1860-talet. Det vänstra huset vid Storgatan där Europaskolan ligger i dag, var byggt 1863 för brukspatron Gustaf Bernhardt som ägde Ekensholm och Stålbåga stångjärnshammare.
Framför det vänstra huset ligger Östra tullen. Till vänster ovan husen vid ångbåtsbron syn rådhuset från 1600-talet och några takåsar av den bebyggelse som försvann vid stadsbranden 1871.