Det var Kort Rogge som lät uppföra Roggeborgen när han var biskop i Strängnäs på 1400-talet.
Huset användes då som biskopsresidens, men efter den svenska reformationen på 1500-talet blev huset gymnasieskola till och med 1935.
I huset finns en ordentlig samling med böcker och dokument från tiden som gymnasieskola, och sedan 1968 har Kungliga biblioteket haft ansvar för samlingarna.