Nel 1932 l'Ospedale S. Matteo fu trasferito nella nuova sede dell'attuale Policlinico, e l'antico complesso passò all'amministrazione militare che vi installò una Scuola per Allievi Ufficiali di complemento del Genio, intitolata al nome del conte Luigi Federico Menabrea (ingegnere, matematico, generale ed uomo di stato).
Nel 1943 l 'edificio fu occupato dalle truppe tedesche, che ne asportarono tutte le attrezzature. In seguito esso venne occupato dagli sfollati dei bombardamenti e decadde a tal punto che l'amministrazione comunale (che nel frattempo ne era rientrata in possesso) considerò l'opportunità di demolirlo parzialmente, ovvero di destinarlo ad accogliere il pubblico mercato.
Plinio Fraccaro, che nella sua qualità di Rettore aveva intrapreso subito dopo la Liberazione la difficile opera di ricostruzione morale e materiale dell'ateneo pavese,nell'anno 1951 aveva ottenuto che la parte quattrocentesca dell'antico Ospedale venisse ceduta, a prezzo poco più che simbolico, all'Università di Pavia per l'ampliamento di facoltà e di istituti situati nel palazzo universitario centrale. Successivamente egli chiese insistentemente che anche la parte ottocentesca dell'ex-ospedale fosse donata all'Università, ritenendo che essa potesse essere destinata ad ospitare un altro collegio universitario. Ciò corrispondeva al suo profondo e meditato convincimento che le fortune della nostra Università fossero strettamente legate all'ampliamento della formula collegiale. Tale convincimento l'aveva guidato nell'istituzione del collegio Fratelli Cairoli nel 1948, del collegio femminile Brugnatelli-Castiglioni nel 1954 e della nuova Casa dello Studente(ora collegio Valla), sempre nel 1954.
L'amministrazione comunale dibattè lungamente la questione, e finalmente, nel 1958, il comune di Pavia donò l'edificio all'Università che vide cos¡ realizzata l'aspirazione di accogliere nei proprio palazzo centrale tutti gli edifici del grande isolato formato dalla antica sede universitaria e del vecchio Ospedale S. Matteo.
L'improvvisa scomparsa di Plinio Fraccaro, avvenuta il l' novembre 1959, non gli consentì di tradurre in realtà l'istituzione del nuovo collegio. L'impresa venne assunta dal suo successore, Luigi De Caro, e sostenuta quasi integralmente dall'Università con la collaborazione del Provveditorato alle Opere Pubbliche della Lombardia e del Ministero della Pubblica Istruzione.
Nel 1963 il Collegio Fraccaro entrava così a far parte della grande famiglia dei collegi pavesi ospitando un primo gruppo di 54 alunni.
I lavori di restauro e di allestimento proseguirono anche negli anni successivi; particolare cura fu dedicata al locali comuni: la biblioteca e la sala comune, eseguite su disegno dell'architetto Giotto Stoppino; la sala Porro, destinata alle conferenze ed alle riunioni degli alunni. In questa sala, che un tempo faceva parte del reparto ostetrico dell'Ospedale, una lapide ricorda l'intervento eseguito da Edoardo Porro il 21 maggio 1876, che segnò la definitiva affermazione dell'operazione cesarea.
Nell'anno accademico 1964-1965 il numero degli alunni salì ad 86, e nell'anno successivo fu completata l'ultima ala nel sopralzo interno, che consentì di portare il numero degli alunni oltre il centinaio.
La vita del collegio si svolse negli anni seguenti e continua a svolgersi, animata dall'attiva partecipazione degli alunni alle iniziative comunitarie sia culturali che sportive.