L’Orfanotrofio Carenzoni deve la sua origine a mons. Bernardo Maria Carenzoni, vescovo di Feltre, che nel 1810 destinò nel suo testamento un lascito per istituire una casa per orfane di padre e madre, povere, di cui dettava le forme e le regole, e ne affidava la direzione alla Congregazione di Carità cittadina.
La Congregazione con il ricavato delle rendite acquistò il fabbricato del soppresso convento delle Orsoline e vi accolse otto orfanelle; aprì ufficialmente l’Orfanotrofio nel 1818 intitolandolo al Carenzoni. Venne eretto in Ente morale il 1° gennaio 1818. Successivamente alla prima guerra mondiale l’istituto venne restaurato con lasciti di privati cittadini e con un contributo dello Stato e approntato per accogliere sessanta orfane.
Nello stesso Istituto nel 1914 fu istituita la Scuola Professionale femminile "Bertagno" per l’insegnamento dell’arte del taglio-cucito-ricamo che nel 1952 è stata trasferita nel nuovo edificio adiacente all’Istituto costruito con la donazione del sen. Achille Gaggia. La scuola intitolata alla Sig.ra "Maria Paoletti Gaggia" ha cessato la sua attività nel 1970.
Attualmente l’Istituto, cessata la funzione di orfanotrofio nel 1970, è convitto femminile e maschile per studenti di scuola media superiore e universitari ed adibito a foresteria nel periodo estivo.