L'attuale Via Manin in origine era l'antica fossa della prima cinta del Castello, in fondo alla quale si trovava la Torre di San Bortolomio, attraversata dalla III cinta muraria della città, che saliva la falda del colle per collegarsi alla prima cinta. In questo tratto di terreno tra il XII e il XIII secolo si cominciò a costruire abitazioni, come testimoniano alcuni lacerti di muro medievale rinvenuti, al p. semint. tra l'apertura del muro che collega i depositi della biblioteca.

Simone Filettini, dottore in legge, acquistò da Nicolò Vanni Onesti una casa, quando si spostò da Via Treppo per stabilirsi con la sua famiglia in questa parte della città. Le antiche piante cittadine evidenziano un edificio con piccolo orto e giardino a separazione dalle mura cittadine. Risale al 1942 il primo documento notarile - "acta" - corrispondente ad una attuale dichiarazione di atto di notorietà.

Angelo Fruttarolo chiede gli sia concesso una porzione di terreno pubblico presso il muro castellano, fuori da Porta Sant'Antonio (attuale porta Manin), dal lato sinistro verso il Giardino, Piazza Primo Maggio, in direzione del colle al fine di costruire una bottega. Richiesta concessa per passi tre in direzione del colle fuori dalla porta, prestando attenzione a non arrecare disagio alle costruzioni in zona, tra cui quella adiacente di Simone Filettini.

Il nobile Filettino Filettini, dottore in legge, fratello di Simone, chiede al comune la concessione di una porzione di terreno confinante con quella di Angelo Fruttarolo.

Si cominciano a prendere i primi provvedimenti al fine di migliorare la qualità della zona a causa delle proteste degli abitanti che lamentano i danni causati dalle frequenti esondazioni della "rosta", la fossa lungo la via, che spesso traboccava inondando "orti, viottoli e androni con gravi molestie dei cittadini". Fu deciso di ampliare tutta la via demolendo i portici di alcune abitazioni di poco conto e obbligando i proprietari a rifare le facciate delle loro casette.

I lavori di costruzione delle nuove botteghe procedono a rilento. Nel 1543 Giuseppe Manin succede giuridicamente ai Filettini nella proprietà della casa e nel 1552 i Manin permutano la loro vecchia casa di Udine, andando ad abitare in Borgo San Bortolomio.

Faustina Manin, unica figlia vivente di Giuseppe, nel 1560 sposa Pietro Mantica. La nuova famiglia, di origini lombarde probabilmente di Como, titolare della proprietà dell'edificio con le sue adiacenze, diede avvio alla costruzione di un nuovo palazzo in stile rinascimentale con chiari richiami ai modelli veneziani. L'edificio così costruito corrisponde, con alcune modifiche, nella sostanza alle forme attuali e diviene il simbolo del tentativo della casata di affermarsi nel contesto locale.

Pietro Mantica, omonimo discendente dello sposo di Faustina Manin, chiede in concessione una porzione di terreno pubblico, grazie alla quale dà avvio alla costruzione delle nuova ala, raccordata al palazzo rinascimentale da un portone (con conseguente chiusura della porta in linea con la pentafora), andando ad addossarsi alla Torre di San Bortolomio, creando un nuovo affaccio sulla piazza e incorporando edifici preesistenti la bottega di Angelo Fruttarolo.

Pietro Mantica chiede l'autorizzazione di erigere all'esterno della sua abitazione un muro che curva oltre la Torre di San Bortolomio, ben visibile nella pianta del Lavagnolo, che fino al 1920 inglobava un minuscolo giardino, poi sostituito dall'attuale terrazza. Il complesso venuto a definirsi negli ultimi decenni del XVIII secolo aveva modificato notevolmente l'assetto urbanistico della zona.

Pietro Mantica cede ai fratelli, Alessandro, Francesco e Nicolò il palazzo rinascimentale, tenendo per sè la nuova ala, che passò in eredità alle figlie Eleonora e Luigia. La prima sposò Antonio Romano, la seconda Francesco Urbano Valentinis Mantica.

Luigia Mantica cede alla sorella Eleonora la sua parte di eredità dell'ala settecentesca per 12.000 £. Qualche tempo dopo anche Eleonora alienò quanto possedeva, compresi alcuni locali nella Torre di San Bortolomio, a Nicolò Cassacco, la cui famiglia nel 1875 vendette a Carlo Fabio Braida e alla sorella Anna Braida, coniugata con Francesco Caratti. Essi ricavarono diversi appartamenti dal vasto stabile, ospitando caffè (Bastian), osterie (Alla Campana d'Oro), sartorie e associazioni.

Il complesso settecentesco viene venduto alla famiglia Chizzola, attuale proprietaria dell'immobile.

In occasione della vistia di Napoleone in Friuli, il palazzo ospitò il gran scudiero Caprara.

Viene redatto un inventario dei beni dell'intero palazzo nel quale vengono descritti anche arredi e argenti appartenenti alla cappella interna.

Il palazzo rinascimentale fu ereditato dai famigliari di Nicolò Mantica, fratello di Pietro, fino a quando Emilia la sua ultima discendente nel 1890 sposa il conte Andrea Caratti, lasciando l'immobile alla figlia Maria Teresa, dalla quale la Società Filologica Friulana lo acquistò.

Per un periodo ospiterà la sede del Circolo Ufficiali del Presidio Militare.

Al piano terra, probabilmente a chiusura delle attuali stanze di segreteria, biblioteca e della porta di passaggio tra la biblioteca e il docuscuele, un tempo adibite e salottini, si trovavano tre porte dipinte con scene di genere e un paesaggio, di misura 72x79 cm con angoli sagomati, databili al XVIII sec., vendute ai Musei Civici di Udine per la somma di £ 12.500.000.