Ha subito gravi manomissioni, con la perdita dell’arredo originale; dei preziosi pavimenti restano solo alcune formelle in maiolica. Splendido era l’arredo della stanza che immette nella Biblioteca; nella vetrina si conservano medaglie e bronzi rinascimentali alcuni dei quali fatti eseguire dal Cardinal Cles. Alla biblioteca Bernardo Cles dedicò l’ambiente più ampio e luminoso dell’appartamento; la sua decorazione venne affidata a Dosso Dossi che nei profondi cassettoni del bellissimo soffitto dipinse saggi dell’antichità scelti fra oratori, poeti, filosofi, e uomini di scienza; dei diciotto riquadri solo dodici si sono conservati. Per formare la sua notevole raccolta bibliografica il Cles chiese consiglio a diversi umanisti, fra cui Erasmo da Rotterdam con il quale era in stretti rapporti di amicizia.

Ritornati nella Loggia Grande, si scende nel giardino esterno che ha perduto l’aspetto cinquecentesco ma che conserva ancora una loggia, attualmente murata, annessa all’ala meridionale del Palazzo nella quale si trovava in origine una grotta di tufo con giochi d’acqua e automi. Durante il dominio austriaco venne trasformata in prigione.

Dosso e Battista Dossi: Fregio nella Sala Grande