Jusqu’en 1630 environ, l’Isola Bella, (alors dénommée « Inférieure » par opposition à l’« Ile Supérieure » dite aujourd’hui « dei Pescatori ») se composait essentiellement d’une langue de terre et de roche habitée par des pêcheurs.
Si quelques constructions furent entreprises par Jules César Borromée (1593-1638), Charles III (1586-1652) fut l’auteur d’une véritable campagne d’acquisitions qui aboutit à de premières interventions concrètes; ce dernier voulut appeler l’île « Isabella », en l’honneur de sa femme Isabella D’Adda.
Les vrais protagonistes de la transformation de l’île furent cependant les fils, le cardinal Giberto III (1615-1672) et, notamment, Vitalien VI (1620-1690), qui transformèrent et améliorèrent le projet primitif de leur père.
Palais et jardins furent conçus comme une seule unité de gros impact scénographique: l’île prit la forme d’un vaisseau imaginaire, avec sa villa construite dans la partie la plus étroite au nord (pont avant) et le jardin dans la partie la plus vaste de la zone méridionale (pont arrière). A la réalisation de cette vision se succédèrent, de la moitié du XVIIe siècle jusqu’à la moitié du XIXe siècle, d’importants architectes tels que Giovanni Angelo Crivelli, Filippo Gagnola, Carlo Fontana et, plus tard encore, Giulio Galliori, Cosimo Morelli, Giuseppe Zanoia et Luigi Canonica. Après des siècles de travail, le prince Vitalien X Borromée Arese (1892-1982) achèvera le palais par la construction du « Grand Salon » (1948-1952), de la façade nord et du grand môle à l’extrémité supérieure de l’île (1948-1958).