Il progetto di Stibbert si articolò nel corso degli anni. Già al suo rientro a Firenze dopo gli anni della scuola iniziò la costituzione delle raccolte di armi e armature; col tempo si affiancarono i costumi, la quadreria, gli arazzi, gli oggetti di arredo e di arte applicata nel desiderio di documentare tutti i settori in cui le modificazioni del gusto e lo sviluppo delle tecniche produttive stimolavano la realizzazione di oggetti d'arte.
Attualmente l'intera collezione è costituita da oltre 36.000 numeri di inventario (per circa cinquantamila oggetti), per la maggior parte esposti, frutto del nucleo originale lasciato da Stibbert alla sua morte ma incrementato da vari doni e acquisti posteriori.