Na mieste súčasného múzea Calvet bol predtým kardinál rezidencie - Livre de Cambrai, pomenovaný na počesť kedysi tu žila D'Ayli Pierre Cardinal biskupa de Cambrai. V roku 1719 bol objekt predaný Francois-Rene de Villeneuve, markíz de seigneur d'Arzele a Martignano.

V roku 1734 jeho syn Jacques-Ignace de Villeneuve sa rozhodli rozšíriť ich držanie a postaviť nový palác. Stavba bola zahájená pod vedením Thomasa Laine, ale potom zmenil jeho architekti Jean-Baptiste Francesco Frank a Frank. Stavba bola dokončená až v roku 1749. V roku 1802 kúpil dom Deletro obchodníka, ktorý na oplátku odovzdal budovu na prenájom orgány Avignon umiestniť kolekciu tu Esprit Calvet. 03.03.1833 bola budova kúpil obec Avignonu pre múzeá. Dňa 1. októbra 1963 mestský dom Villeneuve-Martignano na zozname historických pamiatok Francúzska.

To ubytuje jednu z najväčších zbierok obrazov vo Francúzsku. Zbierať zbierka začala obvodného lekára (numizmatika, bibliofília a archeológ) Esprit Calvet, a neskôr, v roku 1810, odkázal svoju zbierku obrazov do múzea a knižnice. Muzeálne expozície sú diela úžitkového umenia, sochy, porcelán, ale veľmi zaujímavý maliarskeho oddelenie, ktoré pokrývajú obdobie od XVI do XX storočia - podľa Vasari a Luca Giordano Dávidovi, Corot, Manet, Bonnard a Soutine.

Tu, v mestskom dome Villeneuve-Martignano, ku ktorému boli pridané do modernej budovy, to je hlavný kolekcia. Knižnica, Calvet a zbieral významnú zbierku takmer 12 000 mincí a medailí boli presunuté na iné miesta.