Na mjestu sadašnjeg Muzeja Calvet je bivši kardinal rezidencija - Livre de Cambrai, nazvana u čast nekada živjeli ovdje D'Ayli Pierre kardinala, biskupa de Cambrai. U 1719. zgrada je prodana Francois-Rene de Villeneuve, Markiza de Seigneur d'Arzele i Martignano.

U 1734. njegov sin Jacques Villeneuve-Ignace de odlučio proširiti svoje posjede i izgraditi novu palaču. Izgradnja je započela pod vodstvom Thomasa Laine, ali onda promijenio svoje arhitekte Jean-Baptiste Francesco Frank i iskren. Građevinski radovi dovršena tek 1749.. U 1802, on je kupio kuću Deletro trgovac, koji je pak predao zgrade za najam Avignon vlasti da stavite kolekciju ovdje Esprit Calvet. 3. ožujak 1833 zgrada je kupio općini Avignon za muzej. Dana 1. listopada 1963. gradska kuća Villeneuve-Martignano na popisu povijesnih spomenika Francuskoj.

U njoj se nalazi jedna od najvećih zbirki slika u Francuskoj. Prikupiti skup započeo lokalnog liječnika (Numizmatičar, bibliofil i arheolog) Esprit Calvet, a kasnije, u 1810, on je ostavio svoju zbirku slika u muzej i biblioteka. Muzejski eksponati su djela primijenjene umjetnosti, skulpture, porculan, ali vrlo zanimljiv slikarskog odjela za razdoblje od XVI do XX stoljeća - po Vasari i Luca Giordano Davidu Corot, Maneta, Bonnard i Soutine.

Ovdje, u gradskoj kući Villeneuve-Martignano, kojoj su dodani modernih zgrada, to je glavni skup. Knjižnica, Calvet i uzima značajan zbirka od gotovo 12 000 kovanica i medalje su se preselili na druga mjesta.