Petit Palais sagrađena je 1317. godine. Ona se nalazi u sjevernom dijelu trga, ispred rezidencije Papinske države, te je tako nazvan zbog svoje skromne veličine i vrijednosti u odnosu na Palače papa.

Priča o svom izgledu nejasna: prema jednoj verziji - to je sagrađen za nećaka pape Ivana XXII, Arnaud de Via, s druge strane - to je sagradio kardinal Bérengère F. Elder. Nakon njegove smrti, palača i zemljište je kupio kardinal Arnaud de Via. U 1335. Via De umro i palača pripadao nitko do dolaska Pape Benedikta XII, koji je ponovno kupio i pretvorio u službenoj rezidenciji nadbiskupa Avignon.

Zgrada je stradao u razdoblju od 1396. 1411. Budući da se smatra uporište u Avignon papa tvrdim. Nakon prestanka neprijateljstava, palača postupno pala u zapuštenost. U drugoj polovici XV stoljeća, biskup Alain de Kotivi i njegov nasljednik Giuliano della Rovere (koji će kasnije postati papa Julije II) odlučio je obnoviti zgradu i 1503. dao mu je gotovo iskonsko oblik. Della Rovere je stigao u Avignon u 1474., kao što je bio imenovan njegov ujak, Siksto IV, biskup Avignon. Dodao je na južnim i zapadnim fasada u talijanskom renesansnom stilu, a 1487. podignut toranj (kasnije, u 1767 je bio uništen).

Tijekom Francuske revolucije, palača je postala vlasništvo države, u XIX stoljeću bila katolička škola a kasnije strukovne škole. Tek na kraju XX stoljeća na teritoriju palače je muzej.

Od 1958. godine, au njemu se nalazi Muzej srednjem vijeku. U 1976. bilo je otvorio umjetničku galeriju djela majstora renesanse. 19 sobe muzeja, osobito rad Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, uključujući tu je poznati "Madona" Botticelli.