Petit Palais bola postavená v roku 1317. Nachádza sa v severnej časti námestia, v prednej časti pobytu pápežských štátov, a je tak pomenovaný pretože jeho malá veľkosť a hodnoty v porovnaní s Palác pápežov.

Príbeh o jeho vzhľade vágne: podľa jednej verzie - to bolo postavené pre synovcom pápeža Jána XXII, Arnaud de Via, na strane druhej - to bolo postavené kardinál Berenger F. Elder. Po jeho smrti, palác a pozemky kúpil kardinál Arnaud de Via. V roku 1335 Via De zomrel a patril palác nikto až do príchodu pápeža Benedikta XII, ktorý ju kúpil znova a obrátil sa do oficiálne sídlo arcibiskupa Avignon.

Budova bola ťažko poškodená v období od roku 1396 prostredníctvom 1411. Vzhľadom k tomu, to bolo považované za tvrz pápežov Avignon opevnených. Po skončení nepriateľských akcií, palác postupne chátral. V druhej polovici storočia XV, biskup Alain de Kotivi a jeho nástupca Giuliano della Rovere (kto by neskôr sa stal pápež Július II) rozhodol obnoviť budovu 1503 dal mu takmer prapôvodnej formulár. Della Rovere prišiel do Avignonu v roku 1474, keď bol menovaný jeho strýkom, pápeža Sixta IV, biskupa Avignon. Dodal, na južnej a západnej fasády v štýle talianskej renesancie a v roku 1487 postavili vežu (neskôr, v roku 1767 to bolo zničené).

Počas francúzskej revolúcie, sa palác stal majetkom štátu, v XIX storočia to bola katolícka škola a neskôr odborná škola. Až na konci XX storočia na území paláca bolo múzeum.

Od roku 1958 tu sídli múzeum stredoveku. V roku 1976 tu bola otvorená umeleckú galériu diel majstrov renesancie. 19 izieb múzea, najmä práce Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, vrátane tu je slávny "Madonna" Botticelli.