Crkveni Celestines u obliku u kojem se može vidjeti i danas, sagrađena je u XV stoljeću. Njegova izgradnja je započela 1396., a provedena je gotovo stotinu godina. U početku, bilo je skromna drvena kapela izgrađena iznad mjesta ukopa sv Petra u Luksemburgu. U čast ovog ukopa se zove i područje oko kapele - Place de Saint Corp (područje svetih relikvija).

Petar Luksemburg je poznato da je postao visoki sveštenik u mladosti - s 15 godina bio biskup Metza, a zatim ubrzo dobila titulu kardinala, au 18 godina (1387) umro je od potrošnje. Nakon njegove sahrane u Avignonu glasine o čudnim kardinal ostataka i redovnicima Reda Celestines odlučio sagraditi nad grobom samostana. Do svetih Petra Luksemburg je upisan samo u 1527., a prije toga su mu relikvije su počašćeni bez službenog priznavanja svetosti Crkve.

Kasnije, pored crkve Celestines kapele sagrađena u čast drugog sveca - Benezeta, jedan od najviše cijenjen u Avignonu. Prema lokalnoj legendi, u zemaljskom životu bio jednostavan pastir Benezet, koji je Krist pojavio i rekao mu da izgradi Avignon most preko Rhone. Kad su stanovnici grada zahtijevao Benezeta im pokazati svoju ekskluzivnost i da bi bilo čudo, on je nosio kroz grad na rijeci, a veliki kamen odredila im mjesto za izgradnju. Benezet živio u XII stoljeću, a kanoniziran u XIV stoljeću.

Crkva Celestines imao mnogo vrijednosti - vjerske umjetnička djela i pribor, koji je u vrijeme Francuske revolucije su spaljene i sama crkva je pretvorena u vojarnu. Preživjeli relikvije Celestines naći utočište u drugim crkvama Avignon - na primjer, relikvije sv Benezeta pokopan u crkvi sv Adeodata.

Trenutno crkva dvorište postaje pozornica za vrijeme godišnjeg festivala srpnja.