Ce prieuré devient ensuite « le château de Paillerols » et les vestiges de cette construction romane restèrent longtemps le symbole du domaine, jusqu’en 1960, date à laquelle le « vieux château» fut détruit par EDF pour la construction du canal de Provence. Aujourd’hui, il ne reste, enfoui sous les ronces, qu’un puits roman de 53 m de profondeur en pierres appareillées. Et, à quelques kilomètres, la chapelle Saint Honorat dépendant du prieuré subsiste avec sa porte caractéristique de l’époque chalaisienne.
Le domaine fut vendu le 20 février 1792, comme bien national, à Jean-David BAUX, négociant à Marseille. Esprit Raibaud-L’Ange le rachète en juin 1811 et le laisse d’abord en fermage. c’est probablement en 1818 qu’il en reprend la direction de la ferme : il entreprend alors sa modernisation et la construction du château actuel. Dans un rapport à la Société Nationale et Centrale d’Agriculture de Paris en 1849, il fait notamment mention de 2000 oliviers plantés après 1823 à partir des rejets de vieux oliviers qui avaient résistés aux gelées de 1709 et 1820. Esprit Raibaud-L’Ange eut un fils, Henri, qui contribua fortement à la notoriété du domaine de Paillerols…
Chapelle Saint Honorat 
Puits du « vieux château » Vestiges en 1957