Il Convento dei Padri Carmelitani è posto al di fuori del centro abitato, molto in alto rispetto ad esso, e costituisce luogo ideale di ritiro spirituale per la tranquillità della natura e del silenzio che lo circonda. Il primo insediamento risale al '400, ma fu nel 1604 che Papa Clemente VIII Aldobrandini accolse la richiesta del Venerabile Padre Pietro della Madre di Dio, Commissario apostolico della Congregazione d'Italia dei Carmelitani Scalzi, destinandolo ad eremo. Nonostante la natura isolata e solitaria del luogo, vi si svolsero all'interno diverse attività, fu Seminario delle Missioni dal 1605 al 1612, sede di noviziato, di studi filosofici e di preparazione per i neo professi. Inizialmente la chiesa era posta nel salone accanto alla sagrestia; l'attuale chiesa, a croce greca, venne edificata nel 1660 e dedicata al Papa San Silvestro. È di modeste dimensioni ed ai tre altari originari ne è stato aggiunto uno ulteriore dedicato alla Madonna del Carmine. Nel 1926 vi venne eretta una cappella in onore di Santa Teresa del Bambino Gesù. La facciata venne costruita solo nel 1854 per ordine del Cardinale Mattei. Nel 1874 venne espropriato dallo Stato e divenne proprietà del Comune che lo adibì a casa di riposo per anziani. Venne in seguito riscattato dai Carmelitani all'asta pubblica e destinato nel 1920 a collegio per gli aspiranti ed a tale scopo adeguatamente restaurato. All'intervento di restauro contribuì anche Papa Benedetto XV; l'ultima opera di ristrutturazione risale ai lavori di ampliamento del secondo piano (1955-56) per creare spazi più confortevoli ed adatti alla comune vita di preghiera. Dal 1997 è ufficialmente "Casa di Accoglienza e Spiritualità". All'interno del convento è stata allestita una piccola pinacoteca, retrostante la sagrestia, grazie alle donazioni di privati. Alla collezione, quasi interamente seicentesca, di scuola caravaggesca e manierista, manca l'importante dipinto di Gherardo delle Notti rappresentante San Giuseppe falegname e Gesù bambino, trafugato pochi anni fa.
La chiesa è aperta nei seguenti orari: 8.30-12.30 e 15-18.30. È possibile visitare la pinacoteca solo su prenotazione.