Nachdem er jedoch einige Preise für Dichtung und Literatur gewann, spielte der Glaube für ihn eine immer größere Rolle, sodass er sich entschied, Theologie zu studieren. 1814 wurde Lyte Diakon und im nächsten Jahr Priester.