Skryf 'n voortsetting vir hierdie paragraaf - In 1850 het Penniman die sittende Demokraat Alexander W. Buel verslaan om as 'n Whig uit Michigan se 1ste kongresdistrik tot die 32ste Kongres verkies te word, wat van 4 Maart 1851 tot 3 Maart 1853 gedien het. Hy was die eerste Plymouth-burger wat na die Verenigde State se Kongres verkies is. Hy was nie 'n kandidaat vir herbenoeming in 1852 nie. Hy was 'n lid van die konvensie wat op 6 Julie 1854 onder die eike in Jackson, Michigan, by die organisasie van die Republikeinse Party in Michigan vergader het. Hy was 'n afgevaardigde na die 1856 Republikeinse Nasionale Konvensie
van Michigan.