Weber värvati kodusõja võitlemiseks kolonelina 16. mail 1861. Ta tõi üles Saksa-Ameerika üksuse, mida tuntakse kui "Turner Rifles", kompanii, mis lõpuks sai osa 20. New Yorgi jalaväest. Weber oli paigutatud Fort Monroe Virginia. Ta osales Fort Hatteras'i vallutamises.
- Jah. Septembrist 1861 kuni maini 1862 oli ta Fort Monroos asuva Camp Hamiltoni komandör. 28. aprillil 1862 sai ta vabatahtlike brigadigeneraliks. Ta oli Newport News'is "Monitor" ja "Virginia" võitluse ajal, ootades Konföderatsiooni rünnakut maalt. Ta osales Norfolki vallutamises, Virginias, mais, ja siis juhtis Suffolki kuni septembrini, mil ta määrati Potomaci armee, kus ta juhtis Potomaci armee kolmanda brigaadi, kolmanda diviisi, teise armee korpuse.