沿岸警備隊
第二次世界大戦後、旧大日本帝国海軍の残余艦艇と人員をもとに初期の海上保安庁が創設された。連合国軍による日本の非武装化政策により、当初の人員は1万名以内、船舶は125隻5万トン以下、武装も小火器のみに限られている。創設直後には掃海活動も重要な任務の一つとされ、その一部は朝鮮戦争に出動しており、作業中の事故で1名が殉職している。1952年（昭和27年）4月26日に将来的な分離独立までの臨時的措置として海上保安庁内に旧海軍軍人主体の海上警備隊（Maritime Safety Security Force）が創設され、同年8月1日には掃海部隊も含めて保安庁の警備隊（Safety Security Force）となり、1954年（昭和29年）7月1日の防衛庁設置に伴い海上自衛隊に改編された。このとき、「海上公安局」へ再編される予定であった海上保安庁の本体部分（海上警備隊系統を除く部分）は、組織移行を免れそのまま海上保安庁として存続することとなった。
海上護衛隊
1942年（昭和17年）3月27日、海軍大臣は「特設艦船部隊令」に特設海上護衛隊の制度を加えた。4月2日、永野修身軍令部総長は昭和天皇に戦時編制改訂について上奏、この中で新設予定の海上護衛隊について解説した。
4月10日、海軍は戦時編制の大幅な改定を実施する。この中で、海上交通保護の一貫性と指揮の一元化という見地から、占領地の資源を輸送するシーレーン防衛を目的とした船団護衛部隊を編制した。
これが第一海上護衛隊（東南アジア～内地担当、南西方面艦隊所属）と第二海上護衛隊（南洋諸島～内地担当、第四艦隊所属）である。
しかし老朽艦艇や特設艦艇が主力で対潜・対空装備が充実した専用艦艇が配備されず、兵力も少なかった。連合軍による通商破壊が本格化すると対応できず、輸送船団に甚大な被害が続出した。その後、新型海防艦の大量建造がすすむと各海上護衛隊に配備されたほか、航空部隊も編入されるなど戦力の増強が図られた。