保安隊
1954年（昭和29年）3月に日米相互防衛援助協定が結ばれ、日本は「自国の防衛力の増強」という義務を負うことになった。これを受けて同年6月に自衛隊法と防衛庁設置法を成立させ、翌7月に陸上自衛隊・海上自衛隊・航空自衛隊の管理・運営を行う防衛庁が発足し、保安庁は発展的に廃止されて業務は防衛庁に引き継がれた。警察の補完組織だった保安隊が、国防を任務とする自衛隊になったために新任務にふさわしい宣誓が求められ、全隊員の6%にあたる約7,300人が宣誓拒否して退官した。大部分が陸上自衛官の任期制隊員とされる（1954年8月9日参院内閣委、木村篤太郎防衛庁長官）。警察予備隊から保安隊への移行にともない、警察予備隊の警察官は保安官となった。保安隊から陸上自衛隊へ移行した際、保安官は陸上自衛隊の自衛官（陸上自衛官）となった。
護衛艦隊
海上自衛隊の発足時に自衛艦隊が新編されたが、保安庁警備隊時代の編成を踏襲した第1護衛隊群と第2護衛隊群（PF隊）と第1警戒隊群（LSSL隊）から成り、護衛艦部隊としての指揮結節は存在しなかった。また、当時航空部隊は地方隊隷下にあったため空水協同の対潜作戦には戦術思想の統一、空水協同戦術の連係に円滑を欠くきらいがあり、対潜航空部隊を自衛艦隊隷下に加えるため、自衛艦隊を改編する必要があった。その後、第1次防衛力整備計画期間中の1960年（昭和35年）12月に第3護衛隊群が新編。第2次防衛力整備計画の合間にあたる1961年（昭和36年）9月1日、自衛艦隊の改編により、旗艦「てるづき」（DD-162）及び第1、第2、第3護衛隊群の3個護衛隊群をもって護衛艦隊が編成された。第1護衛隊群（横須賀）はDD×5隻とDE×3隻、第2護衛隊群（佐世保）はDD×11隻、第3護衛隊群（舞鶴）は貸与DE×2隻と貸与PF×6隻であり、主力の2個群と旧式艦からなる1個群として位置づけられていた。