保安隊
1954年（昭和29年）3月に日米相互防衛援助協定が結ばれ、日本は「自国の防衛力の増強」という義務を負うことになった。これを受けて同年6月に自衛隊法と防衛庁設置法を成立させ、翌7月に陸上自衛隊・海上自衛隊・航空自衛隊の管理・運営を行う防衛庁が発足し、保安庁は発展的に廃止されて業務は防衛庁に引き継がれた。警察の補完組織だった保安隊が、国防を任務とする自衛隊になったために新任務にふさわしい宣誓が求められ、全隊員の6%にあたる約7,300人が宣誓拒否して退官した。大部分が陸上自衛官の任期制隊員とされる（1954年8月9日参院内閣委、木村篤太郎防衛庁長官）。警察予備隊から保安隊への移行にともない、警察予備隊の警察官は保安官となった。保安隊から陸上自衛隊へ移行した際、保安官は陸上自衛隊の自衛官（陸上自衛官）となった。
海上自衛隊
同年8月1日、総理府の外局として保安庁が創設された。海上警備隊と航路啓開本部（掃海部隊）は警備隊として統合のうえで海上保安庁から分離され、警察予備隊とともに保安庁の傘下に入った。そして1954年（昭和29年）7月、保安庁が防衛庁に移行するとともに、警備隊も海上自衛隊に発展改編された。この過程で、旧海軍の港湾施設、航空基地等は、そのまま海上自衛隊が引き継ぐことになった。中でも護衛艦「わかば」は、旧海軍の駆逐艦「梨（なし）」をそのまま海上自衛隊の護衛艦として運用し、旧海軍の伝統を継承する象徴となった。