Esimene alaline komitee moodustati 1928. aasta juulis Hiina Kommunistliku Partei 6. Keskkomitee koosolekul. 1934. aasta jaanuari ja Hiina Kommunistliku Partei 8. Rahvuskongresi 1. täiskogu istungi vahel
1956. aastal asendati alaline komitee Hiina Kommunistliku Partei Kesksekretariaadiga. Kommunistliku partei varases ajaloos peeti seda kõrgeimaks keskorganiks, mis pidi teostama partei keskkomitee igapäevast tööd. See koosnes suuremast politbüroo (s.o "Politbüroo") tippjuhtidest. Erinevalt enamikust teistest maailma kommunistlikest parteidest, mis olid kujundatud Lenini partei järgi, moodustas KPV alalise komitee, sest politbüroo (tavaliselt kommunistliku partei kõrgeim organ) peeti liiga suureks ja keeruliseks, et otsuseid tõhusalt teha.