Sündinud Berliinis ja Saksa Kommunistliku Partei teise põlvkonna liige, Mielke oli üks kahest käivitajast, kes 1931. aastal mõrvasid Berliini politsei kaptenid Paul Anlafi ja Franz Lencki.
- Jah. Kui Mielke sai teada, et üks tunnistaja on ellu jäänud, põgenes ta arreteerimisest ning põgenes Nõukogude Liitu, kus NKVD ta värbas. Ta oli üks peamisi figuure Moskvas Saksa kommunistide hävitamisel Suurpuhastuse ajal ning Hispaania kodusõja ajal Rahvusvahelises Briigaadis kahtlustatavate anti-stalinistide metsikus tagakiusamises.