Группа дебютировала, выпустив сингл Seventeen Years на звукозаписывающем лейбле Эвана и его брата E \ * Rock Audio Dregs в США и Rex Records в Великобритании.
В 2004 году они выпустили свой дебютный альбом Ratatat, в который вошли такие песни, как Seventeen Years, Germany to Germany и Desert Eagle.