Fe gafodd swyddogion o Heddlu Dyfed Powys eu galw i gyfeiriad yn y dref ar 30 Mawrth yn dilyn adroddiadau fod babi yn wael.
Cafodd y babi ei gludo i'r ysbyty mewn ambiwlans, ond bu farw'n ddiweddarach.
Fe gafodd dau o bobl eu harestio ar amheuaeth o esgeulustod yn dilyn y farwolaeth, ac yna eu rhyddhau tra bod yr heddlu yn parhau i ymchwilio.
Dywedodd yr heddlu fod dynes 24 oed wedi ei harestio ymhellach ar amheuaeth o ddynladdiad.
Mae dau o bobl wedi eu harestio yn dilyn marwolaeth babi yng Nghei Newydd, Ceredigion yr wythnos diwethaf.