 Kọ itẹsiwaju fun paragirafi yii - Ni Oṣu kejila ọjọ 11, Ọdun 2003, a ṣe iṣowo Brown si New York Yankees gẹgẹbi apakan ti adehun ti o firanṣẹ Jeff Weaver, Yhency Brazobán, Brandon Weeden, ati  2.6 milionu ni owo si Los Angeles. Ni ọdun 2004, o fi igbasilẹ 106 silẹ pẹlu 4.09 ERA, ṣugbọn o ni awọn iṣoro ilera lakoko akoko naa. Nígbà tí wọn fẹ parí eré ìdárayá náà, inú rẹ bà jẹ débi pé ó lu ògiri kan, ó sì fi ọwọ rẹ ṣèṣe. Ó ṣe dáadáa nínú ìdíje Division Series, ṣùgbọn ó ṣe dáadáa nínú ìdíje keje nínú ìdíje American League Championship Series 2004 : èyí tí wọn fi ń rántí rẹ, tí kò tó ìpele méjì nígbà tí ó fi ìpele márùn-ún ṣeré, tó fi mọ ìpele méjì tí David Ortiz fi ṣeré. 