They might notice. Or worse, if you say "woman," people on the other end of the table think you're asking for special treatment, or complaining.
주목하겠지요. 더 심하게는 "여성"에 대해 말하면 반대편 탁자에 앉은 사람들은 특별 대우를 원하거나 불평한다고 생각하지요.