They might notice. Or worse, if you say "woman," people on the other end of the table think you're asking for special treatment, or complaining.
「女性」なんて口にしようものなら テーブルの向こう側の人たちに 特別待遇を求めているとか 不満を言っているとか思われかねません