Похоже, что вам «посчастливилось» наткнуться на ошибку, с которой разработчики вяло борются уже более года (см., напр., проблемы [#45725](https://github.com/pandas-dev/pandas/issues/45725) и [#50758](https://github.com/pandas-dev/pandas/issues/50758)). В начале этого года проблему как будто [решили](https://github.com/pandas-dev/pandas/pull/50760), но изменение, вероятно, появится только в версии pandas 2.0, которая должна была выйти в марте, но, видимо, «что-то пошло не так»…

В вашем случае можно просто заменить `pd.NA` на `np.nan` или `None`.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence