config.json

{
  "quantization_config": {
        "bits": 4
    }
}