@thecho7 , @seungtaek94
Thank you for your reply. 
먼저 꼼꼼한 답신 주셔서 감사합니다.
제 질문이 조금 불명확하게 표현된 것 같습니다.
예를 들어, 아래와 같은 fp32 weight가 있는 경우
torch.float32
tensor([-1.0000,  0.3520,  1.3210,  2.0000])

해당 데이터를 아래와 같이 양자화 시킬 수 있습니다.
(아래 포맷이 Torch에서 제공하는 Dynamic Quantization model의 레이어/데이터 표현법으로 확인하였습니다.
torch.quint8
tensor([-1.0000,  0.4000,  1.3000,  2.0000], size=(4,), dtype=torch.quint8,
       quantization_scheme=torch.per_tensor_affine, scale=0.1, zero_point=10)

이 때, weight의 datetype은 말씀처럼 "quint8"이라 fp32에 비해 적은 공간을 사용함으로 모델 사이즈가 줄어든다는 것은 이해하였습니다.
다만, logging을 할 때 왜 정수(int)가 아닌 소수(float)으로 표현되는지가 의문이었습니다.
양자화를 거친 weight의 value는 Quant/DeQuant(fp32->int8->fp32) 작업으로 인해서 quantization noise가 조금 섞인 값으로 보입니다.
질문을 정리하자면 아래와 같습니다.

Dynamic Quantization에서 모델을 저장할 때는 int로 저장하고, load를 할 때에 fp32로 convert를 하는건가요? (만약 맞다면, 그 이유는 무엇인가요?)
Dynamic Quantization에서는 int 연산에 최적화된 Quantized_operators를 사용하지 않는건가요?

감사합니다.
First of all, Thank you for your detail reply.
I think my question is a little bit unclear.
for example, if there are weights of fp32 datatype as below
torch.float32
tensor([-1.0000,  0.3520,  1.3210,  2.0000])

the data can be quantized as follows
torch.quint8
tensor([-1.0000,  0.4000,  1.3000,  2.0000], size=(4,), dtype=torch.quint8,
       quantization_scheme=torch.per_tensor_affine, scale=0.1, zero_point=10)

I understand the model size can be reduced by using less space compared to fp32.
Because the datatype of the weight is converted fp32 to quint8.
However, I was wondering why it is expressed as a decimal number (float) instead of an integer (int) when logging.
To summarize the questions:

When saving a model in Dynamic Quantization, does PyTorch Quant lib save it as int and convert it to fp32 when loading? (If yes, why?)
Does Dynamic Quantization not use Quantized_operators optimized for int operations?

thank you.