q4_K     [  5120, 13824,     1,     1 ]    llama_model_loader: - tensor  361:          blk.39.attn_norm.weight f32      [  5120,     1,     1,     1 ]    llama_model_loader: - tensor  362:           blk.39.ffn_norm.weight f32      [  5120,     1,     1,     1 ]    llama_model_loader: - kv   0:                       general.architecture str         llama_model_loader: - kv   1:                               general.name str         llama_model_loader: - kv   2:                       llama.context_length u32         llama_model_loader: - kv   3:                     llama.embedding_length u32         llama_model_loader: - kv   4:                          llama.block_count u32         llama_model_loader: - kv   5:                  llama.feed_forward_length u32         llama_model_loader: - kv   6:                 llama.rope.dimension_count u32         llama_model_loader: - kv   7:                 llama.attention.head_count u32         llama_model_loader: - kv   8:              llama.attention.head_count_kv u32         llama_model_loader: - kv   9:     llama.attention.layer_norm_rms_epsilon f32         llama_model_loader: - kv  10:                       llama.rope.freq_base f32         llama_model_loader: - kv  11:                          general.file_type u32         llama_model_loader: - kv  12:                       tokenizer.ggml.model str         llama_model_loader: - kv  13:                      tokenizer.ggml.tokens arr         llama_model_loader: - kv  14:                      tokenizer.ggml.scores arr         llama_model_loader: - kv  15:                  tokenizer.ggml.token_type arr         llama_model_loader: - kv  16:               general.quantization_version u32         llama_model_loader: - type  f32:   81 tensors    llama_model_loader: - type  f16:    1 tensors    llama_model_loader: - type q4_0:    1 tensors    llama_model_loader: - type q4_K:  240 tensors    llama_model_loader: - type q6_K:   40 tensors    llm_load_print_meta: format         = GGUF
Open In Collab
Open In Collab ->: q4_K     [  5120, 13824,     1,     1 ]    llama_model_loader: - tensor  361:          blk.39.attn_norm.weight f32      [  5120,     1,     1,     1 ]    llama_model_loader: - tensor  362:           blk.39.ffn_norm.weight f32      [  5120,     1,     1,     1 ]    llama_model_loader: - kv   0:                       general.architecture str         llama_model_loader: - kv   1:                               general.name str         llama_model_loader: - kv   2:                       llama.context_length u32         llama_model_loader: - kv   3:                     llama.embedding_length u32         llama_model_loader: - kv   4:                          llama.block_count u32         llama_model_loader: - kv   5:                  llama.feed_forward_length u32         llama_model_loader: - kv   6:                 llama.rope.dimension_count u32         llama_model_loader: - kv   7:                 llama.attention.head_count u32         llama_model_loader: - kv   8:              llama.attention.head_count_kv u32         llama_model_loader: - kv   9:     llama.attention.layer_norm_rms_epsilon f32         llama_model_loader: - kv  10:                       llama.rope.freq_base f32         llama_model_loader: - kv  11:                          general.file_type u32         llama_model_loader: - kv  12:                       tokenizer.ggml.model str         llama_model_loader: - kv  13:                      tokenizer.ggml.tokens arr         llama_model_loader: - kv  14:                      tokenizer.ggml.scores arr         llama_model_loader: - kv  15:                  tokenizer.ggml.token_type arr         llama_model_loader: - kv  16:               general.quantization_version u32         llama_model_loader: - type  f32:   81 tensors    llama_model_loader: - type  f16:    1 tensors    llama_model_loader: - type q4_0:    1 tensors    llama_model_loader: - type q4_K:  240 tensors    llama_model_loader: - type q6_K:   40 tensors    llm_load_print_meta: format         = GGUF