Create app.py

app.py

@@ -0,0 +1,47 @@
+import gradio as gr
+from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer
+import torch
+
+# Load model và tokenizer (chọn model mày muốn ở đây)
+model_id = "Qwen/Qwen3-0.6B-Chat"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
+model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True)
+streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+
+# Hàm xử lý chat
+def chat_with_model(history, user_input):
+    # Lịch sử chat dưới dạng [(user, bot), ...]
+    messages = []
+    for user_msg, bot_msg in history:
+        messages.append({"role": "user", "content": user_msg})
+        messages.append({"role": "assistant", "content": bot_msg})
+    messages.append({"role": "user", "content": user_input})
+
+    # Tokenize và sinh
+    input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)
+    output = model.generate(input_ids, max_new_tokens=1024, streamer=streamer, do_sample=True, temperature=0.7)
+    decoded_output = tokenizer.decode(output[0][input_ids.shape[1]:], skip_special_tokens=True)
+
+    # Trả về output và update history
+    return decoded_output, history + [(user_input, decoded_output)]
+
+# Gradio UI
+with gr.Blocks(title="Chat với Qwen3") as demo:
+    gr.Markdown("# Chat với AI - Qwen3 Model")
+
+    chatbot = gr.Chatbot(height=400)
+    user_input = gr.Textbox(placeholder="Nhập tin nhắn...", label="Mày nói gì?")
+    clear = gr.Button("Xoá sạch")
+    
+    state = gr.State([])
+
+    def respond(message, history):
+        response, updated_history = chat_with_model(history, message)
+        return updated_history, updated_history
+
+    user_input.submit(respond, [user_input, state], [chatbot, state])
+    clear.click(lambda: ([], []), None, [chatbot, state])
+
+# Chạy app
+demo.launch()