Update app.py

app.py

@@ -71,6 +71,8 @@ def infer(
             out_str += tmp
             yield out_str.strip()
             out_last = i + 1
+    gc.collect()
+    torch.cuda.empty_cache()
     yield out_str.strip()
 
 examples = [