Bạn có thể chỉ cách để finetune từ Vintern-1B-3.5 ?
Hi bạn.
Mình đã thử để finetune Vintern-1B-3.5 để ra mô hình như bạn nhưng vẫn bị thất bại vì flash-attn( thử nhìu cách như đổi config, tìm cách cài flash-attn...). Không biết bạn coa thể chỉ mình cách để xử lý không. Cảm ơn bạn rất nhiều, một số nội dung mình cần hỏi:
1/ môi trường : Colab phải không ạ.
2/ bạn có cài lại torch và cuda không ạ
3/ bạn cìa flash-attn bằng cách nào ạ? Hoặc vô hiệu fash-attn như thế nào.
Cảm ơn bạn rất nhiều, thông tin của bạn sẽ giúp mình rất nhiều thời gian và công sức mày mò ạ
mình finetune ở kaggle á, đợt mình có thử colab thì vẫn ok á. Mình k có xài flash-attn ạ. Nếu được thì bạn nhắn tin riêng cho mình cho tiện trao đổi nhé , thông tin liên hệ chắc bạn vào đây https://github.com/HTAnh2003 nhé. Mình sợ gửi sdt zalo lên đây k tiện.