Đưa ra những đoạn văn này về các mô hình ngôn ngữ lớn, khi nào mô hình đầu tiên trong chuỗi GPT của OpenAI được huấn luyện?
Mô hình ngôn ngữ lớn (LLM) là một mô hình ngôn ngữ gồm một mạng nơ-ron với nhiều tham số (thường là hàng tỷ trọng số hoặc nhiều hơn), được đào tạo trên một số lượng lớn văn bản chưa được gán nhãn bằng cách sử dụng học tự giám sát. LLM đã xuất hiện khoảng năm 2018 và hoạt động tốt ở nhiều công việc khác nhau. Điều này đã chuyển hướng nghiên cứu xử lý ngôn ngữ tự nhiên từ mô hình chuyên biệt được đào tạo cho các nhiệm vụ cụ thể.

Tính chất
Mặc dù thuật ngữ mô hình ngôn ngữ lớn không có định nghĩa chính thức, nhưng nó thường ám chỉ đến các mô hình học sâu có số lượng tham số vào khoảng hàng tỷ hoặc hơn. LLM là các mô hình đa năng, xuất sắc trong một loạt các nhiệm vụ, trái ngược với việc được đào tạo cho một nhiệm vụ cụ thể (chẳng hạn như phân tích tình cảm, nhận diện thực thể được đặt tên, hoặc suy luận toán học). Kỹ năng mà chúng đạt được trong các nhiệm vụ và phạm vi các nhiệm vụ mà chúng có khả năng thực hiện dường như là một chức năng của số lượng tài nguyên (dữ liệu, kích thước tham số, sức mạnh tính toán) được dành cho chúng, theo cách không phụ thuộc vào các đột phá thiết kế bổ sung.

Mặc dù được đào tạo trên các nhiệm vụ đơn giản như dự đoán từ tiếp theo trong một câu, các mô hình ngôn ngữ nơ-ron với đủ đào tạo và kích thước tham số được phát hiện là nắm bắt được nhiều cú pháp và ngữ nghĩa của ngôn ngữ con người. Ngoài ra, các mô hình ngôn ngữ lớn cho thấy kiến thức tổng quát đáng kể về thế giới và có khả năng "ghi nhớ" một lượng lớn sự thật trong quá trình đào tạo.

Ảo tưởng
Bài viết chính: Ảo tưởng (trí tuệ nhân tạo)
Trong trí tuệ nhân tạo nói chung, và trong các mô hình ngôn ngữ lớn nói riêng, một "ảo tưởng" là một phản hồi tự tin dường như không được biện minh bởi dữ liệu đào tạo của mô hình.

Khả năng phát sinh

Trên một số tiêu chuẩn ngôn ngữ tự nhiên liên quan đến các nhiệm vụ như trả lời câu hỏi, các mô hình không thực hiện tốt hơn cơ hội ngẫu nhiên cho đến khi chúng đạt đến một quy mô nhất định (trong trường hợp này, được đo bằng tính toán đào tạo), tại điểm mà hiệu suất của chúng tăng đột ngột. Đây là những ví dụ về khả năng phát sinh.
Các khả năng không thể đoán trước đã được quan sát trong các mô hình ngôn ngữ lớn nhưng không có trong các mô hình đơn giản hơn (và không được thiết kế cụ thể vào mô hình) thường được gọi là "khả năng phát sinh". Các nhà nghiên cứu lưu ý rằng những khả năng này "không thể được dự đoán chỉ bằng cách ngoại suy hiệu suất của các mô hình nhỏ hơn". Những khả năng này được khám phá thay vì được lập trình hoặc thiết kế, trong một số trường hợp chỉ sau khi LLM đã được công khai triển khai. Hàng trăm khả năng phát sinh đã được mô tả. Các ví dụ bao gồm toán học nhiều bước, làm bài kiểm tra trình độ đại học, xác định ý nghĩa dự định của một từ, thúc đẩy chuỗi suy nghĩ, giải mã Bảng ký hiệu ngữ âm quốc tế, giải mã chữ cái của một từ, xác định nội dung gây phản cảm trong các đoạn văn Hinglish (một sự kết hợp của Hindi và tiếng Anh), và tạo ra một tương đương tiếng Anh tương tự cho các câu tục ngữ Kiswahili.

Kiến trúc và đào tạo
Các mô hình ngôn ngữ lớn sử dụng kiến trúc bộ biến đổi (transformer) phổ biến nhất, từ năm 2018 trở đi, đã trở thành kỹ thuật học sâu tiêu chuẩn cho dữ liệu tuần tự (trước đó, các kiến trúc hồi tiếp như LSTM là phổ biến nhất). LLM được đào tạo theo cách không giám sát trên văn bản không được chú thích. Một bộ biến đổi từ trái sang phải được đào tạo để tối đa hóa xác suất được giao cho từ tiếp theo trong dữ liệu đào tạo, dựa trên ngữ cảnh trước đó. Hoặc, một LLM có thể sử dụng bộ biến đổi hai chiều (như trong ví dụ về BERT), mà xác định một phân phối xác suất trên các từ khi có thể truy cập cả ngữ cảnh trước và sau. Ngoài nhiệm vụ dự đoán từ tiếp theo hoặc "lấp đầy chỗ trống", LLM có thể được đào tạo trên các nhiệm vụ phụ trợ để kiểm tra sự hiểu biết của chúng về phân phối dữ liệu như Dự đoán Câu tiếp theo (NSP), trong đó các cặp câu được trình bày và mô hình phải dự đoán liệu chúng có xuất hiện cạnh nhau trong tập dữ liệu đào tạo hay không.

Các LLM đầu tiên được đào tạo trên các tập dữ liệu có số lượng từ vào khoảng hàng tỷ. Mô hình đầu tiên trong chuỗi GPT của OpenAI được huấn luyện vào năm 2018 trên BookCorpus, bao gồm 985 triệu từ. Cùng năm đó, BERT đã được đào tạo trên một sự kết hợp của BookCorpus và Wikipedia tiếng Anh, tổng cộng 3,3 tỷ từ. Trong những năm tiếp theo, các tập dữ liệu đào tạo cho LLM đã tăng theo cấp số lớn, đạt tới hàng trăm tỷ hoặc hàng ngàn tỷ token.

LLM tốn kém về chi phí đào tạo. Một nghiên cứu năm 2020 ước tính chi phí đào tạo một mô hình 1,5 tỷ tham số (nhỏ hơn 1-2 cấp số so với công nghệ tiên tiến nhất tại thời điểm đó) là 1,6 triệu đô la.

Một phân tích năm 2020 phát hiện ra rằng khả năng của các mô hình ngôn ngữ nơ-ron (được đo bằng tổn thất đào tạo) tăng một cách mượt mà theo một mối quan hệ lũy thừa với số tham số, số lượng dữ liệu đào tạo và tính toán được sử dụng cho đào tạo. Những mối quan hệ này đã được kiểm nghiệm trên một loạt các giá trị (lên đến bảy số mũ) và không quan sát thấy sự suy giảm của mối quan hệ ở đầu cao nhất của dải (bao gồm các kích thước mạng lên đến hàng ngàn tỷ tham số).

Ứng dụng cho các nhiệm vụ tiếp theo
Giữa năm 2018 và 2020, phương pháp tiêu chuẩn để tận dụng một LLM cho một nhiệm vụ xử lý ngôn ngữ tự nhiên (NLP) cụ thể là tinh chỉnh mô hình với đào tạo bổ sung theo nhiệm vụ cụ thể. Nó đã được phát hiện sau đó rằng các LLM mạnh mẽ hơn như GPT-3 có thể giải quyết các nhiệm vụ mà không cần đào tạo bổ sung thông qua các kỹ thuật "đưa ra yêu cầu" (prompting), trong đó vấn đề cần giải quyết được trình bày cho mô hình dưới dạng một yêu cầu văn bản, có thể kèm theo một số ví dụ văn bản về các vấn đề tương tự và giải pháp của chúng.

Tinh chỉnh
Bài viết chính: Tinh chỉnh (học máy)
Tinh chỉnh là thực hành điều chỉnh một mô hình ngôn ngữ đã được đào tạo trước đó bằng cách huấn luyện nó (theo cách được giám sát) trên một nhiệm vụ cụ thể (ví dụ: phân tích tình cảm, nhận diện thực thể được đặt tên, hoặc gán nhãn từ loại). Đây là một hình thức học chuyển giao. Nó thường liên quan đến việc giới thiệu một bộ trọng số mới kết nối lớp cuối cùng của mô hình ngôn ngữ với đầu ra của nhiệm vụ tiếp theo. Các trọng số ban đầu của mô hình ngôn ngữ có thể được "đóng băng", đến mức chỉ lớp trọng số mới kết nối chúng với đầu ra được học trong quá trình đào tạo. Hoặc, các trọng số ban đầu có thể nhận được cập nhật nhỏ (có thể với các lớp đầu tiên bị đóng băng).

Đưa ra yêu cầu
Xem thêm: Kỹ thuật đưa ra yêu cầu và Học theo ít mẫu (xử lý ngôn ngữ tự nhiên)
Trong mô hình đưa ra yêu cầu, được phổ biến bởi GPT-3, vấn đề cần giải quyết được định dạng qua một yêu cầu văn bản, mà mô hình phải giải quyết bằng cách cung cấp một phần hoàn thiện (thông qua suy diễn). Trong "đưa ra yêu cầu ít mẫu", yêu cầu bao gồm một số ít ví dụ về các cặp (vấn đề, giải pháp) tương tự. Ví dụ, một nhiệm vụ phân tích tình cảm để gán nhãn tình cảm của một đánh giá phim có thể được đưa ra như sau:

Đánh giá: Bộ phim này thật tồi tệ.
Tình cảm: tiêu cực

Đánh giá: Bộ phim này thật tuyệt vời!
Tình cảm:

Nếu mô hình xuất ra "tích cực", thì nó đã giải quyết đúng nhiệm vụ. Trong việc đưa ra yêu cầu không mẫu, không có ví dụ nào được cung cấp. Một ví dụ về một yêu cầu không mẫu cho cùng một nhiệm vụ phân tích tình cảm sẽ là "Cảm xúc liên quan đến đánh giá phim 'Bộ phim này thật tuyệt vời!' là gì".

Hiệu suất ít mẫu của LLM đã được chứng minh là đạt được kết quả cạnh tranh trong các nhiệm vụ NLP, đôi khi vượt qua các phương pháp tinh chỉnh tiên tiến trước đó. Các ví dụ về những nhiệm vụ NLP như vậy là dịch thuật, trả lời câu hỏi, nhiệm vụ lấp chỗ trống, giải mã từ và sử dụng một từ mới trong một câu. Việc tạo ra và tối ưu hóa các yêu cầu như vậy được gọi là kỹ thuật đưa ra yêu cầu.

Tinh chỉnh theo hướng dẫn
Tinh chỉnh theo hướng dẫn là một hình thức tinh chỉnh được thiết kế để tạo điều kiện cho các tương tác đưa ra yêu cầu không mẫu tự nhiên và chính xác hơn. Đối với một đầu vào văn bản, một mô hình ngôn ngữ đã được đào tạo trước đó sẽ tạo ra một phần hoàn thiện phù hợp với phân phối văn bản mà nó đã được đào tạo. Một mô hình ngôn ngữ đơn giản khi nhận yêu cầu "Viết một bài luận về các chủ đề chính của Hamlet." có thể cung cấp một phần hoàn thiện chẳng hạn như "Một khoản phạt chậm 10% mỗi ngày sẽ được áp dụng cho các bài nộp được nhận sau ngày 17 tháng 3." Trong tinh chỉnh theo hướng dẫn, mô hình ngôn ngữ được đào tạo trên nhiều ví dụ về các nhiệm vụ được định dạng dưới dạng hướng dẫn ngôn ngữ tự nhiên, cùng với các phản hồi thích hợp. Nhiều kỹ thuật cho việc tinh chỉnh theo hướng dẫn đã được áp dụng trên thực tế. Quy trình InstructGPT của OpenAI liên quan đến việc tinh chỉnh có giám sát trên một tập dữ liệu gồm các cặp (yêu cầu, phản hồi) do con người tạo ra, sau đó là học tăng cường từ phản hồi của con người (RLHF), trong đó một hàm thưởng được học dựa trên một tập dữ liệu về sở thích của con người. Một kỹ thuật khác, "tự hướng dẫn", tinh chỉnh mô hình ngôn ngữ trên một tập dữ liệu gồm các ví dụ do chính một LLM tạo ra (được khởi động từ một tập nhỏ ban đầu do con người tạo ra).

https://en.wikipedia.org/wiki/Large_language_model
2018.