BERT

Bert, thường được viết là BERT và là viết tắt của Đại diện bộ mã hóa hai chiều từ Transformers, là một kỹ thuật đào tạo trước xử lý ngôn ngữ tự nhiên do Google Neural Networks phát triển. Kỹ thuật này có thể được sử dụng trong nhiều tác vụ khác nhau. Được phát triển vào năm 2018 bởi các nhà nghiên cứu tại Google Research, BERT dựa trên mô hình học sâu Transformer để chuyển đổi văn bản thành giá trị số, cho phép đào tạo mà không cần tối ưu hóa trực tiếp cho nhiệm vụ trước mắt.

Bằng cách học ngôn ngữ nói chung, nó cho phép các mô hình điều chỉnh các nhiệm vụ cụ thể theo cách tập trung hơn và đã được đào tạo để hiểu rõ hơn về sắc thái và ngữ cảnh của các từ, không giống như các mô hình NLP khác có thể bị hạn chế trong việc hiểu ngữ cảnh. Bằng cách hai chiều, BERT tránh được sự thiên vị ngôn ngữ “từ trái sang phải” và “từ phải sang trái” thường thấy trong các mô hình một chiều.

Kiến trúc của BERT là một chuỗi các khối Transformer xếp chồng lên nhau, truyền một câu đầu vào hai lần thông qua hai bộ mã hóa. Bộ đầu vào và đầu ra của nó bao gồm các mã thông báo biểu thị các từ, dấu chấm câu và biểu thị số của các từ, chẳng hạn như nhúng vectơ, tùy thuộc vào loại tác vụ NLP.

Kỹ thuật đào tạo trước của BERT ngày càng trở nên phổ biến trong thế giới NLP, vì hiệu suất của nó ngang bằng hoặc vượt trội so với kỹ thuật hiện đại nhất. BERT đã được áp dụng cho nhiều nhiệm vụ khác nhau, bao gồm trả lời câu hỏi, phân loại văn bản và nhận dạng thực thể. Nó cũng đã cho thấy thành công lớn trong các nhiệm vụ dựa trên ngôn ngữ như tóm tắt văn bản và suy luận ngôn ngữ tự nhiên.

BERT là một sự đổi mới quan trọng trong lĩnh vực NLP và việc sử dụng nó trong nhiều ứng dụng và nhiệm vụ khác nhau dự kiến sẽ tiếp tục tăng khi nhiều nhà nghiên cứu được truyền cảm hứng sử dụng nó và tìm ra giải pháp sáng tạo cho những thách thức mới.