DALL-E

DALL-E (viết tắt của “Deep-Learning-to-Answer-Long-Questions”) là mô hình xử lý ngôn ngữ tự nhiên được OpenAI phát triển để trả lời các câu hỏi về hình ảnh. Hệ thống được đào tạo trên hàng triệu hình ảnh trên bộ dữ liệu Internet và sử dụng mô hình ngôn ngữ biến đổi để xác định những từ nào được liên kết với một hình ảnh nhất định. Nó có thể tạo chú thích cho hình ảnh mô tả nội dung của nó bằng ngôn ngữ tự nhiên.

DALL-E được OpenAI phát hành vào tháng 12 năm 2020. Đây là một mô hình ngôn ngữ mạnh mẽ vì nó có thể xử lý cả giai đoạn hiểu ngôn ngữ tự nhiên và giai đoạn tạo tác vụ. Nó sử dụng kết hợp các thuật toán thị giác máy tính và kỹ thuật xử lý ngôn ngữ tự nhiên để kết hợp nhiều nguồn thông tin thành một mô tả mạch lạc duy nhất.

Ví dụ: nếu hình ảnh chứa một căn phòng có người và một con chó, DALL-E có thể tạo chú thích chẳng hạn như “Có một số người trong phòng đang vuốt ve một con chó màu nâu”. Kiểu mô tả này vượt xa việc gắn thẻ cơ bản, chỉ đơn giản là nói: “Đây là căn phòng có người và một con chó”.

Sử dụng DALL-E, các nhà nghiên cứu có thể tạo chú thích để mô tả chi tiết hình ảnh, giúp tạo ra mô tả chính xác hơn các kỹ thuật gắn thẻ hình ảnh truyền thống. Nó cũng có thể được sử dụng để trả lời các câu hỏi về một hình ảnh, chẳng hạn như con chó trong hình có màu gì?

Hệ thống cũng có thể tạo ra nhiều chú thích sáng tạo hơn, chẳng hạn như “Con chó đang nhìn ra cửa sổ, mơ về sự thống trị thế giới” hoặc “Những người trong phòng đang trao đổi những cái nhìn đầy ý nghĩa khi con chó nằm trong góc”. Điều này chứng tỏ khả năng mô tả hình ảnh của hệ thống theo cách mà con người có thể đánh giá cao.

DALL-E là một công nghệ thú vị và mạnh mẽ có tiềm năng cách mạng hóa việc xử lý ngôn ngữ tự nhiên. Nó là một công cụ quan trọng trong sự phát triển của thị giác máy tính và công nghệ xử lý ngôn ngữ tự nhiên.