Trí nhớ ngắn hạn dài (LSTM)

Bộ nhớ ngắn hạn dài (LSTM) là một loại Mạng thần kinh tái phát (RNN) được sử dụng để mô hình hóa các phụ thuộc tạm thời trong dữ liệu. Cụ thể, nó có thể “ghi nhớ” các sự kiện hoặc sự phụ thuộc trong quá khứ từ những thời điểm được quan sát trước đó. Nó được sử dụng rộng rãi trong một số lĩnh vực, chẳng hạn như xử lý ngôn ngữ tự nhiên, dịch máy, chú thích hình ảnh và nhận dạng giọng nói.

LSTM là một loại mạng được thiết kế đặc biệt để giúp máy tính ghi nhớ thông tin lâu hơn mức thường có thể có được với mạng thần kinh tái phát. Mô hình trí nhớ ngắn hạn dài hạn hoạt động bằng cách sử dụng các “ô” lưu trữ thông tin trong thời gian dài; khi phát hiện thấy đầu vào mới, các ô mới sẽ được tạo để liên kết với các ô hiện có. Cùng với đó, các ô mới có thể “quên” một số thông tin được lưu trữ bên trong các ô hiện có, cho phép mạng “quên” một số thông tin mà nó đã học được.

Các thành phần chính của LSTM là các ô nhớ, cổng quên và cổng đầu vào. Các ô nhớ chịu trách nhiệm lưu trữ thông tin trong thời gian dài và các cổng quên và cổng nhập quyết định thông tin nào nên hoặc không nên được lưu trữ trong các ô. Các thành phần này cho phép mạng LSTM “ghi nhớ” quá khứ đồng thời có thể tính đến đầu vào mới.

LSTM là một công cụ thiết yếu trong nhiều ứng dụng, bao gồm xử lý ngôn ngữ tự nhiên và nhận dạng hình ảnh. Họ có thể tính đến kiến thức trước đó và có thể được sử dụng trong cả học tập có giám sát và không giám sát. Công dụng của chúng bao gồm từ dự đoán giá cổ phiếu và dịch ngôn ngữ cho đến lái xe tự động và phát lại video.

Nhìn chung, mạng LSTM là mạng thần kinh hiệu quả cao cho nhiều ứng dụng do khả năng lưu trữ thông tin trong thời gian dài và xử lý đầu vào mới hiệu quả hơn mạng thần kinh tái phát truyền thống.