Bắt nguồn từ xử lý ngôn ngữ tự nhiên

Xuất phát trong Xử lý ngôn ngữ tự nhiên là một kỹ thuật phân tích văn bản được sử dụng trong máy tính và lập trình cho mục đích an ninh mạng. Nó được sử dụng trong hệ thống xử lý ngôn ngữ để giảm các từ biến cách (hoặc đôi khi có nguồn gốc) thành dạng gốc, cơ sở hoặc gốc của chúng. Điều này được thực hiện bằng cách loại bỏ các phụ tố được gắn vào gốc của một từ.

Stemming chủ yếu được sử dụng trong các lĩnh vực Ngôn ngữ học tính toán và Khoa học máy tính nhằm mục đích truy xuất thông tin và xử lý ngôn ngữ tự nhiên. Bằng cách thực hiện bắt nguồn, các từ có nhiều cách diễn giải hình thái có thể được giảm xuống thành một dạng gốc duy nhất có thể tối ưu hóa văn bản để lập chỉ mục và tìm kiếm. Ví dụ: các từ “laughing”, “laughed” và “laughs” đều có thể được rút gọn thành gốc “laugh” để làm cho kết quả phù hợp hơn. Stemming cũng được sử dụng trong phân tích cảm xúc khi xác định cảm xúc của một văn bản bằng cách tổng hợp cảm xúc của các thành phần để tạo nên ý nghĩa bổ sung.

Các thuật toán gốc được tạo ra tùy thuộc vào ngôn ngữ được sử dụng, vì mỗi ngôn ngữ có các quy tắc riêng về cách xây dựng từ. Mỗi thuật toán phải tính đến ngữ pháp, hình thái và sắc thái cú pháp của ngôn ngữ để phân tích các từ một cách chính xác. Ví dụ, trong tiếng Anh, thuật toán Porter Stemming đã được sử dụng từ năm 1980 như một thuật toán hiệu quả để rút gọn các từ về dạng gốc của chúng.

Nhìn chung, xử lý ngôn ngữ tự nhiên là một kỹ thuật quan trọng được sử dụng trong lĩnh vực máy tính, lập trình và an ninh mạng. Bằng cách giảm các từ về dạng gốc của chúng, hiệu quả tìm kiếm và độ chính xác trong phân tích cảm tính sẽ tăng lên và có thể đạt được sự hiểu biết phù hợp hơn về dữ liệu.