CodeBERT

CodeBERT ialah sistem pemprosesan bahasa semula jadi (NLP) berasaskan kod yang dibangunkan oleh penyelidik di Microsoft dan University of Washington di Seattle. Model ini direka untuk memahami bahasa semula jadi seperti manusia. Ia mampu memahami kod dan bahasa pengaturcaraan serta bahasa semula jadi, membolehkan pengaturcara menggunakan bahasa semula jadi untuk berinteraksi dengan perisian dan pangkalan data.

CodeBERT adalah berdasarkan sistem pemprosesan bahasa semula jadi (NLP) sumber terbuka yang popular BERT, yang menggunakan satu siri lapisan Transformer untuk memahami hubungan antara perkataan dalam ayat. CodeBERT memanjangkan teknologi ini dengan menambah sokongan untuk penyiapan kod dan pemahaman tentang blok kod. Ini membolehkan model membuat ramalan tentang kod yang perlu ditulis seterusnya, serta memberikan penjelasan bahasa semula jadi untuk kod yang telah ditulisnya.

CodeBERT dibina di atas campuran baru NLP, penglihatan komputer, dan teknik analisis bahasa pengaturcaraan. Sistem ini dilatih pada berjuta-juta baris kod, membolehkannya belajar melengkapkan blok kod yang ditulis dalam bahasa seperti C#, Java dan Python. Ia telah ditunjukkan sebagai melebihi 30% lebih baik pada penyiapan kod daripada model pelengkapan kod sedia ada.

Sistem yang dihasilkan berpotensi menjadi alat yang berkuasa untuk pengaturcaraan, membolehkan pembangun menulis kod dengan cepat dan menyelesaikan masalah tanpa perlu mengetahui selok-belok bahasa yang mereka gunakan. CodeBERT juga boleh digunakan untuk mencipta aplikasi baharu yang menggunakan pemprosesan bahasa semula jadi untuk memahami dan berinteraksi dengan kod.