<> "The repository administrator has not yet configured an RDF license."^^ . <> . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA"^^ . "Bahasa Indonesia sebagai bahasa nasional memiliki peran penting dalam berbagai bidang, termasuk\r\npengembangan teknologi pemrosesan bahasa alami (Natural Language Processing). Salah satu\r\npendekatan modern dalam NLP adalah penggunaan model transformer-based seperti BERT\r\n(Bidirectional Encodder Representations from Transformers) untuk menyelesaikan tugas Masked\r\nLangugae Modeling (MLM), yaitu menebak token yang hilang dalam suatu kalimat berdasarkan\r\nkonteksnya. Tujuan penelitian ini adalah untuk mengevaluasi kinerja model BERT pada kalimat\r\nbahasa Indonesia dengan dataset 27.600 baris kalimat bahasa Indonesia. Model dilatih dengan dua\r\nskema, yaitu tanpa augmentasi (skema 1) dan dengan teknik augmentasi data (skema 2). Hasil\r\nevaluasi menunjukkan bahwa skema 2 memberikan kinerja yang lebih baik, dengan akurasi sebesar\r\n42,1% (top-1), 53,7% (top-3), dan 58,1% (top-5), dibandingkan dengan skema 1 yang menghasilkan\r\nakurasi 29% (top-1), 42,6% (top-3), dan 52,6% (top-5). Peningkatan ini menunjukkan bahwa\r\npenggunaan augmentasi data dapat meningkatkan variasi kalimat dalam pelatihan model,\r\nkemampuan prediktif model terhadap kata-kata yang dimasking dapat ditingkatkan.\r\nKata kunci: BERT, Masked Language Modelling, Bahasa Indonesia, NLP;\r\n\r\nIndonesian, as the national language, plays a crucial role in various fields,\r\nincluding the development of Natural Language Processing (NLP) technologies.\r\nOne modern approach in NLP is the use of transformer-based models such as BERT\r\n(Bidirectional Encoder Representations from Transformers) to perform Masked\r\nLanguage Modeling (MLM), which involves predicting missing tokens in a sentence\r\nbased on context. This study aims to evaluate the performance of the BERT model\r\non Indonesian sentences using a dataset of 27,600 Indonesian sentence entries. The\r\nmodel was trained using two schemes: without augmentation (Scheme 1) and with\r\ndata augmentation techniques (Scheme 2). Evaluation results show that Scheme 2\r\nprovides better performance, with an accuracy of 42.1% (top-1), 53.7% (top-3),\r\nand 58.1% (top-5), compared to Scheme 1 which achieved an accuracy of 29%\r\n(top-1), 42.6% (top-3), and 52.6% (top-5). This improvement indicates that data\r\naugmentation can enhance the diversity of training sentences, thereby improving\r\nthe model's predictive capability for masked words.\r\nKeywords: BERT, Masked Language Modeling, Indonesian Language, NLP"^^ . "2025-05-21" . . . . . "FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM"^^ . . . . . . . "YULIZA "^^ . "AGHITA NAMIRA "^^ . "YULIZA AGHITA NAMIRA "^^ . . . . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (File PDF)"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (File PDF)"^^ . . . "SKRIPSI TANPA BAB PEMBAHASAN.pdf"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (File PDF)"^^ . . . "ABSTRAK.pdf"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "lightbox.jpg"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "preview.jpg"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "medium.jpg"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "small.jpg"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "lightbox.jpg"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "preview.jpg"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "medium.jpg"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "small.jpg"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "indexcodes.txt"^^ . . . "ANALISIS WORD PREDICTION DENGAN MENGGUNAKAN\r\nLANGUAGE MODEL Bidirection Encoding Representations from\r\nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA (Other)"^^ . . . . . . "indexcodes.txt"^^ . . "HTML Summary of #88902 \n\nANALISIS WORD PREDICTION DENGAN MENGGUNAKAN \nLANGUAGE MODEL Bidirection Encoding Representations from \nTransfordmers (BERT) PADA DATASET KALIMAT BAHASA INDONESIA\n\n" . "text/html" . . . "000 Ilmu komputer, informasi dan pekerjaan umum" . . . "500 ilmu pengetahuan alam dan matematika" . . . "600 Teknologi (ilmu terapan)" . .