Font Size:
Perbandingan Metode Evaluasi Otomatis Terhadap Mesin Penerjemah Menggunakan Part of Speech
Last modified: 2018-06-19
Abstract
BLEU, NIST, METEOR, TER dan LEPOR digunakan pada penelitian ini sebagai pembanding nilai akurasi pada pengukuran hasil terjemahan mesin penerjemah bahasa Indonesia-bahasa Melayu Ketapang yang menggunakan part of speech. Digunakan tiga cara pengujian untuk mengetahui perbandingan nilai dari masing-masing evaluasi yaitu, pengujian nilai baseline, pengujian nilai akurasi dari evaluasi dan pengujian oleh penutur. Berdasarkan cara pengujian nilai akurasi didapatkan TER memiliki nilai rata-rata tertinggi 0.9989. Nilai maksimum NIST tergantung pada data yang digunakan atau tidak konsisten sehingga tidak dapat dilakukan perbandingan terhadap evaluasi lain. Perbandingan nilai akurasi evaluasi otomatis terhadap nilai baseline didapatkan TER mendekati nilai baseline dengan selisih nilai 0.0008. Perbandingan nilai akurasi evaluasi otomatis terhadap nilai penutur didapatkan METEOR memiliki nilai mendekati nilai penutur dengan selisih nilai 0.0254. Berdasarkan hasil pengujian disimpulkan bahwa evaluasi TER lebih rasional terhadap nilai baseline, sedangkan evaluasi METEOR lebih mendekati nilai penutur.
Keywords
Mesin Penerjemah Statistik, Part of Speech, Evaluasi Otomatis, Pengujian Nilai Baseline, Penutur Bahasa.
References
Akuntono, Indra. 2012. Mau Tahu Jumlah Ragam Bahasa di Indonesia?. Kompas.com. 20 Januari 2016.
Horwood, Ellis. 1986. Machine Translation: Past, Present and Future. England:Chichester.
Sudarno, A.P.2011. Penerjemahan Buku Teori dan Aplikasi. Surakarta: UNS Press.
Manning, Christopher D., Schutze, Hinrich. 2000. Foundations of Statistical Natural Language Processing. London : The MIT Press Cambridge Massachusetts.
Hadi, ibnu.(2014) Uji Akurasi Mesin Penerjemah Statistik Bahasa Indonesia ke Bahasa Melayu Sambas dan Mesin Penerjemahan Statistik Bahasa Melayu Sambas ke Bahasa Indonesia”. Skripsi Pada Fakultas Teknik Prodi Teknik Informatika Universitas Tanjungpura:Pontianak.
Tanuwijaya, Hasel dan Manurung, Marulli. 2009. Penerjemah Dokumen Inggris-Indonesia Menggunakan Mesin Penerjemah Statistik dengan Word Reordering dan Phrase Reordering. Jurnal Ilmu Komputer dan Informasi, Volume 2, Nomor 1, ISSN 1979-0732.
Sujaini, Herry. dan Arif B.P.N.2015. Strategi Memperbaiki Kualitas Korpus untuk Meningkatkan Kualitas Mesin Penerjemah Statistik. Jakarta, Seminar Nasional Teknologi Informasi XI.
Richard, Jack. 1985. Dictionary of Aplied linguistics. England:Longman Group Ltd.
Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). BLEU: A Method For Automatic Evaluation of Machine Translation, In Proceeding of the 40th Annual Meeting of the Association of Computational Linguistics (ACL).
George Doddington. 2002. Automatic Evaluation of Machine Translation Quality Using N-gram CoOccurence Statistics. In Human Language Technology: Notebook Proceedings, pages 128–132.
Horwood, Ellis. 1986. Machine Translation: Past, Present and Future. England:Chichester.
Sudarno, A.P.2011. Penerjemahan Buku Teori dan Aplikasi. Surakarta: UNS Press.
Manning, Christopher D., Schutze, Hinrich. 2000. Foundations of Statistical Natural Language Processing. London : The MIT Press Cambridge Massachusetts.
Hadi, ibnu.(2014) Uji Akurasi Mesin Penerjemah Statistik Bahasa Indonesia ke Bahasa Melayu Sambas dan Mesin Penerjemahan Statistik Bahasa Melayu Sambas ke Bahasa Indonesia”. Skripsi Pada Fakultas Teknik Prodi Teknik Informatika Universitas Tanjungpura:Pontianak.
Tanuwijaya, Hasel dan Manurung, Marulli. 2009. Penerjemah Dokumen Inggris-Indonesia Menggunakan Mesin Penerjemah Statistik dengan Word Reordering dan Phrase Reordering. Jurnal Ilmu Komputer dan Informasi, Volume 2, Nomor 1, ISSN 1979-0732.
Sujaini, Herry. dan Arif B.P.N.2015. Strategi Memperbaiki Kualitas Korpus untuk Meningkatkan Kualitas Mesin Penerjemah Statistik. Jakarta, Seminar Nasional Teknologi Informasi XI.
Richard, Jack. 1985. Dictionary of Aplied linguistics. England:Longman Group Ltd.
Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). BLEU: A Method For Automatic Evaluation of Machine Translation, In Proceeding of the 40th Annual Meeting of the Association of Computational Linguistics (ACL).
George Doddington. 2002. Automatic Evaluation of Machine Translation Quality Using N-gram CoOccurence Statistics. In Human Language Technology: Notebook Proceedings, pages 128–132.
Full Text:
PDF