ANALISIS PERFORMA ALGORITMA CNN-LSTM PADA IMAGE CAPTIONING UNTUK MENDESKRIPSIKAN KESEGARAN BUAH

Abstrak

Penelitian mengenai image captioning semakin berkembang, dengan berbagai objek penelitian dan algoritma yang diterapkan untuk melatih model image captioning guna menghasilkan deskripsi yang baik. Algoritma populer dalam image captioning adalah CNN-LSTM, di mana CNN digunakan sebagai ekstraktor fitur gambar dan LSTM sebagai penghasil deskripsi otomatis. Objek penelitian dalam penelitian ini adalah mendeskripsikan kesegaran buah. Buah banyak dikonsumsi oleh masyarakat karena kandungan gizi yang baik untuk kesehatan. Namun, informasi mengenai kesegaran buah masih dinilai secara manual. Penelitian ini bertujuan untuk menganalisis performa algoritma CNN-LSTM dalam mendeskripsikan kesegaran buah menggunakan image captioning. Dataset gambar yang digunakan terbagi menjadi dua kategori, yaitu original dan crop, masing- masing dengan 900 deskripsi referensi yang sama. CNN dengan arsitektur ResNet50 dari Keras digunakan untuk mengekstraksi fitur gambar, sementara LSTM digunakan untuk menghasilkan urutan teks deskripsi prediksi. Pengujian dilakukan pada model original dan model crop dengan dua jenis data uji, yaitu data uji original dan data uji crop. Analisis hasil pengujian dilakukan dengan dua cara yaitu kuantitatif dan kualitatif. Analisis kuantitatif menggunakan metrik BLEU dengan dua n-gram yaitu BLEU-3 dan BLEU-4. Hasil pengujian menunjukkan bahwa skenario model crop terhadap data uji crop memberikan nilai BLEU tertinggi dengan nilai BLEU-3 dan BLEU-4 berturut sebesar 0.4565 dan 0.3177. Analisis kualitatif dengan membandingkan deskripsi prediksi dengan gambar data uji. Hasil pengujian menunjukkan bahwa skenario model crop terhadap data uji crop mencapai persentase nilai Tepat tertinggi yaitu sebesar 70.00%. Penelitian ini menunjukkan bahwa skenario model crop terhadap data uji crop lebih unggul dalam mendeskripsikan kesegaran buah. Dengan melakukan cropping 10% pada setiap sisi gambar dataset, performa algoritma CNN-LSTM dalam mendeskripsikan kesegaran buah pada image captioning dapat meningkat.

Research on image captioning is growing, with various research objects and algorithms applied to train image captioning models to produce good descriptions. A popular algorithm in image captioning is CNN-LSTM, where CNN is used as an image feature extractor and LSTM as an automatic description generator. The research object in this study is to describe the freshness of fruit. Fruit is widely consumed by the public because of its nutritional content that is good for health. However, information about fruit freshness is still assessed manually. This research aims to analyze the performance of CNN-LSTM algorithm in describing fruit freshness using image captioning. The image dataset used is divided into two categories, namely original and crop, each with the same 900 reference descriptions. CNN with Keras ResNet50 architecture is used to extract image features, while LSTM is used to generate a sequence of predictive description texts. Tests were conducted on the original and crop models with two types of test data, namely original test data and crop test data. Analysis of the test results is done in two ways, namely quantitative and qualitative. Quantitative analysis uses BLEU metrics with two n-grams, namely BLEU-3 and BLEU-4. The test results show that the crop model scenario on the crop test data provides the highest BLEU value with BLEU-3 and BLEU-4 values of 0.4565 and 0.3177, respectively. Qualitative analysis by comparing the prediction description with the test data image. The test results show that the crop model scenario on the crop test data achieves the highest percentage of correct value which is 70.00%. This research shows that the crop model scenario on the crop test data is superior in describing the freshness of the fruit. By cropping 10% on each side of the dataset image, the performance of the CNN-LSTM algorithm in describing fruit freshness in image captioning can be improved.