Evaluation of the performance of five pre-trained deep learning networks for automatic counting of sit-ups in Indonesia civil servant technical tests. Masters thesis, Universitas Pelita Harapan.

Hutahaean, Andrew Daud (2023) Evaluation of the performance of five pre-trained deep learning networks for automatic counting of sit-ups in Indonesia civil servant technical tests. Masters thesis, Universitas Pelita Harapan. Masters thesis, Universitas Pelita Harapan.

Preview	Text (Title) Title.pdf Available under License Creative Commons Attribution Non-commercial Share Alike. Download (405kB) | Preview
Preview	Text (Abstract) Abstract.pdf Available under License Creative Commons Attribution Non-commercial Share Alike. Download (705kB) | Preview
Preview	Text (ToC) ToC.pdf Available under License Creative Commons Attribution Non-commercial Share Alike. Download (535kB) | Preview
Preview	Text (Chapter 1) Chapter1.pdf Available under License Creative Commons Attribution Non-commercial Share Alike. Download (2MB) | Preview
	Text (Chapter 2) Chapter2.pdf Restricted to Registered users only Available under License Creative Commons Attribution Non-commercial Share Alike. Download (2MB) | Request a copy
	Text (Chapter 3) Chapter3.pdf Restricted to Registered users only Available under License Creative Commons Attribution Non-commercial Share Alike. Download (3MB) | Request a copy
	Text (Chapter 4) Chapter4.pdf Restricted to Registered users only Available under License Creative Commons Attribution Non-commercial Share Alike. Download (2MB) | Request a copy
	Text (Chapter 5) Chapter5.pdf Restricted to Registered users only Available under License Creative Commons Attribution Non-commercial Share Alike. Download (363kB) | Request a copy
Preview	Text (Bibliography) Bibliography.pdf Available under License Creative Commons Attribution Non-commercial Share Alike. Download (572kB) | Preview
	Text (Appendices) Appendices (1)_merged.pdf Restricted to Repository staff only Available under License Creative Commons Attribution Non-commercial Share Alike. Download (2MB) | Request a copy

Abstract

Aim of this study is to address the problems that exist in the physical test as part of the recruitment of civil servants in Indonesia. In this particular event, the fitness test incorporates certain rules that may vary from one kind of test to another. One of the identified problems is in terms of the subjectivity of the examiner for the type of test that is assessed manually, such as the sit-up test. This subjectivity usually arises due to the different perceptions of the examiner for the scoring rules and the fatigue of the examiners due to the very large number of participants to be assessed. To address these issues, this study adopts an experimental approach, employing five pre-trained networks, namely SqueezeNet, VGG16, MobileNetV3, ResNet50, and InceptionNet, which are selected based on considerations of network size and accuracy. A dataset comprising 48 open-source YouTube videos is utilized to ensure diversity in terms of skin colors, body shapes, genders, and other relevant variations, thereby mitigating biases in the detection process. Among these videos, 40 are allocated for network training, while the remaining 8 serve as the test set. Following the training phase, the study proceeds with evaluating the performance of object detection through various metrics, including confusion matrices, Precision, Recall, and F1 score. Subsequently, resource usage measurements are conducted to assess the network's computational requirements. Finally, a script is developed to employ the trained network for sit-up counting, with the results presented in both video and text-based formats. The results of the evaluation matrices indicate that Squeezenet outperforms the other four networks, displaying superior object detection capabilities with an accuracy exceeding > 80%. It consistently demonstrates correct detections in the confusion matrices. Conversely, VGG 16, the second-best performing network, achieves less than 60% accuracy and exhibits dominant false truth classifications for at least two out of the five labels. In terms of resource usage, Squeezenet demonstrates several advantages. It exhibits the smallest inference time, approximately six times faster than the second-best network. Additionally, Squeezenet's network size is only 3MB, approximately three times smaller than the second-best network. It also utilizes the least amount of CPU resources. Applying the networks to count sit-ups in real videos, once again, Squeezenet performs remarkably well, closely matching manual counting results. The only observed error is Squeezenet occasionally misclassifying a C label as a non-C label in a single cycle. These findings highlight the superior performance of Squeezenet in Sit-up counting, its efficient resource utilization, and its accurate counting of sit-ups in real videos, positioning it as the most efficient and suitable network for the task at hand. / Tujuan dari penelitian ini adalah untuk mengatasi permasalahan yang ada dalam tes fisik sebagai bagian dari rekrutmen pegawai negeri sipil di Indonesia. Pada kegiatan khusus ini, tes kebugaran melibatkan aturan-aturan tertentu yang mungkin berbeda antara satu jenis tes dengan jenis lainnya. Salah satu permasalahan yang teridentifikasi adalah dalam hal subjektivitas penguji untuk jenis tes yang dinilai secara manual, seperti tes sit-up. Subjektivitas ini sering kali muncul akibat persepsi yang berbeda dari penguji terkait aturan penilaian dan juga kelelahan penguji akibat jumlah peserta yang sangat banyak yang perlu dinilai. Untuk mengatasi masalah ini, penelitian ini menggunakan pendekatan eksperimental dengan menggunakan 5 pre-trained Networks (SqueezeNet, VGG16, MobileNetV3, ResNet50, InceptionNet) yang dipilih berdasarkan ukuran dan akurasi jaringan. Sebanyak 48 video YouTube digunakan sebagai dataset untuk memastikan keragaman warna kulit, bentuk tubuh, jenis kelamin, dan variasi lainnya yang relevan, sehingga dapat mengurangi bias dalam proses deteksi. Dari video-video tersebut, 40 diantaranya digunakan untuk melatih jaringan, sementara 8 video lainnya digunakan sebagai data uji. Setelah tahap pelatihan, penelitian ini melakukan mengevaluasi efektivitas deteksi objek melalui berbagai metrik, termasuk confusion matrices, Precision, Recall, dan skor F1. Selanjutnya, dilakukan pengukuran penggunaan sumber daya untuk menilai kebutuhan komputasi jaringan. Akhirnya, dikembangkan skrip untuk menggunakan jaringan yang telah dilatih untuk menghitung sit-up, dengan hasil yang disajikan dalam bentuk video dan teks. Hasil dari matriks menunjukkan bahwa Squeezenet unggul dibandingkan empat jaringan lainnya, menunjukkan kemampuan deteksi objek lebih dari 80%. Sebaliknya, VGG16, jaringan terbaik kedua, mencapai akurasi kurang dari 60% dan menunjukkan dominasi klasifikasi kesalahan yang salah pada setidaknya 2 dari 5 label. Dalam hal penggunaan sumber daya, Squeezenet ini memiliki waktu inferensi yang paling cepat, sekitar enam kali lebih cepat dari jaringan terbaik kedua. Selain itu, ukuran jaringan Squeezenet hanya 3MB, sekitar tiga kali lebih kecil dari jaringan terbaik kedua. Jaringan ini juga menggunakan sumber daya CPU yang paling sedikit. Ketika diterapkan pada penghitungan sit-up dalam video nyata, Squeezenet sekali lagi menunjukkan performa yang sangat baik, mendekati hasil penghitungan manual. Satu-satunya kesalahan yang diamati adalah Squeezenet adalah salah mengklasifikasikan label C sebagai label non-C dalam satu siklus. Temuan ini mendapati performa superior Squeezenet dalam deteksi objek, penggunaan sumber daya yang efisien, dan penghitungan yang akurat dalam video, sehingga menjadikannya jaringan yang paling efektif dan cocok.

Actions (login required)

View Item