Evaluasi Keamanan dan Kegunaan Captcha Berbasis Teks pada Antarmuka Seluler

ABSTRAK
Captcha digunakan sebagai mekanisme pembuktian interaksi manusia selama proses autentikasi pada aplikasi perangkat lunak. Captcha harus memberikan ketahanan terhadap berbagai serangan untuk meningkatkan keamanan tetapi juga mudah dipahami untuk memastikan kegunaan. Peningkatan keamanan umumnya mengurangi kegunaan, jadi perlu menggunakan captcha yang akan memenuhi kebutuhan keamanan dan kegunaan pengguna secara seimbang. Dalam lingkup studi ini, skema captcha berbasis teks yang umum ditemui pengguna akhir selama interaksi harian mereka di aplikasi seluler dipilih dan diselidiki untuk menentukan skema yang lebih tangguh dan dapat digunakan oleh pengguna. Enam jenis captcha berbasis teks yang berbeda, yaitu berbasis distorsi, berbasis non-distorsi, berbasis kamus, berbasis acak, kontras rendah, dan kontras penuh, dibandingkan dalam hal keamanan dan kegunaan. Awalnya, uji keamanan diterapkan. Setelah itu, uji pengguna dilakukan dengan 30 peserta. Menurut hasil uji keamanan, jenis captcha distorsi, kontras rendah, dan berbasis acak masing-masing ditentukan lebih tangguh. Jenis captcha yang paling dapat digunakan di antara jenis captcha aman ditentukan sebagai captcha string acak berdasarkan hasil uji pengguna. Dengan demikian, ditemukan bahwa tingkat keamanan dan kegunaan yang seimbang dapat dicapai ketika pengembang aplikasi seluler memilih untuk menggunakan captcha string acak saat mendesain antarmuka. Rekomendasi untuk memandu pengembang antarmuka seluler diberikan berdasarkan temuan yang diperoleh baik dari studi pengguna maupun literatur relevan sebelumnya.

1 Pendahuluan
Saat ini, banyak pengguna berinteraksi secara luas dengan Internet dan aplikasi berbasis web untuk pekerjaan sehari-hari mereka dengan perkembangan teknologi informasi dan komunikasi. Penting untuk memastikan bahwa orang dan informasi mereka tidak terpapar pada berbagai serangan daring selama interaksi ini. Dengan demikian, menyediakan keamanan merupakan masalah penting. Metode autentikasi dan otorisasi digunakan untuk menyediakan akses aman ke situs Web. Selain itu, ada beberapa perangkat lunak berbahaya yang bertindak seperti manusia dan merusak sistem, yang disebut bot. Bot melakukan tugas otomatis dan berulang yang dapat meniru perilaku manusia, seperti mengklik situs web, dan menyebabkan pengalihan yang tidak diinginkan. Selain itu, mereka dapat mengirim spam atau membuat virus dan worm yang dapat menyebabkan serangan Denial of Servis. Oleh karena itu, membedakan pengguna manusia dan komputer juga diperlukan untuk memungkinkan keamanan.

Mekanisme pembuktian interaksi manusia (HIP) digunakan di situs web untuk melindungi dari serangan bot. Mekanisme HIP anti-bot yang paling banyak digunakan adalah penggunaan CAPTCHA (Completely Automated Public Turing test to tell Computers and Humans Apart) (von Ahn et al.  2004 ). Mekanisme ini digunakan untuk mendeteksi apakah pengguna adalah manusia atau komputer. Mekanisme ini dikembangkan untuk melindungi situs web dan layanan daring, terutama dari serangan perangkat lunak berbahaya (bot) otomatis (von Ahn et al. 2004 ).

Captcha diasumsikan sebagai program komputer yang tidak dapat lolos semudah pengguna manusia melalui mekanisme HIP, yang disebut uji tantangan-respons (von Ahn et al. 2004 ). Seperti halnya sistem perangkat lunak apa pun, captcha dapat terkena berbagai serangan. Akibatnya, berbagai jenis skema baru didefinisikan untuk captcha ini secara terus-menerus karena setiap skema menjadi dapat dipecahkan setelah waktu yang singkat. Oleh karena itu, pengembang selalu berusaha menghasilkan skema yang lebih kuat. Skema captcha yang paling umum digunakan adalah skema berbasis teks dan berbasis gambar (Wismer et al. 2012 ). Captcha berbasis teks digunakan secara luas tetapi dapat dengan mudah diserang dengan menggunakan segmentasi teks (Chellapilla et al. 2005 ). Sebaliknya, captcha berbasis gambar mempersingkat interaksi antara pengguna dan komputer tetapi membutuhkan lebih banyak real estat layar, lebih banyak pemrosesan server, dan basis data gambar yang besar (Chow et al. 2008 ).

Selain harus tahan terhadap berbagai serangan, skema harus mudah dipahami oleh pengguna untuk memastikan kegunaan (Chow dan Susilo 2017 ). Karena agar suatu sistem dapat digunakan, sistem tersebut harus diterima terlebih dahulu oleh penggunanya. Pada hakikatnya, sikap pengguna—baik positif maupun negatif—secara signifikan memengaruhi penerimaan suatu teknologi (Davis 1989 ). Selain itu, penerimaan suatu sistem cenderung meningkat jika sistem tersebut menunjukkan tingkat faktor kegunaan yang tinggi seperti kemudahan belajar, daya tanggap, dan efisiensi (Folmer dan Bosch 2004 ). Sebaliknya, tingkat kerumitan yang tinggi dalam suatu sistem akan menghambat adopsinya (Aldunate dan Nussbaum 2013 ).

Kegunaan semakin diakui sebagai pertimbangan penting dalam pengembangan produk perangkat lunak apa pun. Meskipun ada konsensus tentang persyaratan kegunaan, kegunaan memiliki berbagai definisi oleh berbagai peneliti (Constantine dan Lockwood 1999 ; Hix dan Hartson 1993 ; Shackel 1991 ; Preece et al. 1994 ; Shneiderman 1986 ; Wixon dan Wilson 1997 ). Definisi kegunaan yang paling diterima secara luas adalah penggunaan produk yang efektif, efisien, dan memuaskan oleh pengguna tertentu untuk tujuan tertentu dalam konteks tertentu (ISO 2019 ).

Mengenai sistem yang dapat digunakan dan diandalkan, hal ini ditujukan untuk mencegah, mendeteksi, dan mengambil tindakan dalam kejadian yang tidak diinginkan sambil mencapai tujuan yang diharapkan (Flechais dan Sasse 2009 ). Berbagai metode diterapkan untuk mencegah efek program jahat untuk mencegah serangan dan meningkatkan tingkat keamanan. Namun, meningkatkan mekanisme keamanan captcha dengan meningkatkan kesulitannya mengurangi kegunaannya (Bursztein et al. 2010 , 2011 ; Golle 2008 ). Oleh karena itu, perlu untuk membuat captcha yang merupakan keseimbangan yang baik antara keamanan dan pengalaman pengguna (Belk et al. 2015 ).

Dalam literatur, ada berbagai studi yang menyelidiki captcha dalam dimensi kegunaan dan keamanan. Namun, dapat dilihat bahwa studi-studi ini memberi lebih banyak kepentingan pada evaluasi kegunaan atau evaluasi keamanan (Payne dan Edwards 2008 ). Selain itu, banyak dari studi ini melibatkan evaluasi captcha pada antarmuka dalam aplikasi desktop tradisional (Beheshti dan Liatsis 2015 ; Baykara et al. 2018 ; Aljarbou 2019 ), sementara ada beberapa studi yang berfokus pada konteks seluler (Reynaga dan Chiasson 2013 ). Dalam lingkup studi ini, captcha yang umum ditemui pengguna akhir selama interaksi harian mereka dengan layanan daring dipilih dan diselidiki untuk menentukan captcha yang lebih tangguh dan dapat digunakan oleh pengguna. Karena penggunaannya yang luas dan merupakan jenis yang memakan lebih sedikit ruang layar untuk antarmuka seluler, skema captcha berbasis teks dipilih, dan enam captcha berbeda dibandingkan dengan uji pengguna dalam hal kegunaan selain keamanannya. Selain itu, dilakukan kajian pustaka mengenai kegunaan dan keamanan captcha, dan hasilnya dihimpun dan digabungkan dengan hasil studi pengguna. Berdasarkan temuan ini, rekomendasi disampaikan kepada pengembang aplikasi seluler mengenai jenis captcha yang menyeimbangkan masalah keamanan dan kegunaan.

2 Latar Belakang Penelitian
2.1 Kegunaan dan Evaluasi Kegunaan
Usability didefinisikan sebagai kapasitas suatu aplikasi untuk digunakan dengan mudah dan efektif oleh sekelompok pengguna tertentu saat melakukan tugas-tugas tertentu (Shackel 1991 ). Definisi ini lebih difokuskan pada komponen-komponen usability seperti tujuan pengguna dan pencapaian tujuan. Akan tetapi, ada juga berbagai definisi dalam literatur yang menjelaskan usability beserta komponen-komponen lainnya. Misalnya, Nielsen ( 1993 ) menjelaskan usability dengan lima komponen dasar yang tercantum sebagai learnability, efficiency, memorability, errors, dan user satisfaction.

Alternatifnya, kegunaan didefinisikan sebagai “sejauh mana suatu produk dapat digunakan oleh pengguna tertentu untuk mencapai tujuan yang ditetapkan dengan efisiensi, produktivitas, dan kepuasan dalam konteks penggunaan tertentu” dalam definisi ISO 9241-11 ( 2019 ). Dalam lingkup studi ini, komponen-komponen yang tercantum sebagai efektivitas, efisiensi, dan kepuasan dalam definisi kegunaan ISO 9241-11 ( 2019 ) dipertimbangkan. Di antara komponen-komponen ini, efisiensi didefinisikan sebagai apakah pengguna dapat melakukan tugas yang diharapkan atau tingkat keberhasilan saat menggunakan sistem; efisiensi dinyatakan sebagai waktu yang diharapkan untuk menyelesaikan tugas saat menggunakan sistem, dan kepuasan dinyatakan sebagai kepuasan dan kesukaan pengguna saat menggunakan desain (ISO 2019 ).

Pendekatan dan alat yang ditetapkan untuk evaluasi kegunaan dapat dikategorikan di bawah empat judul utama: pedoman desain, evaluasi ahli, pengujian pengguna, dan pendekatan berbasis model (Çağıltay 2018 ). Pedoman desain digunakan oleh perusahaan besar untuk memastikan konsistensi dan kompatibilitas produk, sementara evaluasi ahli didasarkan pada pedoman seperti 10 heuristik kegunaan yang ditetapkan oleh Nielsen ( 1994 ). Ini adalah metode praktis ketika sulit untuk menjangkau pengguna akhir. Pendekatan berbasis model mencoba untuk memodelkan perilaku kognitif dan fisik pengguna tetapi tidak berlaku untuk sistem yang tidak memiliki batasan yang jelas (Çağıltay 2018 ). Akhirnya, pengujian pengguna memungkinkan sistem untuk dievaluasi oleh pengguna nyata dan karena itu dianggap lebih andal (Çağıltay dan Acartürk 2006 ; Ersoy 2004 ).

2.2 Keamanan
Banyak sistem perangkat lunak yang digunakan saat ini berisi informasi sensitif tentang pengguna. Oleh karena itu, memastikan keamanan aplikasi sangat penting untuk persyaratan kualitas perangkat lunak (Pressman 2005 ). Konsep keamanan diungkapkan dengan komponen dasar kerahasiaan, privasi, dan integritas (Alshamari 2016 ). Kerahasiaan didefinisikan sebagai melindungi data berharga dari pengguna yang tidak berwenang sambil menyediakan akses hanya kepada mereka yang berwenang (ISO 2005 ). Privasi didefinisikan sebagai mencegah data pribadi pengguna dari akses ke pengguna yang tidak berwenang (Fischer-Hübner 2001 ). Integritas didefinisikan sebagai memastikan bahwa data berharga tidak diubah oleh pengguna yang tidak berwenang, yaitu, menjaga integritasnya (ISO 2005 ).

2.3 Captcha dan Jenis-jenis Captcha
Berbagai perangkat lunak berbahaya, yang disebut bot, yang berperilaku seperti manusia, dapat menjalankan aplikasi di situs web tanpa permintaan pengguna atau dapat menyebabkan pengalihan yang tidak diinginkan di situs web tersebut dengan klik otomatis. Serangan perangkat lunak berbahaya ini dicegah dengan bantuan mekanisme yang disebut captcha (Completely Automated Public Turing test to tell Computers and Humans Apart) (von Ahn et al. 2004 ) yang menentukan apakah pengguna adalah manusia atau bukan.

Captcha merupakan mekanisme yang dimaksudkan untuk dipahami oleh pengguna nyata tetapi tidak dipahami oleh komputer. Karena lebih sulit bagi perangkat lunak otomatis daripada pengguna manusia untuk melakukan operasi seperti merespons dengan memahami kata atau suara dari versi yang terdistorsi atau membedakan objek yang diperlukan dari video yang terdiri dari berbagai objek bergerak. Ada berbagai skema yang ditetapkan untuk Captcha, seperti berbasis teks, berbasis gambar, berbasis audio, berbasis kognitif, berbasis animasi, atau berbasis permainan. Karena setiap jenis memiliki masalah keamanannya sendiri, pengembang selalu berusaha untuk menghasilkan skema yang lebih kuat. Penting untuk memastikan bahwa skema tersebut tidak hanya tahan terhadap berbagai serangan tetapi juga mudah dipahami oleh pengguna (Chow dan Susilo 2017 ).

Captcha berbasis teks merupakan captcha yang paling banyak digunakan. Karena merupakan salah satu captcha yang paling mudah dikembangkan, biayanya rendah, dan mudah digunakan baik di aplikasi seluler maupun desktop (Beheshti dan Liatsis 2015 ; El Ahmad et al. 2012 ; Yan dan El Ahmad 2008a ).

Pengguna diminta untuk memilih gambar atau gambar yang diinginkan di antara gambar-gambar tertentu dalam captcha berbasis gambar. Semakin sulit dan terperinci fitur yang ditentukan, semakin sulit pula bagi perangkat lunak otomatis untuk menyelesaikannya (Brodić et al. 2016 ). Captcha berbasis gambar mahal. Gambar perlu disajikan kepada pengguna dengan cara yang beragam agar lebih aman, dan ini mengarah pada kebutuhan akan banyak gambar dan, dengan demikian, basis data yang dapat menyimpan sejumlah besar data, yang dapat menjadi masalah bagi aplikasi seluler.

Captcha berbasis audio didasarkan pada pemahaman kata-kata yang terdistorsi (Kulkarni dan Fadewar 2017 ). Merekam angka dan huruf captcha berbasis audio di lingkungan yang bising demi keamanan juga dapat menyebabkan masalah aksesibilitas (Bicakci dan Kızılöz 2016 ).

Dalam captcha berbasis video, pengguna menonton video tanpa suara, kemudian pengguna diharapkan untuk menjawab subjek video atau menjawab pertanyaan tentang video tersebut. Captcha berbasis video bebas bahasa, sehingga dianggap menguntungkan bagi pengguna. Di sisi lain, captcha ini tidak dapat digunakan oleh pengguna yang memiliki gangguan penglihatan. Pada saat yang sama, karena ukuran konten video yang besar, captcha ini dianggap mahal oleh pengembang karena menimbulkan kesulitan dalam menjalankan dan memuat. Captcha ini juga tidak banyak digunakan karena tidak selalu mudah dijawab oleh pengguna (Nadaph et al. 2007 ).

2.3.1 Captcha dan Kegunaannya
Captcha sulit dibedakan oleh perangkat lunak otomatis tetapi seharusnya dapat dibedakan dengan mudah oleh pengguna manusia. Komponen kegunaan yang dapat dievaluasi terkait captcha adalah efektivitas, efisiensi, dan kepuasan. Misalnya, faktor-faktor seperti distorsi, konten, dan presentasi yang digunakan untuk meningkatkan keamanan dalam skema berbasis teks dapat berdampak negatif pada kegunaan captcha (Beheshti dan Liatsis 2015 ; Yan dan El Ahmad 2008a ).

Salah satu faktor tersebut, distorsi adalah penerapan proses distorsi dengan menerapkan berbagai operasi seperti menambahkan berbagai baris atau karakter ke teks seperti memudarkan, memutar, atau mengubah bentuknya (Yan dan El Ahmad 2008b ). Selain itu, masalah lain yang memengaruhi kegunaan dalam faktor distorsi adalah apakah bahasa yang dipilih adalah bahasa asli pengguna (Beheshti dan Liatsis 2015 ). Misalnya, von Ahn et al. ( 2008 ) melaporkan dalam penelitian mereka bahwa tingkat keberhasilan lebih tinggi dalam menggunakan reCaptcha bagi mereka yang bahasa ibunya adalah bahasa Inggris daripada mereka yang bukan.

Konten merupakan faktor yang memengaruhi kegunaan captcha berdasarkan panjang konten teks dan apakah konten tersebut berupa kata acak atau kata kamus. Jika kata acak digunakan dan teks semakin panjang, pengguna akan semakin sulit memahami huruf satu per satu, dan kegunaan captcha akan menurun (Beheshti dan Liatsis 2015 ). Jika tidak, pengguna akan lebih mudah memahami kata tersebut jika kata kamus yang panjang dan terdistorsi digunakan (von Ahn et al. 2008 ).

Presentasi juga merupakan faktor yang memengaruhi kegunaan berdasarkan jenis dan ukuran font teks yang digunakan dalam captcha, dan penggunaan warna di latar belakang atau latar depan teks. Ukuran huruf dan font yang digunakan memengaruhi keterbacaan dan pengenalan (Chew dan Baird 2003 ; Coates et al. 2001 ). Selain itu, penggunaan terlalu banyak warna dalam captcha berdampak negatif pada kegunaan dan keamanan (El Ahmad et al. 2012 ).

2.3.2 Captcha dan Keamanan
Captcha digunakan untuk meningkatkan keamanan dalam aplikasi, tetapi captcha juga dapat terkena berbagai serangan. Secara khusus, serangan yang paling terkenal terhadap captcha berbasis teks adalah serangan pengenalan karakter optik, serangan segmentasi, serangan brute force, dan serangan kamus. Komponen keamanan terpenting yang harus dipertimbangkan dalam captcha adalah ketahanan. Berbagai langkah dapat diterapkan untuk menghindari serangan dan meningkatkan ketahanan Captcha.

Serangan pengenalan karakter optik (Press 1969 ) adalah serangan yang memilih huruf-huruf pada gambar satu per satu dan membuat kata-kata dari huruf-huruf tersebut. Agar terlindungi dari serangan pengenalan karakter optik, digunakan cara-cara berikut: memilih teks yang dibuat secara acak dan bukan kata-kata yang sudah dikenal dalam teks yang digunakan untuk captcha, menambahkan karakter khusus di antara kata-kata (Bentley dan Mallows 2006 ), dan menggunakan kata-kata tulisan tangan dengan font yang berbeda (Yan dan El Ahmad 2009 ), memilih kata-kata dari buku, surat kabar atau artikel surat kabar yang tidak ada di web (Yamamoto et al. 2010 ), atau menerapkan distorsi pada kata-kata (Rusu et al. 2010 ; Yan dan El Ahmad 2008a ). Serangan segmentasi dilakukan dengan memisahkan setiap huruf dari latar belakang, memperlihatkan huruf-huruf tersebut satu per satu, dan akhirnya menangkap teks. Garis, karakter acak, atau karakter yang tidak berarti ditambahkan di antara karakter-karakter tersebut sehingga karakter-karakter dalam teks tidak mudah terpisah satu sama lain untuk melindungi dari serangan segmentasi (El Ahmad et al. 2010 ).

Serangan brute force merupakan jenis serangan yang didasarkan pada metode mencoba satu per satu dengan memberikan respons acak terhadap captcha. Diperlukan set karakter besar yang berisi karakter yang berbeda dan khusus agar terlindungi dari serangan brute force. Selain itu, tingkat percobaan serangan dikurangi dengan memberikan jumlah terbatas untuk menebak captcha (El Ahmad et al. 2010 ). Jika set karakter terbatas digunakan, maka jenis serangan yang dilakukan adalah dictionary attack, yang didasarkan pada mencoba kata-kata satu per satu. Teks acak digunakan daripada kata-kata kamus untuk melindungi terhadap serangan ini, sehingga mencegah serangan menebak kata (Roshanbin dan Miller 2012 ).

3 Karya Terkait
Dalam literatur, berbagai penelitian tentang keamanan yang dapat digunakan dan autentikasi pengguna telah dilakukan, sementara sejumlah besar karya penelitian telah dilakukan pada keamanan komputer (Payne dan Edwards 2008 ). Ini karena integrasi metode Interaksi Manusia-Komputer (HCI) dengan metode informasi keamanan tidaklah mudah (Realpe et al. 2016 ). Akibatnya, selalu menjadi tantangan untuk menemukan keseimbangan yang baik antara keamanan dan kegunaan (Garfinkel 2005 ). Karena cakupan fokus studi ini adalah pada captcha sebagai mekanisme keamanan, studi penelitian tentang kegunaan dan keamanan captcha ditinjau dalam literatur dan dilaporkan di sini. Studi-studi ini dapat dikelompokkan sebagai studi yang hanya membahas kegunaan, hanya dengan keamanan atau membahas keduanya, seperti yang disajikan dalam Tabel 1. Dalam tabel, studi-studi tersebut dikodekan mengenai konteks implementasinya, tujuan, fokus studi, jenis captcha yang diselidiki, kegunaan atribut keamanan yang dievaluasi, metode evaluasi.

Tabel 1. Ringkasan studi tentang kegunaan dan keamanan captcha.

Catatan: Konteks : M – Seluler, D – Desktop; Sasaran : DG – Pedoman Desain, CP – Usulan Captcha; Sasaran : Kami – Kegunaan, Sec – Keamanan; Tipe captcha : T – Berbasis teks, V – Berbasis video, I – Berbasis gambar, Au – Berbasis audio; Atribut : S – Kepuasan, R – Keterbacaan, U – Pemahaman, S – Sederhana, M – Daya ingat, A – Akurasi, Ro – Ketahanan; Metode evaluasi : HE – Evaluasi Heuristik, UT – Uji pengguna, ST – Uji keamanan.

Dalam salah satu penelitian yang berfokus pada kegunaan captcha, Reynaga dan Chiasson ( 2013 ) melakukan uji kinerja dan kegunaan skema captcha berbasis teks, gambar, dan video pada telepon pintar. Rekomendasi disajikan dalam bentuk panduan desain untuk pengembang dan desainer berdasarkan hasil yang diperoleh. Selain itu, dilaporkan bahwa captcha audio tidak cocok untuk telepon pintar dan pengguna lebih menyukai captcha berbasis teks, yang memiliki tingkat distorsi rendah dan ditulis dalam font besar karena lebih berhasil.

Beheshti dan Liatsis ( 2015 ) melakukan uji kegunaan dalam captcha berbasis teks yang digunakan di desktop. Mereka menerapkan distorsi dan penajaman gambar selain menambah dan mengurangi jumlah karakter dalam captcha. Pengguna melaporkan diri mereka lebih berhasil dalam captcha dengan karakter yang lebih sedikit dan gambar yang lebih jelas.

Tangmanee ( 2018 ) menganalisis captcha berbasis teks yang dibuat secara acak dari huruf kecil dalam alfabet bahasa Inggris dalam aplikasi desktop, dengan uji kegunaan. Studi ini menyelidiki captcha huruf kecil mana yang lebih dapat digunakan menurut kecepatan dan keakuratan jawaban pengguna. Sebagai hasil dari studi tersebut, dilaporkan bahwa kinerja dan tingkat keakuratan pengguna dipengaruhi berdasarkan apakah huruf-huruf dalam teks tersebut berurutan menurut abjad atau tidak.

Roshanbin dan Miller ( 2012 ), dalam salah satu penelitian mereka yang berfokus pada keamanan captcha, menerapkan uji segmentasi dan pengenalan pada captcha berbasis teks pada aplikasi desktop. Mereka menambahkan karakter khusus di antara karakter teks dan menggunakan warna pada teks dan latar belakang. Selain proses ini, mereka menyatakan bahwa tingkat keberhasilan serangan akan menurun dengan menggunakan papan ketik virtual yang berisi karakter khusus, bukan papan ketik fisik, yang karakternya dikenal karena jumlahnya tertentu.

Dalam studi lain yang berfokus pada ketahanan kode keamanan, Kaur dan Behal ( 2015 ) menerapkan uji serangan pengenalan pada captcha berbasis teks pada aplikasi desktop dalam penelitian mereka. Dalam lingkup studi, skema captcha dirancang dengan fitur yang terdiri dari huruf dan angka acak, jenis huruf setiap karakter dan perataan karakter berbeda, dan kata-kata kamus tidak digunakan.

Alsuhibany ( 2016 ) menerapkan uji segmentasi pada captcha berbasis teks di desktop dalam penelitiannya dan menyarankan strategi agar captcha berbasis teks menjadi tangguh terhadap serangan segmentasi. Ia menekankan bahwa spasi antar huruf harus dikurangi, atau bahkan digabungkan, dan huruf campuran yang tidak bermakna harus ditempatkan di antara huruf jika memungkinkan. Akan tetapi, ia menekankan bahwa hal ini juga akan mengurangi kegunaan. Selain itu, ia merancang alat pengoptimalan captcha yang mengubah captcha berbasis teks yang terdiri dari huruf yang berisi garis dan busur ke dalam format yang dapat dipahami oleh pengguna.

Baykara dkk. ( 2018 ) menerapkan uji pengenalan karakter optik pada captcha berbasis teks pada aplikasi desktop dan membandingkan captcha berbasis teks, gambar, dan video dalam penelitian mereka. Mereka merancang skema alternatif untuk skema captcha yang ada, di mana mereka menggunakan warna teks dan latar belakang yang berdekatan dan karakter teks terdistorsi.

Ada beberapa studi yang berfokus pada kegunaan dan keamanan dalam literatur. Dalam salah satunya, Chow et al. ( 2019 ) mengembangkan pedoman desain berdasarkan hasil perbandingan captcha berbasis teks dan gambar. Mereka melaporkan bahwa penggunaan warna yang sangat intens memengaruhi keamanan dan kegunaan secara negatif, penggunaan karakter tertentu seperti “0 (angka nol)” dan “O (huruf)” menyebabkan kebingungan pada pengguna, dan meskipun captcha berbasis gambar umumnya mudah digunakan, captcha tersebut sulit digunakan bagi penyandang disabilitas karena tidak dapat dikenali oleh pembaca layar. Mereka juga menekankan bahwa captcha berbasis gambar tidak cocok untuk perangkat seluler dalam hal ruang layar dan penggunaan memori.

Aljarbou ( 2019 ) mengembangkan panduan desain yang menjelaskan kelebihan dan kekurangan skema captcha berbasis teks, gambar, dan audio. Ia menyatakan bahwa captcha berbasis teks adalah jenis yang paling banyak digunakan dalam sistem yang ada dan berbiaya rendah. Akan tetapi, ia menekankan bahwa captcha tersebut tidak cocok untuk orang dengan gangguan penglihatan, sehingga menyarankan penggunaan captcha berbasis audio. Selain itu, ia menyatakan bahwa menambahkan karakter khusus di antara teks dan menambah panjang teks akan memberikan efek positif pada keamanan.

4 Metode
4.1 Desain Penelitian
Penelitian ini dilakukan dalam lima fase, seperti yang disajikan dalam Gambar 1. Pada fase pertama, tinjauan pustaka terperinci dilakukan pada masalah kegunaan dan keamanan sistem perangkat lunak secara umum, dan masalah kegunaan dan keamanan captcha secara khusus. Selanjutnya, skema captcha yang akan diselidiki ditentukan. Selanjutnya, uji keamanan dilakukan pada berbagai alat OCR untuk mengevaluasi ketahanan captcha yang ditentukan dalam hal keamanan pada fase kedua. Desain eksperimen untuk pengujian ditetapkan, dan Komite Etik diajukan untuk persetujuan prosedur dan alat pengumpulan data pada fase ketiga. Uji percontohan dilakukan setelah mengumpulkan persetujuan dari Komite Etik. Uji pengguna dilakukan, dan data dikumpulkan pada fase keempat. Akhirnya, pada fase kelima, semua data dianalisis, dan rekomendasi dirumuskan berdasarkan data uji pengguna dan temuan tinjauan pustaka.

4.2 Desain Percobaan
Desain eksperimen dalam HCI mencakup penentuan variabel yang akan diperiksa untuk evaluasi antarmuka atau aplikasi, partisipan yang akan diikutsertakan dalam penelitian, tugas yang akan diberikan kepada partisipan, dan prosedur yang akan diterapkan (MacKenzie 2013 ). Dalam lingkup penelitian ini, pada awalnya, variabel independen dan dependen ditentukan.

4.2.1 Variabel Independen
Kondisi yang diteliti dalam lingkup penelitian dan yang dapat dikendalikan oleh peneliti dianggap sebagai variabel independen (MacKenzie 2013 ). Dengan kata lain, variabel independen adalah faktor yang tidak bergantung pada perilaku partisipan dan yang pengaruhnya terhadap variabel dependen diteliti.

Dalam lingkup penelitian, skema Captcha berbasis teks dipilih karena merupakan jenis yang memakan lebih sedikit ruang layar untuk antarmuka seluler dan karena penggunaannya yang luas. Berbagai jenis captcha ditentukan berdasarkan faktor-faktor yang ditetapkan untuk meningkatkan keamanan captcha seperti distorsi, konten, dan presentasi (Yan dan El Ahmad 2008b ). Faktor-faktor ini diimplementasikan dalam berbagai tingkatan, sehingga terciptalah enam jenis captcha, yaitu distorsi, non-distorsi, berbasis kamus, acak, kontras rendah, dan kontras penuh. Contoh untuk setiap jenis captcha dapat dilihat pada Tabel 2 .

Tabel 2. Jenis captcha – Variabel independen dalam penelitian.

Bahasa Indonesia: Saat menentukan tipe captcha, isu terkait kegunaan yang didefinisikan dalam literatur dipertimbangkan. Selama penggunaan captcha pada perangkat seluler, kesalahan dapat dengan mudah terjadi saat beralih dari huruf ke karakter pada papan ketik virtual dan ini mengurangi tingkat kegunaan, oleh karena itu dinyatakan bahwa desain captcha yang hanya terdiri dari huruf atau angka saja lebih dapat digunakan untuk mencegah hal ini (Reynaga et al. 2015 ). Selain itu, ditekankan bahwa pengguna akan lebih berhasil dalam tipe captcha kata kamus dalam bahasa ibu mereka bahkan jika mereka tahu bahasa kedua (Banday dan Sheikh 2013 ; Tangmanee dan Sujarit-apirak 2012 ; Bursztein et al. 2010 ; Fidas et al. 2011 ). Akibatnya, saat membuat teks captcha, angka dan huruf tidak digunakan bersama-sama, sementara hanya huruf-huruf dalam alfabet yang digunakan. Selain itu, karakter yang dapat membingungkan satu sama lain (seperti huruf o dan angka 0) tidak digunakan berdampingan. Selain itu, hanya kata-kata dari alfabet Turki yang digunakan karena pengguna adalah penutur asli bahasa Turki.

Untuk captcha yang akan digunakan dalam penelitian ini, skema berbasis teks diperoleh dengan menanamkan teks dalam gambar, bukan dalam kode HTML, dan digunakan. Dengan demikian, skema ini bertujuan untuk mengurangi keberhasilan serangan keamanan. Berbagai tingkat pengaburan diterapkan pada teks yang akan digunakan untuk membuat captcha yang mengandung faktor distorsi. Kata-kata karakter acak atau kata-kata berbasis kamus digunakan untuk captcha yang sesuai dengan faktor konten. Untuk faktor presentasi, warna yang berbeda digunakan untuk latar belakang dan latar depan teks.

4.2.2 Variabel Terikat
Hasil atau efek berdasarkan perilaku partisipan yang menjadi perhatian peneliti dalam lingkup studi didefinisikan sebagai variabel dependen (MacKenzie 2013 ). Variabel dependen yang diukur dalam studi ini adalah kecepatan entri data (efisiensi), akurasi (efektivitas), dan kepuasan pengguna serta preferensi pengguna terhadap jenis captcha.

Antarmuka aplikasi seluler dikembangkan untuk melakukan pengukuran variabel dependen. Aplikasi ini mencatat berapa lama waktu yang dihabiskan pengguna untuk setiap jenis captcha dan berapa banyak kesalahan yang mereka buat saat memasukkan captcha. Umpan balik dikumpulkan dari para peserta melalui protokol berpikir keras yang diterapkan selama pengujian pengguna dan kuesioner kepuasan dan beban kerja mental yang diterapkan setelahnya. Dengan demikian, evaluasi komparatif dilakukan pada jenis captcha dengan memeriksa faktor akurasi, kecepatan, dan kepuasan.

4.3 Peserta
Studi ini dirancang untuk memastikan keberagaman dengan mengikutsertakan peserta dari berbagai usia dan tingkat pengalaman, dengan distribusi gender yang setara sebisa mungkin. Namun, sampel praktis digunakan untuk mengidentifikasi peserta karena kemudahan akses. Peserta diundang secara sukarela untuk mengikuti studi melalui iklan daring, dan eksperimen kegunaan dilakukan dengan sekitar 30 peserta sukarelawan. Ada 15 peserta laki-laki dan 15 peserta perempuan. Semua peserta berpengalaman dalam penggunaan telepon pintar dan aplikasi seluler. Mereka semua bekerja di bidang teknologi informasi. Rentang usia peserta adalah 21 hingga 60 tahun, dengan usia rata-rata 31,03 tahun, dan mereka dikelompokkan menjadi peserta muda (<30) dan dewasa (≥30).

4.4 Alat Pengumpulan Data
4.4.1 Uji Keamanan
Jenis captcha dibuat dengan menerapkan berbagai fitur peningkatan keamanan yang direkomendasikan dalam literatur untuk captcha berbasis teks, yang ditentukan sebagai skema yang paling berlaku untuk penggunaan aplikasi seluler berdasarkan tinjauan literatur pada tahap pertama penelitian. Sebelum pengujian pengguna, captcha yang dihasilkan ini diuji dengan lima alat keamanan berbeda yang digunakan dalam penelitian sebelumnya (Vithlani dan Kumbharana 2015 ; Vijayarani dan Sakila 2015 ) terhadap berbagai serangan keamanan. Dengan demikian, tingkat ketahanan mereka ditentukan. Alat-alat ini adalah Google Docs, I2OCR, Convert image to text.net, OCR Convert, dan SimpleOCR. Alat keamanan adalah alat yang membedakan dan mengenali teks atau karakter yang tertanam dalam gambar yang dibuat menggunakan pustaka OCR. Saat tingkat pengenalan meningkat, tingkat keamanan captcha menurun. Dengan demikian, captcha dengan tingkat pengenalan rendah lebih aman.

4.4.2 Kuesioner
Empat kuesioner diterapkan untuk mengumpulkan data selama studi pengguna. Pertama, kuesioner informasi demografi digunakan untuk mengumpulkan informasi dari peserta tentang jenis kelamin, usia, dan status pendidikan, serta informasi tentang pengalaman menggunakan telepon pintar di awal studi pengguna.

Selama studi pengguna, setelah penyelesaian setiap entri jenis captcha, NASA-TLX (NASA Task Load Index) (Hart dan Staveland 1988 ) diimplementasikan untuk mengukur beban kerja umum peserta. Kuesioner ini memungkinkan untuk mengevaluasi sistem menurut enam faktor Mental Demand (MD), Physical Demand (PD), Temporal Demand (TD), Performance (P), Effort (E), dan Frustration (F). Setiap faktor dinilai dari 1 hingga 20, dengan 1 sebagai tingkat beban kerja terendah dan 20 sebagai tingkat beban kerja tertinggi. Untuk penilaian kuesioner, pertama-tama, setiap item dinilai dan diberi bobot. Karena setiap pembobotan dianggap sama maka tingkat pembobotan dianggap sebagai 5. Pada tahap akhir, tingkat setiap item dikurangi satu dan dikalikan dengan tingkat pembobotan. TLX @ NASA Ames (NASA Ames Research Center 2019 ), yang merupakan aplikasi seluler yang dikembangkan oleh NASA, digunakan untuk implementasi dan penilaian NASA TLX dalam studi tersebut. Aplikasi ini menganalisis data milik setiap pengguna dan secara otomatis melaporkan hasil matriks beban kerja.

T-CSUQ (Kuesioner Kegunaan Sistem Komputer versi Turki) (Erdinç 2015 ) digunakan untuk mengukur kepuasan partisipan terhadap captcha. Kuesioner ini terdiri dari 13 item dalam beberapa dimensi kegunaan sistem, kualitas informasi, kualitas antarmuka, dan evaluasi keseluruhan. Dalam TCSU-Q, pengguna menilai setiap item dari 1 hingga 7. Satu mewakili kepuasan maksimum, sedangkan 7 mewakili kepuasan minimum dalam kuesioner. Setelah kuesioner selesai, rata-rata item dihitung, dan skor kepuasan pengguna tersebut terungkap (Erdinç 2015 ). Tingkat kepuasan keseluruhan sistem terungkap dengan menghitung skor setiap pengguna atau persentase kepuasan yang sesuai dengan skor (Lewis 1995 ). Untuk cakupan studi ini, tiga item dihilangkan karena terkait dengan dimensi kualitas informasi, yang tidak relevan untuk tugas pengguna dalam studi ini.

Terakhir, kuesioner preferensi diterapkan untuk memberi peringkat preferensi peserta terhadap captcha. Itu adalah formulir peringkat sederhana yang disiapkan oleh para peneliti.

4.4.3 Perkakas Perangkat Keras dan Perangkat Lunak
Aplikasi uji captcha seluler dikembangkan untuk memungkinkan pengguna memasukkan berbagai jenis captcha selama pengujian pengguna. Aplikasi ini mencatat kesalahan pengguna dan waktu yang dihabiskan untuk setiap captcha secara otomatis.

Perangkat iOS model iPhone 6 digunakan untuk menjalankan aplikasi. Saat mengembangkan aplikasi, XCode digunakan sebagai lingkungan pengembangan, dan Objective C digunakan sebagai bahasa pemrograman.

Aplikasi menyambut pengguna dengan antarmuka login pengguna. Pengguna memulai tes dengan menekan tombol “CAPTCHA Baru” pada antarmuka ini, dan aplikasi menyajikan captcha pertama. Pengguna memasukkan captcha yang disajikan ke dalam kotak teks dan kemudian mengirimkannya dengan menekan tombol “Kirim”, seperti yang dapat dilihat pada Gambar 2. Jika pengguna tidak dapat memahami captcha yang disajikan atau tidak ingin merespons; maka ia diizinkan untuk melewati captcha itu dengan menekan tombol “Lulus”. Setelah itu, pengguna diberikan umpan balik tergantung pada status input mereka sebagai “benar, salah atau dilewati.” Setiap pengguna disajikan dengan captcha dalam urutan acak. Setelah input semua captcha selesai, sebuah pesan disajikan kepada pengguna yang mengatakan bahwa tes telah berakhir. Selanjutnya, pengguna diharapkan untuk mengisi kuesioner.

4.5 Prosedur Pengujian
Prosedur untuk studi pengguna disajikan pada Gambar 3. Prosedur ini terdiri dari tujuh langkah sebagai berikut:
1. Sebelum studi pengguna, partisipan diberi tahu tentang studi tersebut dan diminta untuk menyetujui formulir persetujuan yang diberikan. Seorang pengamat memandu partisipan selama studi pengguna.

2. Peserta mengisi Kuesioner Informasi Demografi terlebih dahulu.

3. Peserta diperbolehkan menggunakan aplikasi uji captcha seluler untuk memahami penggunaan berbagai jenis captcha.

4.Setelah uji coba, mereka memulai prosedur pengujian dengan menekan tombol “New CATCHA” dan mengakses jenis captcha pertama. Saat mereka memasukkan captcha, mereka menekan tombol “submit” untuk memasukkan data atau tombol “pass” saat mereka tidak dapat memahami captcha dan tidak dapat menulis.

A.Selama input data mereka tidak diberikan opsi hapus atau kembali.

B.Kesalahan dalam memasukkan captcha atau memilih opsi pass oleh peserta diterima sebagai kesalahan.

5.Saat peserta melengkapi input jenis captcha, ia akan disajikan dengan NASA TLX dan T-CSUQ untuk diisi mengenai jenis captcha yang telah diisi.

A.Mereka diperbolehkan untuk beristirahat di antara input jenis captcha.

6.Peserta menyelesaikan studi pengguna dengan menekan tombol “selesai” setelah semua input data selesai.

Nomor telepon 7.
Setelah menyelesaikan semua input semua jenis captcha, peserta diminta untuk mengurutkan preferensi mereka.

Peserta diminta untuk berpikir keras (Van Someren 1994 ) selama studi pengguna dan saat mengisi kuesioner kepuasan. Dengan demikian, komentar mereka mengenai kesulitan yang mereka hadapi saat menggunakan captcha atau alasan preferensi mereka dapat dengan mudah dikumpulkan.

5 Hasil
Hasil yang dikumpulkan dalam lingkup studi disajikan dalam empat bagian. Pada bagian pertama, hasil mengenai uji keamanan yang diterapkan pada jenis captcha dilaporkan. Berikutnya, analisis kinerja peserta mengenai berbagai jenis captcha disajikan. Bagian ketiga mencakup analisis kesalahan yang dibuat oleh peserta dengan berbagai jenis captcha. Bagian keempat dan terakhir mencakup hasil NASA-TLX, T-CSUQ, kuesioner peringkat preferensi yang diselesaikan setelah seluruh studi pengguna, dan data think-aloud peserta, yang diperiksa secara kualitatif untuk kepuasan peserta.

5.1 Ketahanan Jenis Captcha
Berbagai serangan keamanan diterapkan pada 6 jenis captcha dengan fitur yang berbeda oleh lima alat keamanan yang berbeda yang direkomendasikan dalam literatur (Vithlani dan Kumbharana 2015 ; Vijayarani dan Sakila 2015 ). Temuan pengujian disajikan dalam Tabel 3. Tidak ada alat keamanan yang dapat mengenali captcha berbasis distorsi dan kontras rendah sehingga rasio resolusinya ditetapkan sebesar 0% dan diterima sebagai sepenuhnya kuat. Ketika hasil pengujian jenis captcha berbasis string acak diselidiki, salah satu captcha dikenali oleh Google Docs dan I2OCR, dan rasio resolusinya ditetapkan sebesar 25% dan diterima sebagai kuat. Sebaliknya, jenis captcha berbasis non-distorsi, string kamus, dan kontras penuh semuanya dikenali oleh kelima alat tersebut dengan rasio 100%, sehingga dipastikan bahwa mereka bukanlah jenis captcha yang kuat mengenai rasio pengenalannya.

Tabel 3. Tingkat ketahanan captcha dengan lima alat uji keamanan.

5.2 Kinerja
Rata-rata waktu respons untuk setiap jenis captcha dari 30 peserta disajikan pada Gambar 4. Ketika rata-rata waktu respons semua peserta diperiksa, terungkap bahwa jenis captcha berbasis string kamus dimasukkan paling cepat (Rata-rata = 5,6; SD = 1,96). Sebaliknya, jenis captcha berbasis kontras rendah dimasukkan paling lambat (Rata-rata = 8,2, SD = 2,06).

Pengaruh jenis captcha pada jumlah kesalahan signifikan secara statistik, F (2,839, 82,319) = 10,742, p  = 0,001, sebagaimana ditentukan menggunakan koreksi Greenhouse–Geisser untuk pelanggaran sferisitas. Jenis captcha dengan perbedaan signifikan berdasarkan analisis post hoc Bonferroni diberikan dalam Tabel 4. Tidak ditemukan perbedaan statistik di antara jenis-jenis tersebut selain pasangan distorsi versus non-distorsi ( p  = 0,025), distorsi versus string kamus ( p  = 0,00), distorsi versus kontras penuh ( p  = 0,043), string acak versus string kamus ( p  = 0,002), dan kontras rendah versus string kamus ( p  = 0,002).

Tabel 4. Perbandingan berpasangan kinerja berbagai jenis captcha.

Dampak karakteristik demografi seperti usia dan jenis kelamin terhadap kinerja peserta dievaluasi. Hasilnya menunjukkan bahwa peserta muda memasukkan data lebih cepat daripada peserta dewasa untuk semua jenis captcha. Namun, perbedaannya hanya signifikan ( p  < 0,05) untuk jenis captcha non-distorsi, string acak, dan kontras penuh, sementara tidak ada perbedaan signifikan untuk jenis captcha lainnya. Ketika waktu penyelesaian tugas rata-rata peserta dievaluasi berdasarkan jenis kelamin, ditemukan bahwa peserta perempuan lebih cepat daripada peserta laki-laki, tetapi tidak ditemukan perbedaan signifikan secara statistik untuk semua jenis captcha ( p  > 0,05).

5.3 Kesalahan
Ketika input captcha dari semua peserta diperiksa, ditentukan bahwa jenis captcha dengan jumlah kesalahan tertinggi adalah captcha berbasis distorsi dengan total 22 kesalahan. Selain itu, terlihat bahwa yang paling berhasil adalah jenis captcha tanpa distorsi dengan total dua kesalahan. Jumlah kesalahan pada semua jenis captcha dapat dilihat pada Gambar 5 .

Pengaruh jenis captcha terhadap jumlah kesalahan signifikan secara statistik, F (3,055, 88,587) = 6,005, p  = 0,001, sebagaimana ditentukan menggunakan koreksi Greenhouse-Geisser untuk pelanggaran kebulatan. Pasangan jenis captcha dengan perbedaan signifikan berdasarkan analisis post hoc Bonferroni adalah distorsi versus non-distorsi ( p  = 0,035), distorsi versus string kamus ( p  = 0,043) dan string acak versus non-distorsi ( p  = 0,035). Tidak ditemukan perbedaan signifikan antara jenis selain pasangan yang diberikan, sebagaimana dapat dilihat pada Tabel 5 .

Tabel 5. Perbandingan berpasangan jumlah kesalahan pada berbagai jenis captcha.

Ketika efek usia peserta terhadap jumlah kesalahan yang dibuat oleh peserta di setiap jenis captcha dievaluasi, ditemukan bahwa peserta muda membuat lebih sedikit kesalahan daripada orang dewasa. Hanya dalam captcha string acak perbedaannya signifikan secara statistik yang menguntungkan peserta muda ( p  < 0,05). Tidak ada perbedaan signifikan dalam jenis string distorsi, non-distorsi, kontras penuh, kontras rendah, dan kamus. Ketika jumlah kesalahan dievaluasi berdasarkan jenis kelamin, diamati bahwa peserta perempuan membuat lebih sedikit kesalahan di banyak jenis captcha selain non-distorsi dan string acak. Ketika peserta laki-laki dianalisis, jenis yang paling berhasil adalah captcha non-distorsi, di mana mereka mendapatkan semua jawaban yang benar, sedangkan jenis yang paling tidak berhasil adalah captcha distorsi, di mana mereka mendapatkan 15 jawaban yang salah. Namun, tidak ada perbedaan signifikan secara statistik yang ditemukan antara semua jenis captcha menurut faktor jenis kelamin ( p  > 0,05).

5.4 Kepuasan
5.4.1 Kuesioner NASA-TLX
Beban kognitif partisipan diperiksa menurut kuesioner NASA-TLX. Tipe captcha yang menimbulkan beban maksimum adalah captcha berbasis distorsi dengan skor 28,88, sedangkan captcha kontras tinggi merupakan tipe yang menimbulkan beban kerja minimum dengan skor 13,92. Skor seluruh tipe captcha disajikan pada Gambar 6. Bila skor mendekati 0 maka diterima sebagai beban kerja rendah, sedangkan bila mendekati 100 diterima sebagai captcha beban kerja tinggi. Selain itu, bila skor berada di kisaran 50, maka diterima sebagai captcha beban kerja sedang. Bila Gambar 6 diteliti, sebaran seluruh skor berada di bawah 50, yakni sekitar 10 hingga 30. Dengan demikian, dapat dikatakan bahwa seluruh tipe captcha yang diteliti dalam lingkup penelitian tidak menimbulkan beban kerja tinggi bagi pengguna.

Pengaruh jenis captcha signifikan secara statistik ( F (5, 174) = 3,7995, p  = 0,0027) dalam survei NASA-TLX. Pasangan jenis captcha dengan perbedaan signifikan berdasarkan analisis post hoc Bonferroni adalah distorsi versus non-distorsi ( p  = 0,0349), distorsi versus kontras penuh ( p  = 0,0084), dan distorsi versus kontras rendah ( p  = 0,0269) seperti yang dapat dilihat pada Tabel 6. Tidak ditemukan perbedaan signifikan antara jenis selain pasangan yang diberikan ini.

Tabel 6. Perbandingan berpasangan skor NASA-TLX dari berbagai jenis captcha.

Ketika pengaruh usia pada skor NASA-TLX peserta dievaluasi, ditemukan bahwa peserta dewasa mengalami lebih banyak beban kerja daripada peserta yang lebih muda. Selain itu, ketika data NASA-TLX dievaluasi berdasarkan jenis kelamin, ditemukan bahwa peserta pria mengalami lebih sedikit beban kerja daripada peserta wanita pada jenis distorsi dan captcha string acak, sementara peserta wanita mengalami lebih sedikit beban kerja daripada peserta pria pada jenis lainnya. Namun, perbedaan ini tidak signifikan secara statistik berdasarkan jenis kelamin atau usia ( p  > 0,05).

5.4.2 T-CSUQ
Peserta mendefinisikan pendapat mereka tentang kegunaan sistem, kualitas antarmuka, dan kepuasan umum terhadap jenis captcha menurut T-CSUQ. Jenis captcha yang paling memuaskan ditentukan sebagai kata kamus dengan tingkat kepuasan 94%, sedangkan yang paling tidak memuaskan adalah captcha kontras rendah dengan tingkat kepuasan 46%. Persentase kepuasan semua jenis captcha diberikan dalam Gambar 7 .

Efek tipe captcha signifikan secara statistik ( F (5, 174) = 58.1449, p  = 2.3744e −35 ) di TCSUQ. Pasangan tipe captcha dengan perbedaan signifikan berdasarkan analisis post hoc Bonferroni adalah distorsi versus non-distorsi ( p  = 0,00), distorsi versus kontras penuh ( p  = 0,0084), dan distorsi versus kontras rendah ( p  = 0,0269). Pasangan sisanya tidak menyertakan perbedaan signifikan di antara mereka. Pendapat terperinci peserta tentang kegunaan sistem, kualitas antarmuka, dan dimensi kepuasan umum T-CSUQ juga disajikan dalam Tabel 7 . Dapat dilihat dari tabel bahwa string kamus dianggap sebagai tipe captcha yang paling memuaskan di semua dimensi (94%). Selain itu, distorsi adalah captcha yang paling tidak memuaskan dalam dimensi kegunaan (49%), sedangkan kontras rendah adalah yang paling tidak memuaskan dalam dimensi kualitas antarmuka (40%) dan kepuasan umum (41%).

Tabel 7. Persentase kepuasan setiap jenis captcha dalam dimensi kegunaan sistem, kualitas antarmuka dan kepuasan umum T-CSUQ.

Pengaruh tipe captcha pada ketiga dimensi juga diselidiki dan ditemukan signifikan secara statistik untuk masing-masing yaitu kegunaan sistem ( F (5, 174) = 59.3668, p  = −2.22045e −16 ), kualitas antarmuka ( F (5, 174) = 45.853584, p  = 8.88178e −16 ), dan kepuasan umum ( F (5, 174) = 41.992559, p  = −2.22045e −16 ). Pasangan tipe captcha dengan perbedaan signifikan berdasarkan analisis post hoc Bonferroni pada semua dimensi juga disajikan dalam Tabel 8 . Terlihat bahwa ada perbedaan signifikan di antara pasangan distorsi versus non-distorsi ( p  = 9.50184e −11 ), non-distorsi versus kontras rendah ( p  = 9.49647e −11 ), distorsi versus acak ( p  = 0,00), distorsi versus kamus ( p  = 9.50232e −11 ), distorsi versus kontras penuh ( p  = 9.50251e −11 ), acak versus kamus ( p  = 0,00), kontras rendah versus kamus ( p  = 9.49680e −11 ), dan kontras rendah versus kontras penuh ( p  = 9.49714e −11 ) untuk kegunaan sistem. Selain itu, pasangan distorsi versus non-distorsi ( p  = 9,57140e −11 ), non-distorsi versus kontras rendah ( p  = 9,53785e −11 ), distorsi versus acak ( p  = 0,00), distorsi versus kontras penuh ( p  = 9,54659e −11 ), non-distorsi versus acak ( p  = 0,00), acak versus kamus ( p  = 0,00), kontras rendah versus kamus ( p  = 9,53553e −11 ), dan kontras rendah versus kontras penuh ( p  = 9,53774e −11 ) signifikan untuk kualitas antarmuka. Akhirnya, distorsi versus non-distorsi ( p  = 9.54772e −11 ), non-distorsi versus acak ( p  = 0,00), non-distorsi versus kontras rendah ( p  = 9.53830e −11 ), distorsi versus acak ( p  = 0,01), distorsi versus kamus ( p  = 9.53859e −11 ), distorsi versus kontras penuh ( p  = 9.55648e −11 ), acak versus kontras rendah ( p  = 0,00), acak versus kamus (Pasangan p  = 9.00688e −7 ), kontras acak versus kontras penuh ( p  = 0.00), kontras rendah versus kamus ( p  = 9.53784e −11 ), dan kontras rendah versus kontras penuh ( p  = 9.53828e −11 ) signifikan untuk kepuasan umum. Pasangan yang tersisa tidak berbeda secara signifikan satu sama lain.

Tabel 8. Perbandingan berpasangan T-CSUQ dari berbagai jenis captcha.

Hasil survei T-CSUQ juga dianalisis berdasarkan usia dan jenis kelamin. Ketika kepuasan dianalisis berdasarkan usia, tipe yang paling memuaskan bagi peserta muda dan dewasa adalah captcha non-distorsi, sedangkan tipe yang paling tidak memuaskan bagi kedua kelompok usia adalah captcha kontras rendah. Ketika kepuasan terhadap tipe captcha dianalisis berdasarkan jenis kelamin, peserta pria paling puas dengan string kamus, sementara mereka paling tidak puas dengan captcha kontras rendah. Demikian pula, peserta wanita paling puas dengan captcha non-distorsi dan paling tidak puas dengan captcha kontras rendah.

5.4.3 Peringkat Preferensi Jenis Captcha Peserta
Peserta diminta untuk memberi peringkat preferensi jenis captcha mereka di enam tingkatan, dari yang paling disukai (pilihan pertama) hingga yang paling tidak disukai (pilihan keenam), di akhir uji pengguna. Peringkat mereka dianalisis berdasarkan frekuensi pilihan untuk setiap tingkatan pilihan, dan penekanan yang lebih besar diberikan pada pilihan sebelumnya (pilihan pertama, kedua, dan ketiga) untuk mencerminkan preferensi utama peserta.

Seperti yang ditunjukkan pada Tabel 9 , captcha non-distorsi dipilih sebagai pilihan pertama oleh jumlah peserta terbanyak (18 peserta). Untuk pilihan kedua dan ketiga, captcha kontras penuh menerima penyebutan terbanyak (12 peserta untuk pilihan kedua dan 15 peserta untuk pilihan ketiga). Selain itu, captcha string kamus dipilih sebagai pilihan pertama oleh 10 peserta dan pilihan kedua oleh 9 peserta, menjadikannya preferensi penting secara keseluruhan.

Tabel 9. Peringkat preferensi jenis captcha peserta.

Catatan: Pemformatan tebal digunakan untuk menyorot nilai tertentu.

Captcha dengan string acak adalah yang paling sering disebutkan sebagai pilihan keempat (22 peserta), diikuti oleh captcha distorsi sebagai pilihan kelima (20 peserta). Terakhir, captcha kontras rendah berada di peringkat keenam oleh 24 peserta, yang menunjukkan bahwa itu adalah pilihan yang paling tidak disukai secara keseluruhan.

5.4.4 Berpikir Keras
Peserta diminta untuk berpikir lantang mengenai jenis captcha tentang pendapat mereka mengenai kesulitan, kualitas antarmuka, fungsionalitas, dan kemudahan pemahaman jenis captcha. Komentar mereka dianalisis secara kualitatif. Captcha non-distorsi, rangkaian kamus, dan kontras tinggi dievaluasi secara positif di semua dimensi oleh semua peserta. Khususnya untuk captcha rangkaian kamus, salah satu peserta (Peserta 3 – P3) berkomentar, “Saya merespons dengan cepat dan mudah karena saya dapat melihat kata secara keseluruhan alih-alih melihat huruf satu per satu.” Sebaliknya, peserta umumnya tidak menyukai captcha distorsi dan kontras rendah. Mengenai captcha kontras rendah, beberapa peserta (P2, P6, P10, P19) menyatakan bahwa kontras rendah teks dan warna latar belakang membuat mereka tidak nyaman, membuat mata mereka lelah, sehingga mereka kesulitan memahami captcha. Demikian pula, peserta berkomentar bahwa captcha distorsi juga membuat mata mereka lelah, dan bahkan jika mereka dapat memasukkan dengan benar, ketegangan mata membuat mereka tidak nyaman. Captcha string acak dianggap memadai dalam hal kemudahan pemahaman tetapi tidak dalam hal kualitas antarmuka.

6. Pembahasan dan Kesimpulan
Sangat penting untuk menggunakan captcha yang akan memenuhi persyaratan keamanan dan kegunaan pengguna secara seimbang dalam aplikasi perangkat lunak (Chow dan Susilo 2017 ; Belk et al. 2015 ). Oleh karena itu, dalam penelitian ini, ditujukan untuk menentukan jenis captcha yang menyeimbangkan ketahanan dan kegunaan, terutama dalam antarmuka seluler, dengan melakukan studi pengguna untuk mengevaluasi kegunaan dan keamanan bersama. Sehubungan dengan tujuan ini, pertama-tama, berbagai jenis captcha berbasis teks yang digunakan dalam antarmuka seluler dipilih dan dikenakan evaluasi keamanan. Selanjutnya, evaluasi kegunaan dilakukan dalam hal faktor efektivitas, efisiensi, dan kepuasan dengan uji pengguna. Selain itu, juga bertujuan untuk berkontribusi pada literatur dengan memberikan rekomendasi yang dapat dirujuk oleh pengembang aplikasi saat menentukan captcha yang akan mereka gunakan dalam aplikasi mereka berdasarkan temuan penelitian.

Enam captcha berbasis teks yang berbeda dimasukkan dalam cakupan studi. Captcha tersebut ditentukan berdasarkan tiga faktor, yaitu distorsi (distorsi vs. non-distorsi) (Yan dan El Ahmad 2008a ), presentasi (kontras tinggi vs. kontras rendah) (Chew dan Baird 2003 ; Coates et al. 2001 ), dan konten (string kamus vs. string acak) (von Ahn et al. 2008 ). Awalnya, uji keamanan diterapkan pada captcha ini. Setelah itu, aplikasi uji seluler dikembangkan, dan kemudian evaluasi kegunaan captcha ini dilakukan oleh 30 peserta sukarela. Waktu input captcha peserta, dan kesalahan dicatat oleh aplikasi seluler, dan kepuasan mereka dinilai oleh kuesioner T-CSUQ, NASA-TLX, dan preferensi.

Berdasarkan hasil uji keamanan yang diterapkan untuk mengukur ketahanan captcha yang diteliti dalam penelitian ini, captcha dengan tipe dictionary string, high contrast, dan non-distortion ditetapkan sebagai kategori yang tidak tangguh dengan rasio pengenalan 100%. Sebaliknya, captcha dengan tipe random string ditetapkan sebagai kategori tangguh dengan rasio pengenalan 25%, sementara captcha dengan tipe distortion dan low contrast ditetapkan sebagai kategori yang sepenuhnya tangguh.

Di sisi lain, string kamus terungkap memiliki kinerja yang lebih baik, sementara kontras rendah memiliki kinerja terburuk di antara semua captcha yang diselidiki berdasarkan temuan studi pengguna. Mengenai jumlah kesalahan, captcha non-distorsi memiliki kesalahan terendah sementara captcha distorsi memiliki kesalahan tertinggi. Skor NASA-TLX menunjukkan bahwa beban mental paling sedikit diciptakan oleh kontras tinggi sementara beban mental paling banyak disebabkan oleh captcha distorsi. Peserta lebih puas dengan captcha string kamus, sementara mereka paling tidak puas dengan captcha kontras rendah berdasarkan skor T-CSUQ. Temuan ini konsisten dengan hasil studi sebelumnya (Bursztein et al. 2010 ; Banday dan Sheikh 2013 ; Tangmanee dan Sujarit-apirak 2012 ). Karena tidak ada korupsi atau kontras warna yang tidak memadai dalam captcha non-distorsi, dan karena kamus, kata-kata dari bahasa ibu peserta digunakan untuk captcha string kamus, pengenalan mereka lebih mudah, dan ini meningkatkan tingkat keberhasilan dan kepuasan (Banday dan Sheikh 2013 ; Tangmanee dan Sujarit-apirak 2012 ; Bursztein et al. 2010 ; Fidas dan Voyiatzis 2013 ). Dalam captcha kontras dan distorsi rendah, karakter dapat dengan mudah tercampur dengan latar belakang, sehingga mereka ditemukan lebih lama untuk dikenali. Oleh karena itu, keberhasilan dan kepuasan mereka lebih rendah.

Menurut hasil studi ini, captcha string acak, distorsi, dan kontras rendah ditetapkan lebih aman daripada yang lain. Selain itu, ketika semua data mengenai kinerja, kesalahan, skor NASA-TLX dan T-CSUQ, dan hasil survei peringkat preferensi diselidiki, captcha string acak ditetapkan sebagai jenis yang paling dapat digunakan sebagai hasilnya. Dalam captcha string acak, karena tidak ada kata kamus yang digunakan, ia lebih kuat terhadap serangan kamus atau serangan pengenalan (Yan dan El Ahmad 2008a ; Roshanbin dan Miller 2012 ). Selain itu, karena tidak ada distorsi atau kontras warna yang tidak memadai diterapkan, para peserta dapat dengan mudah memahami bahkan jika huruf-hurufnya ditulis dengan cara yang beragam. Akibatnya, mereka lebih menyukainya dengan tingkat kepuasan yang lebih tinggi. Tabel 10 menyajikan jenis captcha yang ditetapkan lebih dapat digunakan dan aman berdasarkan temuan studi ini. Captcha string acak, yang terungkap kuat dan dapat digunakan direkomendasikan untuk dipilih terlebih dahulu. Captcha distorsi direkomendasikan sebagai opsi alternatif.

Tabel 10. CAPTCHA yang lebih aman dan dapat digunakan telah ditentukan dalam penelitian.

6.1 Rekomendasi untuk Pengembang untuk Penggunaan Captcha Berbasis Teks
Ada berbagai serangan yang menargetkan captcha. Oleh karena itu, pengembang harus mempertimbangkan ketahanan captcha yang akan mereka integrasikan dalam aplikasi mereka serta kegunaannya. Dalam lingkup studi, menurut hasil uji kegunaan dan keamanan serta survei literatur yang dilakukan, rekomendasi ditetapkan yang akan memandu pengembang saat memutuskan captcha yang akan mereka gunakan.

Captcha yang diteliti dalam penelitian ini didesain sesuai dengan literatur untuk meningkatkan kegunaannya, sehingga penggunaan angka dan huruf secara bersamaan dihilangkan (Banday dan Sheikh, 2013 ; Tangmanee dan Sujarit-apirak, 2012 ; Bursztein et al., 2010 ; Fidas dan Voyiatzis, 2013 ), huruf-huruf yang mudah membingungkan seperti huruf o dan angka 0 tidak digunakan (Chow et al., 2019 ), dan huruf-huruf dari bahasa ibu peserta dipilih. Oleh karena itu, respons peserta lebih positif, yang konsisten dengan literatur.

Dalam captcha berbasis teks, waktu respons penting, dan waktu respons yang disarankan kurang dari 10 detik (Bursztein et al. 2010 ). Selain itu, ketika pengguna tidak dapat menyelesaikannya pada percobaan pertama, hal ini akan berdampak negatif dan mengurangi keberhasilan mereka pada percobaan berikutnya (Fidas dan Voyiatzis 2013 ; Yan dan Ahmad 2007 ). Waktu respons semua captcha yang diteliti dalam studi ini tidak melebihi 10 detik.

Untuk mencegah serangan dan meningkatkan keamanan, disarankan untuk melengkungkan, mendistorsi, menyelaraskan, dan memutar karakter dalam teks captcha (Yan dan El Ahmad 2008b ), dan menggunakan karakter acak sebagai ganti karakter kamus (Yan dan El Ahmad 2009 ). Namun, terlihat bahwa saran-saran ini menurunkan kegunaan captcha dalam penelitian ini.

Rekomendasi yang memungkinkan keseimbangan masalah keamanan dan kegunaan bagi pengembang aplikasi seluler disajikan dalam Tabel 11 berdasarkan temuan studi dan literatur ini.

Tabel 11. Rekomendasi untuk pengembang aplikasi seluler dalam pemilihan jenis captcha.

6.2 Keterbatasan dan Pekerjaan Masa Depan
Beberapa keterbatasan perlu disebutkan dalam penelitian ini. Pertama, captcha digunakan untuk tujuan autentikasi di situs web dan aplikasi. Namun, dalam penelitian ini, aplikasi seluler memungkinkan peserta memasukkan data captcha sebagai aplikasi prototipe. Pengujian jenis captcha dalam aplikasi autentikasi yang lebih autentik dapat dianggap sebagai pekerjaan selanjutnya. Dengan cara ini, setelah diterapkan di lingkungan pengembangan nyata, rekomendasi bagi pengembang aplikasi seluler tentang pemilihan jenis captcha berdasarkan hasil penelitian akan dievaluasi validitasnya.

Selain itu, jumlah partisipan dalam penelitian ini terbatas dan sebagian besar berprofesi di bidang teknologi informasi. Oleh karena itu, penelitian selanjutnya dapat dilakukan dengan memperluas sampel dengan lebih banyak partisipan yang juga memiliki pengalaman di bidang lain.