Pembelajaran terpandu (supervised learning) merupakan salah satu paradigma dalam machine learning di mana data masukan (seperti vektor fitur) dan nilai keluaran yang diinginkan (sinyal pengawasan berlabel manusia) digunakan untuk melatih sebuah model. Data pelatihan diproses untuk membangun sebuah fungsi yang memetakan data baru ke nilai keluaran yang diharapkan. Skenario optimal akan memungkinkan algoritma untuk menentukan nilai keluaran dengan benar untuk instance yang belum pernah dilihat sebelumnya.

Langkah-langkah dalam Pembelajaran Terpandu:

1. Menentukan jenis contoh pelatihan (seperti karakter tulisan tangan, kata, atau kalimat).
2. Mengumpulkan data pelatihan yang representatif dari penggunaan dunia nyata.
3. Menentukan representasi fitur masukan dari fungsi yang akan dipelajari.
4. Menentukan struktur fungsi yang dipelajari dan algoritma pembelajaran terkait (seperti Support Vector Machines, Regresi Logistik, atau Pohon Keputusan).
5. Menjalankan algoritma pembelajaran pada data pelatihan dan menyesuaikan parameter kontrol.
6. Mengevaluasi akurasi fungsi yang dipelajari pada data uji yang terpisah dari data pelatihan.

Dalam memilih algoritma pembelajaran terpandu, ada beberapa faktor penting yang perlu dipertimbangkan, seperti trade-off bias-varians, kompleksitas fungsi, dimensi ruang masukan, dan kebisingan dalam nilai keluaran. Trade-off bias-varians mengacu pada keseimbangan antara kemampuan model untuk mempelajari pola dengan baik (bias rendah) dan kemampuannya untuk mengeneralisasi pola tersebut pada data baru (varians rendah). Kompleksitas fungsi mengacu pada seberapa rumit fungsi yang dipelajari, semakin kompleks semakin banyak data yang dibutuhkan untuk melatihnya dengan baik. Dimensi ruang masukan mengacu pada jumlah fitur yang digunakan, semakin banyak fitur semakin sulit untuk mempelajari pola yang relevan. Kebisingan dalam nilai keluaran mengacu pada adanya kesalahan atau noise dalam data pelatihan, yang dapat menyebabkan overfitting jika tidak ditangani dengan baik.

Algoritma yang populer digunakan antara lain Support Vector Machines, Regresi Linear, Regresi Logistik, Naive Bayes, Linear Discriminant Analysis, Pohon Keputusan, K-Nearest Neighbor, Jaringan Syaraf Tiruan (Multilayer Perceptron), dan Similarity Learning. Masing-masing algoritma memiliki kelebihan dan kekurangan tersendiri, sehingga pemilihan algoritma yang tepat sangat bergantung pada karakteristik masalah dan data yang dimiliki.

Secara umum, algoritma pembelajaran terpandu bekerja dengan mencari fungsi yang meminimalkan risiko empiris (kesalahan pada data pelatihan) atau meminimalkan risiko struktural (yang juga memperhitungkan kompleksitas fungsi). Risiko empiris mengacu pada seberapa baik model dapat mempelajari pola dari data pelatihan, sedangkan risiko struktural juga memperhitungkan kemampuan model untuk mengeneralisasi pola tersebut pada data baru.

Selain itu, ada beberapa generalisasi dari masalah pembelajaran terpandu standar, seperti semi-supervised learning, active learning, structured prediction, dan learning to rank. Semi-supervised learning melibatkan penggunaan data yang sebagian berlabel dan sebagian tidak berlabel untuk melatih model. Active learning melibatkan proses interaktif di mana algoritma dapat meminta label untuk data tertentu selama proses pelatihan. Structured prediction digunakan ketika nilai keluaran yang diinginkan adalah objek kompleks seperti pohon parsing atau grafik berlabel. Learning to rank digunakan ketika masukan berupa kumpulan objek dan nilai keluaran yang diinginkan adalah peringkat dari objek-objek tersebut.

Dengan kemampuannya dalam mempelajari pola dari data berlabel, pembelajaran terpandu menjadi salah satu pendekatan penting dalam machine learning untuk membangun model yang dapat melakukan prediksi atau pengambilan keputusan berdasarkan data baru yang belum pernah dilihat sebelumnya. Aplikasinya sangat luas, mulai dari pengenalan pola, pengolahan bahasa alami, analisis sentimen, rekomendasi sistem, dan banyak lagi. Dengan memahami konsep dasar dan memilih algoritma yang tepat, pembelajaran terpandu dapat menjadi alat yang sangat kuat untuk mengekstrak pengetahuan dari data dan membantu pengambilan keputusan yang lebih baik.
 

Disadur dari: id.wikipedia.org/en.wikipedia.org/wiki/Supervised_learning

Dalam dunia pembelajaran mesin, adakalanya kita dihadapkan pada situasi di mana tidak semua data memiliki label. Inilah yang menjadi tantangan dalam paradigma pembelajaran tanpa pengawasan (unsupervised learning). Namun, dengan munculnya model bahasa besar, kebutuhan akan data berlabel dalam jumlah besar menjadi semakin tinggi. Di sinilah peran weak supervision (pengawasan lemah) menjadi relevan.

Weak supervision merupakan paradigma pembelajaran mesin yang mengombinasikan sedikit data berlabel (yang biasanya digunakan dalam pembelajaran terbimbing/supervised learning) dengan sejumlah besar data tidak berlabel (yang biasanya digunakan dalam pembelajaran tanpa pengawasan/unsupervised learning). Dengan kata lain, nilai output yang diinginkan hanya diberikan untuk sebagian dari data pelatihan. Sisa datanya tidak berlabel atau berlabel secara tidak tepat.

_{Kecenderungan suatu tugas menggunakan metode yang diawasi vs. tidak diawasi. Nama tugas yang mengangkangi batas lingkaran memang disengaja. Hal ini menunjukkan bahwa pembagian tugas imajinatif klasik (kiri) yang menggunakan metode tanpa pengawasan tidak jelas dalam skema pembelajaran saat ini.}

Secara intuitif, weak supervision dapat diibaratkan seperti ujian, di mana data berlabel bertindak sebagai contoh soal yang dijawab oleh guru untuk membantu siswa menyelesaikan soal-soal lain yang belum terjawab (data tidak berlabel). Dalam pengaturan transduktif, soal-soal yang belum terjawab ini bertindak sebagai soal ujian. Sedangkan dalam pengaturan induktif, mereka menjadi soal-soal latihan yang akan membentuk ujian.

Teknis, weak supervision dapat dilihat sebagai melakukan pengelompokan (clustering) dan kemudian memberi label pada kelompok-kelompok tersebut dengan data berlabel, mendorong batas keputusan (decision boundary) menjauh dari wilayah dengan densitas tinggi, atau mempelajari manifold satu dimensi di mana data berada.

Asumsi yang digunakan dalam weak supervision antara lain:

1. Asumsi kontinuitas/kelancaran: Titik-titik yang berdekatan cenderung memiliki label yang sama.
2. Asumsi kelompok: Data cenderung membentuk kelompok-kelompok diskrit, dan titik dalam kelompok yang sama cenderung memiliki label yang sama.
3. Asumsi manifold: Data terletak pada manifold dengan dimensi yang jauh lebih rendah daripada ruang input.

Metode 

Beberapa metode yang digunakan dalam weak supervision meliputi model generatif, separasi densitas rendah, regularisasi Laplacian, dan pendekatan heuristik seperti self-training dan co-training.

• Generative Models:

Salah satu pendekatan utama dalam semi-supervised learning adalah menggunakan model generatif. Model ini berusaha untuk memahami distribusi data dari masing-masing kelas. Dengan menggunakan aturan Bayes, probabilitas bahwa suatu data tertentu memiliki label tertentu adalah proporsional terhadap distribusi tersebut. Model generatif ini mengasumsikan distribusi tertentu yang dapat diatur oleh parameter tertentu. Namun, jika asumsi-asumsi tersebut tidak tepat, data yang tidak terlabel dapat mengurangi akurasi solusi, meskipun jika asumsi tersebut benar, data yang tidak terlabel dapat meningkatkan kinerja model.

• Low-Density Separation:

Metode lain yang umum digunakan adalah pemisahan low-density. Salah satu algoritma yang populer adalah Transductive Support Vector Machine (TSVM), yang bertujuan untuk memisahkan data yang tidak terlabel dengan tepat. TSVM memilih batas keputusan yang memiliki margin maksimal terhadap semua data. Selain itu, pendekatan lain seperti Gaussian process models, information regularization, dan entropy minimization juga digunakan dalam konteks ini.

• Laplacian Regularization:

Regulasi Laplacian juga merupakan metode yang umum digunakan dalam semi-supervised learning. Metode ini menggunakan representasi grafik dari data, dimana setiap titik data dihubungkan dengan tetangganya. Tujuannya adalah untuk memaksimalkan kehalusan solusi relatif terhadap manifold data. Graph Laplacian digunakan untuk mendekati regulasi intrinsik.

• Heuristic Approaches:

Beberapa metode dalam semi-supervised learning tidak secara intrinsik dirancang untuk memanfaatkan data yang tidak terlabel, melainkan menggunakan data tersebut dalam kerangka pembelajaran yang terawasi. Salah satunya adalah self-training, dimana model pertama kali dilatih dengan data terlabel, lalu diterapkan pada data yang tidak terlabel untuk menghasilkan lebih banyak data terlabel. Metode lainnya adalah co-training, yang melibatkan beberapa klasifikasi yang dilatih pada fitur yang berbeda.

Solusi Weak supervision

Weak supervision menawarkan solusi yang menjanjikan untuk masalah pembelajaran mesin di mana data berlabel sulit atau mahal untuk diperoleh, tetapi data tidak berlabel tersedia dalam jumlah besar. Dengan mengoptimalkan penggunaan data berlabel dan tidak berlabel, kita dapat meningkatkan kinerja model dan membuka peluang untuk aplikasi yang lebih luas dalam berbagai bidang.

Disadur dari: en.wikipedia.org 

Reinforcement learning (RL) adalah area interdisipliner dalam pembelajaran mesin dan kontrol optimal yang berfokus pada bagaimana agen cerdas seharusnya mengambil tindakan dalam lingkungan dinamis untuk memaksimalkan penghargaan (reward) kumulatif. Reinforcement learning merupakan salah satu dari tiga paradigma utama pembelajaran mesin, bersama dengan pembelajaran terbimbing (supervised learning) dan pembelajaran tanpa pengawasan (unsupervised learning).

Berbeda dengan pembelajaran terbimbing, Reinforcement Learning tidak memerlukan pasangan input/output berlabel untuk dihadirkan, dan tidak memerlukan tindakan suboptimal untuk dikoreksi secara eksplisit. Fokusnya adalah menemukan keseimbangan antara eksplorasi (wilayah yang belum dipetakan) dan eksploitasi (pengetahuan saat ini) dengan tujuan memaksimalkan penghargaan jangka panjang, yang mungkin memiliki umpan balik yang tidak lengkap atau tertunda.

Lingkungan Reinforcement Learning biasanya dinyatakan dalam bentuk Markov Decision Process (MDP), karena banyak algoritma Reinforcement Learning untuk konteks ini menggunakan teknik pemrograman dinamis. Perbedaan utama antara metode pemrograman dinamis klasik dan algoritma Reinforcement Learning adalah bahwa yang terakhir tidak mengasumsikan pengetahuan model matematika yang tepat dari MDP dan menargetkan MDP besar di mana metode yang tepat menjadi tidak layak.

Reinforcement Learning diaplikasikan secara sukses pada berbagai masalah, termasuk operasi penyimpanan energi, kontrol robot, pengiriman generator fotovoltaik, permainan papan seperti backgammon, catur, Go (AlphaGo), dan sistem mengemudi otonom. Dua elemen yang membuat Reinforcement Learning powerful adalah penggunaan sampel untuk mengoptimalkan kinerja dan penggunaan pendekatan fungsi untuk menangani lingkungan besar.

_{Kerangka umum skenario Reinforcement Learning (RL): seorang agen mengambil tindakan dalam suatu lingkungan, yang diinterpretasikan menjadi hadiah dan representasi negara, yang kemudian dimasukkan kembali ke dalam agen.}

Dalam RL, dilema eksplorasi vs eksploitasi telah dipelajari secara mendalam, terutama melalui masalah multi-armed bandit dan untuk ruang keadaan hingga MDP. Reinforcement Learning memerlukan mekanisme eksplorasi yang cerdik, karena memilih tindakan secara acak tanpa mempertimbangkan distribusi probabilitas yang diperkirakan menunjukkan kinerja yang buruk. Metode seperti ε-greedy digunakan untuk keseimbangan eksplorasi-eksploitasi, di mana dengan probabilitas 1-ε, eksploitasi dipilih (tindakan yang diyakini terbaik), dan dengan probabilitas ε, eksplorasi dipilih (tindakan dipilih secara acak).

Reinforcement Learning menawarkan pendekatan yang menarik untuk mempelajari perilaku optimal dalam lingkungan yang dinamis dan kompleks, di mana penghargaan jangka panjang harus dipertimbangkan. Dengan kemampuannya dalam mengoptimalkan kinerja dari sampel dan menangani lingkungan besar melalui pendekatan fungsi, Reinforcement Learning terus menjadi area penelitian yang penting dalam kecerdasan buatan dan memiliki banyak aplikasi praktis dalam berbagai domain.

Algoritma untuk Kontrol Pembelajaran 

Dalam ranah pembelajaran mesin, khususnya dalam konteks kontrol, algoritme memainkan peran penting dalam menguraikan tindakan terbaik untuk memaksimalkan imbalan kumulatif. Bahkan ketika kita mengasumsikan bahwa keadaan tersebut dapat diamati, tantangannya terletak pada pemanfaatan pengalaman masa lalu untuk menentukan tindakan mana yang menghasilkan imbalan yang lebih tinggi dari waktu ke waktu.

• Optimalitas: Jalan Menuju Efisiensi

Inti dari pembelajaran kontrol terletak pada gagasan optimalitas, di mana proses pengambilan keputusan agen dirangkum dalam sebuah kebijakan. Sebuah kebijakan berfungsi sebagai peta yang menentukan probabilitas pemilihan tindakan tertentu dalam keadaan tertentu. Melalui kebijakan, kita menavigasi lanskap tindakan dan keadaan yang kompleks untuk mengoptimalkan imbalan.

• Fungsi Nilai-Negara: Mengukur Kelayakan

Untuk mengukur nilai dari berada dalam kondisi tertentu, kami menggunakan fungsi nilai keadaan. Fungsi ini memperkirakan pengembalian diskonto yang diharapkan mulai dari keadaan tertentu dan mengikuti kebijakan yang ditentukan. Pada dasarnya, fungsi ini memberikan wawasan tentang seberapa menguntungkan suatu keadaan dalam hal mencapai hasil yang diinginkan.

• Pencarian Efisiensi: Brute Force dan Selanjutnya

Perjalanan menuju kebijakan yang optimal sering kali dimulai dengan metode brute force, di mana kami dengan cermat mengeksplorasi berbagai kebijakan dan sampel pengembalian untuk melihat jalur yang paling bermanfaat. Namun, banyaknya jumlah kebijakan potensial ditambah dengan varians dalam pengembalian menimbulkan tantangan yang signifikan.

• Pendekatan Fungsi Nilai: Menavigasi Medan

Pendekatan fungsi nilai menawarkan kerangka kerja terstruktur untuk menavigasi lanskap kebijakan. Dengan mempertahankan estimasi imbal hasil yang diharapkan, metode-metode ini berusaha mengidentifikasi jalur yang paling menjanjikan untuk memaksimalkan imbalan. Melalui iterasi dan penyempurnaan, metode-metode ini semakin mendekati solusi yang optimal.

• Metode Perbedaan Temporal: Belajar dari Pengalaman

Metode perbedaan temporal, yang berakar pada persamaan Bellman rekursif, menawarkan pendekatan yang bernuansa belajar dari pengalaman. Dengan memadukan wawasan dari transisi masa lalu dengan prediksi ke depan, metode ini mengadaptasi dan menyempurnakan kebijakan dari waktu ke waktu, mengurangi dampak dari pengembalian yang berisik.

• Perkiraan Fungsi: Menjembatani Kesenjangan

Metode pendekatan fungsi menjembatani kesenjangan antara teori dan praktik dengan memanfaatkan pemetaan linier untuk memperkirakan nilai tindakan. Metode-metode ini menawarkan skalabilitas dan efisiensi, sehingga sangat berharga dalam menangani ruang aksi-negara yang besar.

• Pencarian Kebijakan Langsung: Menelusuri Ruang Kebijakan

Metode pencarian kebijakan langsung menghindari pendekatan fungsi nilai tradisional dan lebih memilih untuk menjelajahi ruang kebijakan secara langsung. Dengan memanfaatkan teknik berbasis gradien atau bebas gradien, metode-metode ini menawarkan perangkat serbaguna untuk menavigasi lanskap keputusan yang kompleks.

• Algoritme Berbasis Model: Memanfaatkan Kekuatan Prediksi

Algoritme berbasis model memanfaatkan model prediktif dari proses pengambilan keputusan untuk meningkatkan efisiensi pembelajaran. Dengan menyempurnakan model-model ini secara berulang, mereka menawarkan kerangka kerja terstruktur untuk memperbarui perilaku dan mengoptimalkan hasil.

Teori Algoritme Pembelajaran Kontrol yang Efisien

Dalam mengejar algoritme pembelajaran kontrol yang efisien, memahami interaksi antara eksplorasi, eksploitasi, dan penyempurnaan kebijakan adalah hal yang terpenting. Ketika kita mengungkap seluk-beluk pengambilan keputusan di lingkungan yang dinamis, algoritme ini berfungsi sebagai suar pemandu, menerangi jalan menuju strategi kontrol yang optimal.

Disadur dari: en.wikipedia.org 

Dalam ranah pembelajaran mesin yang terus berkembang, salah satu teknik yang telah mendapatkan daya tarik yang signifikan adalah pembelajaran representasi, yang juga dikenal sebagai pembelajaran fitur. Pendekatan ini memberdayakan sistem untuk secara otomatis menemukan representasi yang diperlukan untuk tugas-tugas seperti deteksi fitur atau klasifikasi, langsung dari data mentah. Dengan menghindari kebutuhan untuk rekayasa fitur secara manual, pembelajaran representasi memungkinkan mesin untuk tidak hanya mempelajari fitur tetapi juga memanfaatkannya untuk melakukan tugas-tugas tertentu secara efektif.

Motivasi di balik pembelajaran representasi berasal dari fakta bahwa banyak tugas pembelajaran mesin, seperti klasifikasi, sering kali membutuhkan data input dalam format yang mudah dikomputasi. Namun, sumber data dunia nyata seperti gambar, video, dan data sensor telah terbukti sulit untuk diproses secara algoritmik dengan fitur-fitur tertentu yang telah ditentukan sebelumnya. Pembelajaran representasi menawarkan solusi alternatif dengan memungkinkan penemuan fitur atau representasi tersebut melalui pemeriksaan, tanpa bergantung pada algoritme eksplisit.

Pembelajaran representasi dapat dibagi menjadi tiga kategori utama: terawasi, tidak terawasi, dan mandiri. Dalam pembelajaran representasi yang diawasi, fitur-fitur dipelajari dari data input yang diberi label, memanfaatkan label kebenaran dasar untuk menghasilkan representasi yang akurat. Pembelajaran representasi tanpa pengawasan, di sisi lain, mempelajari fitur dari data yang tidak berlabel dengan menganalisis hubungan antara titik data dalam kumpulan data. Pembelajaran representasi yang diawasi sendiri mengambil pendekatan yang unik dengan membangun pasangan input-label dari setiap titik data, memungkinkan pembelajaran struktur data melalui metode yang diawasi seperti gradient descent, meskipun tidak ada label eksplisit.

Berbagai teknik telah dikembangkan untuk setiap kategori pembelajaran representasi. Pendekatan yang diawasi meliputi pembelajaran kamus, yang merepresentasikan titik data sebagai jumlah tertimbang dari elemen representatif, dan jaringan saraf, yang mempelajari representasi pada lapisan tersembunyi untuk tugas klasifikasi atau regresi selanjutnya. Metode tanpa pengawasan mencakup teknik-teknik seperti pengelompokan K-means, analisis komponen utama (PCA), dan analisis komponen independen (ICA). Selain itu, arsitektur pembelajaran yang mendalam seperti mesin Boltzmann terbatas (RBM) dan pembuat enkode otomatis telah terbukti efektif untuk pembelajaran representasi tanpa pengawasan.

Dalam ranah pembelajaran representasi yang diawasi sendiri, teknik-teknik seperti penyematan kata (misalnya, Word2vec dan BERT) telah mencapai kesuksesan yang luar biasa dalam data teks, sementara metode-metode seperti pembelajaran kontrastif dan pendekatan generatif telah diterapkan pada data gambar, video, audio, dan bahkan data multimodal.

Kekuatan pembelajaran representasi terletak pada kemampuannya untuk secara otomatis mengekstrak fitur-fitur berharga dari data mentah, membuka jalan untuk meningkatkan efisiensi, fleksibilitas, dan penemuan wawasan. Seiring dengan terus berkembangnya bidang ini, pembelajaran representasi memiliki potensi untuk mendorong kemajuan terobosan dalam kecerdasan buatan dan pembelajaran mesin, mendorong pemahaman yang lebih dalam tentang data yang kompleks dan memungkinkan proses pengambilan keputusan yang lebih canggih.

Disadur dari: en.wikipedia.org

Pembelajaran kamus jarang (Sparse Dictionary Learning), juga dikenal sebagai pengkodean jarang atau SDL, adalah teknik yang dirancang untuk mengungkap representasi data masukan yang jarang dengan mengekspresikannya sebagai kombinasi linier dari elemen dasar yang dikenal sebagai atom. Atom-atom ini membentuk sebuah kamus dan tidak harus ortogonal, sehingga memungkinkan untuk mendapatkan rangkaian rentang yang lebih lengkap. Pengaturan ini memungkinkan representasi sinyal dalam dimensi yang lebih tinggi daripada yang diamati, yang mengarah ke atom-atom yang tampaknya berlebihan yang meningkatkan kelangkaan dan fleksibilitas.

Metode ini menemukan aplikasi yang signifikan dalam penginderaan terkompresi atau pemulihan sinyal, di mana sinyal dimensi tinggi dapat direkonstruksi dari beberapa pengukuran linier, asalkan sinyal menunjukkan sparsitas. Berbagai algoritme, seperti basis pursuit dan CoSaMP, membantu dalam pemulihan sinyal setelah diubah menjadi ruang yang jarang menggunakan teknik seperti transformasi wavelet.

Inti dari pembelajaran kamus jarang adalah inferensi kamus dari data masukan itu sendiri. Tidak seperti pendekatan tradisional yang menggunakan kamus yang sudah ditentukan sebelumnya seperti Fourier atau transformasi wavelet, kamus yang dipelajari secara signifikan meningkatkan sparsitas, menemukan aplikasi dalam dekomposisi, kompresi, dan analisis data. Pendekatan ini sangat efektif dalam denoising gambar, klasifikasi, serta pemrosesan video dan audio, dengan aplikasi yang luas dalam kompresi gambar, fusi, dan inpainting.

Dalam bidang pembelajaran mesin, pembelajaran kamus renggang telah muncul sebagai teknik ampuh untuk merepresentasikan data secara ringkas dan efisien. Pendekatan ini bertujuan untuk menemukan kamus D dan representasi R sehingga data masukan X dapat direkonstruksi secara akurat sebagai produk dari D dan R, sekaligus memastikan bahwa representasi R jarang, artinya memiliki sedikit entri bukan nol.

Permasalahan tersebut dapat dirumuskan sebagai masalah optimasi berikut:

argmin 

dimana

Di sini, tujuannya adalah untuk meminimalkan kesalahan rekonstruksi sambil meningkatkan ketersebaran dalam representasi ri melalui "norma" ℓ0. Himpunan C membatasi kamus D untuk mencegah atom-atomnya mencapai nilai tinggi yang sewenang-wenang.

Pembelajaran kamus renggang menawarkan beberapa keunggulan dibandingkan metode tradisional. Kamus yang terlalu lengkap, yang jumlah atomnya melebihi dimensi data masukan, memungkinkan representasi yang lebih kaya dan fleksibel. Selain itu, kamus yang dipelajari dapat menghasilkan solusi yang lebih jarang dibandingkan dengan matriks transformasi yang telah ditentukan sebelumnya seperti wavelet atau transformasi Fourier.

Berbagai algoritma telah dikembangkan untuk mengatasi masalah optimasi ini, antara lain Method of Optimal Directions (MOD), K-SVD, Stochastic Gradient Descent, Lagrange Dual Method, dan LASSO. Masing-masing pendekatan memiliki kekuatan dan kelemahannya, beberapa pendekatan lebih efisien untuk data berdimensi rendah sementara pendekatan lain dapat menangani skenario berdimensi tinggi.

Selain itu, teknik pembelajaran kamus online telah diusulkan untuk mengatasi skenario di mana data masukan terlalu besar untuk dimasukkan ke dalam memori atau diterima sebagai aliran. Metode ini memperbarui kamus secara berulang saat data baru tersedia, mengurangi kebutuhan memori dan memungkinkan pembelajaran representasi renggang yang efisien.

Pembelajaran kamus renggang telah diterapkan di berbagai domain, termasuk pemrosesan gambar dan sinyal, visi komputer, dan pembelajaran mesin. Dengan memberikan representasi data yang ringkas dan informatif, ini dapat meningkatkan kinerja tugas-tugas seperti klasifikasi, denoising, dan kompresi.

Seiring dengan berkembangnya bidang pembelajaran mesin, pembelajaran kamus renggang tetap menjadi alat yang ampuh dalam upaya representasi data yang efisien dan efektif, membuka jalan bagi aplikasi yang lebih maju dan canggih.

Aplikasi dalam Pembelajaran Kamus Jarang

Pembelajaran kamus jarang, sebuah teknik yang ampuh dalam pemrosesan sinyal, telah merevolusi berbagai tugas pemrosesan gambar dan video dengan menguraikan sinyal input menjadi beberapa elemen dasar yang dipelajari. Pendekatan inovatif ini memungkinkan hasil yang canggih, khususnya dalam masalah klasifikasi. Dengan membangun kamus khusus untuk setiap kelas, pembelajaran kamus jarang memungkinkan klasifikasi sinyal input berdasarkan representasi yang paling jarang.

Selain itu, pembelajaran kamus jarang menawarkan properti yang berharga untuk denoising sinyal. Dengan mempelajari kamus yang merepresentasikan bagian yang bermakna dari sinyal input secara jarang, noise pada input dapat secara efektif dibedakan, karena biasanya menunjukkan representasi yang lebih jarang.

Aplikasi pembelajaran kamus yang jarang meluas ke berbagai domain, termasuk pemrosesan gambar, video, dan audio, serta sintesis tekstur dan pengelompokan tanpa pengawasan. Evaluasi empiris dengan model Bag-of-Words telah menyoroti keunggulan pengkodean jarang dibandingkan pendekatan lain, terutama dalam tugas pengenalan kategori objek.

Selain dampaknya dalam pemrosesan gambar dan video, pembelajaran kamus memainkan peran penting dalam analisis sinyal medis. Sinyal medis, mulai dari elektroensefalografi (EEG) dan elektrokardiografi (EKG) hingga pencitraan resonansi magnetik (MRI) dan tomografi komputer ultrasound (USCT), mendapat manfaat dari analisis khusus yang dimungkinkan oleh teknik pembelajaran kamus jarang.

Disadur dari: en.wikipedia.org

Pembelajaran aturan asosiasi, yang merupakan landasan pembelajaran mesin, menawarkan metode berharga untuk mengungkap hubungan bermakna antar variabel dalam database yang luas. Dengan memanfaatkan ukuran ketertarikan, pendekatan ini bertujuan untuk mengidentifikasi aturan kuat yang menjelaskan hubungan antar item dalam transaksi.

Berasal dari karya Rakesh Agrawal, Tomasz Imieliński, dan Arun Swami, aturan asosiasi awalnya dirancang untuk mengungkap pola data transaksi skala besar yang dikumpulkan oleh sistem point-of-sale (POS) di supermarket. Misalnya, aturan seperti "bawang bombay, kentang ⇒ burger" yang diambil dari data penjualan supermarket menunjukkan bahwa pelanggan yang membeli bawang bombay dan kentang secara bersamaan kemungkinan besar juga akan membeli daging hamburger. Wawasan tersebut sangat berharga untuk memandu strategi pemasaran, memberikan informasi dalam pengambilan keputusan mengenai harga promosi, dan mengoptimalkan penempatan produk.

Selain analisis keranjang pasar, aturan asosiasi dapat diterapkan di berbagai bidang seperti penambangan penggunaan web, deteksi intrusi, produksi berkelanjutan, dan bioinformatika. Berbeda dengan sequence mining, pembelajaran aturan asosiasi tidak memprioritaskan urutan item di dalam atau di seluruh transaksi, melainkan berfokus pada mengidentifikasi asosiasi yang signifikan.

Meskipun pembelajaran aturan asosiasi menawarkan potensi besar untuk mengungkap wawasan, kompleksitas algoritme dan parameternya dapat menimbulkan tantangan bagi individu yang tidak memiliki keahlian dalam penambangan data. Memahami dan menafsirkan banyaknya aturan yang dihasilkan oleh algoritme ini dapat menjadi hal yang sulit tanpa pengetahuan khusus.

Definisi Pembelajaran Aturan Asosiasi

Penambangan aturan asosiasi, sebagaimana yang didefinisikan awal oleh Agrawal, Imieliński, dan Swami, memasuki ranah mengungkapkan hubungan bermakna dalam kumpulan data. Pada intinya, metode ini bertujuan untuk mengidentifikasi pola jika-maka antara berbagai item, memberikan wawasan berharga tentang asosiasi yang ada dalam data transaksional.

Pada dasarnya, penambangan aturan asosiasi dimulai dengan seperangkat atribut biner, disebut sebagai item, yang ditunjukkan sebagai . Item-item ini mewakili fitur atau karakteristik yang sedang diteliti dalam kumpulan data. Selanjutnya, basis data yang terdiri dari transaksi dibentuk, di mana setiap transaksi berisi identifikasi unik dan subset item dari I.

Aturan dalam konteks penambangan aturan asosiasi digambarkan sebagai implikasi dalam bentuk , di mana X dan Y mewakili subset item dari I. Patut dicatat, sesuai dengan definisi oleh Agrawal, Imieliński, dan Swami, sebuah aturan dibentuk antara sebuah set dan satu item tunggal, dilambangkan sebagai ​, di mana .

Setiap aturan terdiri dari dua set item yang berbeda yang dikenal sebagai itemset: bagian pendahuluan (atau sisi kiri, LHS) dilambangkan sebagai X dan konsekuensi (atau sisi kanan, RHS) dilambangkan sebagai Y. Pendahuluan mewakili item yang ditemukan dalam dataset, sementara konsekuensi menandakan item yang ditemukan ketika digabungkan dengan pendahuluan. Diterjemahkan sebagai "jika X maka Y," pernyataan ini menyiratkan bahwa setiap kali pendahuluan X terjadi dalam dataset, konsekuensi Y kemungkinan akan mengikuti.

Proses:
Aturan asosiasi berasal dari kumpulan item, dibuat dengan menganalisis transaksi untuk pola yang sering terjadi. Proses ini melibatkan penentuan Support (frekuensi kemunculan item) dan Confidence (kemungkinan kebenaran aturan). Metrik lainnya, Peningkatan, membandingkan Keyakinan yang diharapkan dan aktual untuk mengukur signifikansi aturan.

Aplikasi:
Penambangan aturan asosiasi dapat diterapkan di berbagai bidang seperti analisis keranjang pasar, prediksi perilaku pelanggan, dan diagnosis medis. Dengan mengungkap korelasi dan kejadian bersama antar kumpulan data, hal ini membantu dalam pengambilan keputusan dan pengenalan pola, seperti yang terlihat dalam dunia kedokteran yang membantu dokter mendiagnosis pasien dengan menganalisis hubungan gejala.

Tantangan:
Meskipun aturan asosiasi menawarkan wawasan, tantangannya mencakup penyesuaian parameter dan relevansi aturan. Menetapkan ambang batas yang tepat untuk Dukungan dan Keyakinan sangatlah penting, karena terlalu banyak aturan dapat mengurangi kinerja dan kemampuan interpretasi algoritma. Kurangnya pemahaman tentang konsep data mining dapat semakin mempersulit analisis.

Ambang batas:
Ambang batas Dukungan dan Keyakinan sangat penting dalam pembuatan aturan, memastikan pemilihan asosiasi yang bermakna. Dengan menetapkan ambang batas minimum, hanya kumpulan item signifikan yang dipertimbangkan, sehingga meningkatkan relevansi aturan yang ditemukan. Interaksi antara Dukungan dan Keyakinan membantu mengidentifikasi korelasi yang kuat dalam kumpulan data.

Konsep Berguna:
Dukungan mengkuantifikasi frekuensi itemset, sementara Confidence mengukur keakuratan aturan. Lift menilai signifikansi aturan relatif terhadap independensi, sementara Conviction mengevaluasi tingkat kesalahan prediksi aturan. Berbagai ukuran ketertarikan melengkapi Keyakinan, membantu dalam pemilihan aturan.

Algoritma:
Beberapa algoritma memfasilitasi penambangan aturan asosiasi, termasuk Apriori, Eclat, dan FP-Growth. Algoritme ini menggunakan strategi yang berbeda, seperti pembuatan kandidat dan struktur berbasis pohon, untuk mengidentifikasi kumpulan item yang sering digunakan secara efisien dan menghasilkan aturan yang bermakna.

Diagram alir kontrol untuk algoritma Apriori

Jenis lain dari Penambangan Aturan Asosiasi

Penambangan aturan asosiasi adalah teknik penambangan data yang populer yang digunakan untuk mengidentifikasi hubungan antara item dalam kumpulan data yang besar. Salah satu cerita yang paling terkenal tentang association rule mining adalah cerita "bir dan popok", yang merupakan sebuah survei yang dilakukan terhadap para pembeli supermarket yang cenderung membeli popok dan bir secara bersamaan. Namun, kebenaran dari cerita ini masih diperdebatkan, dan sering digunakan sebagai contoh bagaimana asosiasi yang tidak terduga dapat ditemukan dalam data sehari-hari.

Ada beberapa jenis association rule mining, termasuk:

• Aturan Asosiasi Multi-Relasi (MRAR): Aturan-aturan ini melibatkan hubungan tidak langsung antar entitas, seperti "mereka yang tinggal di tempat yang dekat dengan kota yang memiliki tipe iklim lembab dan juga berusia di bawah 20 tahun, maka kondisi kesehatannya baik."
• Pembelajaran himpunan kontras: Bentuk pembelajaran asosiatif ini menggunakan aturan yang berbeda secara bermakna dalam distribusinya di seluruh himpunan bagian.
• Pembelajaran kelas berbobot: Jenis pembelajaran asosiatif ini memberikan bobot pada kelas-kelas untuk memberikan fokus pada masalah tertentu yang menjadi perhatian konsumen dari hasil penggalian data.
• Penemuan pola tingkat tinggi: Teknik ini memfasilitasi penangkapan pola tingkat tinggi atau asosiasi peristiwa yang bersifat intrinsik pada data dunia nyata yang kompleks.
• Penemuan pola K-optimal: Sebuah alternatif dari pendekatan standar untuk pembelajaran aturan asosiasi, yang mengharuskan setiap pola sering muncul dalam data.
• Perkiraan penambangan Frequent Itemset: Versi santai dari penambangan Frequent Itemset yang memungkinkan beberapa item di beberapa baris menjadi 0.
• Taksonomi hirarki Generalized Association Rules (hirarki konsep): Jenis penambangan aturan asosiasi ini menggunakan taksonomi hirarkis untuk mengidentifikasi hubungan antar item.
• Aturan Asosiasi Kuantitatif: Metode ini digunakan untuk data kategorikal dan kuantitatif.
• Aturan Asosiasi Data Interval: Metode ini melibatkan partisi data ke dalam interval, seperti rentang usia.
• Penambangan pola berurutan: Teknik ini menemukan urutan yang umum terjadi pada lebih dari minsup (ambang batas dukungan minimum) urutan dalam basis data urutan, di mana minsup ditetapkan oleh pengguna.
• Pengelompokan Subruang: Jenis khusus pengelompokan data berdimensi tinggi, berdasarkan properti penutupan ke bawah untuk model pengelompokan tertentu.
• Warmr: Alat yang memungkinkan pembelajaran aturan asosiasi untuk aturan relasional tingkat pertama.

Disadur dari: en.wikipedia.org