Analisis Diskriminan Linear (LDA), juga dikenal sebagai Analisis Diskriminan Normal (NDA) atau Analisis Fungsi Diskriminan, adalah generalisasi dari diskriminan linier milik Fisher. Metode ini digunakan dalam statistik dan bidang lainnya untuk menemukan kombinasi linear fitur yang menggambarkan atau memisahkan dua atau lebih kelas objek atau peristiwa. Kombinasi yang dihasilkan dapat digunakan sebagai pengklasifikasi linier atau, lebih umumnya, untuk reduksi dimensi sebelum klasifikasi lebih lanjut.

LDA berkaitan erat dengan analisis varians (ANOVA) dan analisis regresi, yang juga berusaha untuk mengekspresikan satu variabel terikat sebagai kombinasi linear dari fitur atau pengukuran lainnya. Namun, ANOVA menggunakan variabel independen kategorikal dan variabel terikat kontinu, sedangkan analisis diskriminan memiliki variabel independen kontinu dan variabel terikat kategorikal (yaitu label kelas). Regresi logistik dan regresi probit lebih mirip dengan LDA daripada ANOVA, karena mereka juga menjelaskan variabel kategorikal dengan nilai variabel independen kontinu.

LDA juga berkaitan erat dengan Analisis Komponen Utama (PCA) dan analisis faktor karena keduanya mencari kombinasi linear dari variabel yang paling baik menjelaskan data. LDA secara eksplisit mencoba memodelkan perbedaan antara kelas data, sedangkan PCA tidak memperhatikan perbedaan kelas, dan analisis faktor membangun kombinasi fitur berdasarkan perbedaan daripada kesamaan. Analisis diskriminan juga berbeda dari analisis faktor karena bukan merupakan teknik interdependensi: perlu dibuat perbedaan antara variabel independen dan variabel terikat (juga disebut variabel kriteria).

LDA bekerja ketika pengukuran yang dilakukan pada variabel independen untuk setiap observasi adalah kuantitas kontinu. Ketika berurusan dengan variabel independen kategorikal, teknik setara adalah analisis korespondensi diskriminan. Analisis diskriminan digunakan ketika grup sudah diketahui sebelumnya (berbeda dengan analisis cluster). Setiap kasus harus memiliki skor pada satu atau lebih ukuran prediktor kuantitatif, dan skor pada ukuran grup. Secara sederhana, analisis fungsi diskriminan adalah klasifikasi - tindakan mendistribusikan hal-hal ke dalam kelompok, kelas, atau kategori yang sama.

Sejarah dan Perkembangan Analisis Diskriminan

Pada tahun 1936, Sir Ronald Fisher mengembangkan analisis diskriminan dichotomous asli. Metode ini berbeda dari ANOVA atau MANOVA, yang digunakan untuk memprediksi satu (ANOVA) atau beberapa (MANOVA) variabel terikat kontinu dengan satu atau lebih variabel independen kategorikal. Analisis fungsi diskriminan bermanfaat dalam menentukan apakah sekumpulan variabel efektif dalam memprediksi keanggotaan kategori.

Analisis Diskriminan Linear (LDA) untuk Dua Kelas

Dalam analisis statistik, terutama dalam pemrosesan data dan klasifikasi, metode Analisis Diskriminan Linear (LDA) memiliki peran penting. Konsep ini, yang dikembangkan oleh Sir Ronald Fisher pada tahun 1936, digunakan untuk membedakan atau memisahkan dua kelas objek atau peristiwa berdasarkan serangkaian pengamatan yang dikenal.

LDA bekerja dengan mengasumsikan bahwa fungsi kepadatan probabilitas bersyarat untuk setiap kelas adalah distribusi normal dengan parameter rata-rata dan kovariansi tertentu. Di bawah asumsi ini, solusi Bayes-optimal adalah memprediksi titik-titik sebagai berasal dari kelas kedua jika log dari rasio kemungkinan lebih besar dari suatu ambang tertentu. Metode ini memungkinkan klasifikasi yang akurat dan efisien.

Selain itu, LDA juga membuat asumsi tambahan yang disebut homoskedastisitas, yang mengasumsikan bahwa kovariansi antar kelas adalah identik. Dengan asumsi ini, beberapa istilah dalam rumus klasifikasi dapat disederhanakan, menghasilkan pengklasifikasi linier yang lebih efisien.

Dari sudut pandang geometris, LDA mengartikan klasifikasi sebagai proyeksi titik dalam ruang multidimensi ke dalam vektor tertentu, di mana letaknya menentukan kelasnya. Dengan kata lain, keputusan klasifikasi adalah hasil dari perbandingan linear dari pengamatan yang diketahui.

Dengan asumsi yang tepat dan penerapan yang cermat, Analisis Diskriminan Linear (LDA) memberikan pendekatan yang kuat untuk memahami dan mengklasifikasikan data, yang dapat digunakan dalam berbagai konteks, mulai dari riset ilmiah hingga aplikasi praktis dalam kehidupan sehari-hari.

Penggunaan Praktis Analisis Diskriminan Linear (LDA)

Dalam praktiknya, rata-rata kelas dan kovariansi tidak selalu diketahui. Namun, keduanya dapat diestimasi dari set data pelatihan. Estimasi yang umum digunakan adalah estimasi maksimum kemungkinan atau estimasi maksimum a posteriori. Meskipun estimasi kovariansi mungkin dianggap optimal dalam beberapa hal, ini tidak berarti bahwa diskriminan yang dihasilkan dengan menggunakan nilai-nilai ini adalah yang terbaik dalam segala hal, bahkan jika asumsi tentang distribusi normal kelas adalah benar.

Salah satu komplikasi dalam menerapkan LDA dan diskriminan Fisher pada data nyata adalah ketika jumlah pengukuran setiap sampel melebihi jumlah sampel dalam setiap kelas. Dalam kasus ini, estimasi kovariansi tidak memiliki peringkat penuh, sehingga tidak dapat diinverskan. Ada beberapa cara untuk mengatasi hal ini, salah satunya adalah menggunakan pseudo invers sebagai gantinya. Namun, stabilitas numerik yang lebih baik dapat dicapai dengan pertama-tama memproyeksikan masalah ke dalam subruang yang dipanjangi oleh Σb. Strategi lain untuk mengatasi ukuran sampel kecil adalah dengan menggunakan estimasi penyusutan matriks kovariansi, yang dapat dinyatakan secara matematis sebagai:

Σ = (1 - λ)Σ + λI,

di mana I adalah matriks identitas, dan λ adalah intensitas penyusutan atau parameter regularisasi.

Selain itu, dalam banyak kasus praktis, diskriminan linear tidak cocok. LDA dan diskriminan Fisher dapat diperluas untuk digunakan dalam klasifikasi non-linear melalui trik kernel. Di sini, pengamatan asli secara efektif dipetakan ke dalam ruang non-linear dimensi lebih tinggi. Klasifikasi linear dalam ruang non-linear ini setara dengan klasifikasi non-linear dalam ruang asli. Contoh paling umum dari ini adalah diskriminan Fisher kernel.

Disadur dari: en.wikipedia.org

Dalam bidang geometri, konsep jarak merupakan hal yang mendasar, dan rumus jarak Euclidean yang sudah tidak asing lagi sudah tertanam kuat dalam pemahaman kita tentang hubungan spasial. Namun, para ahli matematika telah mengeksplorasi definisi alternatif tentang jarak, yang mengarah pada pengembangan geometri yang menarik dengan sifat-sifat yang unik. Salah satu geometri tersebut adalah Geometri Taksi, yang juga dikenal sebagai Geometri Manhattan atau Geometri Blok Kota.

Geometri Taksi berangkat dari ukuran jarak Euclidean tradisional dan sebagai gantinya mendefinisikan jarak antara dua titik sebagai jumlah perbedaan absolut dari koordinat Kartesius masing-masing. Fungsi jarak ini dinamakan "jarak taksi", "jarak Manhattan", atau "jarak blok kota", karena fungsi ini merefleksikan jalur yang harus dilalui oleh sebuah taksi di sepanjang jalan persegi panjang di kota yang terencana seperti Manhattan.

Secara formal, dalam ruang koordinat nyata dua dimensi (R^2), jarak taksi antara dua titik (x1, y1) dan (x2, y2) diberikan oleh rumus:

d((x1, y1), (x2, y2)) = |x1 - x2| + |y1 - y2|

Metrik jarak ini mengarah pada interpretasi geometris yang berbeda dari panjang dan kurva. Dalam Geometri Taksi, panjang segmen garis antara dua titik sama dengan panjang jalur kisi terpendeknya, bukan panjang Euclidean. Akibatnya, kurva dan bentuk memiliki karakteristik yang berbeda, menantang gagasan intuitif kita tentang geometri.

Asal-usul Geometri Taksi dapat ditelusuri kembali ke abad ke-18, ketika digunakan dalam analisis regresi, dan sering disebut sebagai LASSO (Least Absolute Shrinkage and Selection Operator) dalam konteks statistik. Namun, interpretasi geometrisnya dikaitkan dengan Hermann Minkowski, seorang matematikawan perintis di bidang geometri non-Euclidean pada abad ke-19.

Geometri Taksi menawarkan perspektif baru tentang hubungan spasial dan jarak, memungkinkan kita untuk mengeksplorasi geometri alternatif dan implikasinya. Geometri ini memiliki aplikasi di berbagai bidang, termasuk perencanaan kota, jaringan transportasi, dan bahkan pemrosesan gambar, di mana konsep jarak "blok kota" dapat berguna.

Meskipun jarak Euclidean tetap menjadi ukuran utama dalam banyak aplikasi praktis, Taxicab Geometry berfungsi sebagai pengingat bahwa matematika adalah permadani yang kaya akan ide, dan dengan merangkul perspektif alternatif, kita dapat memperoleh wawasan yang lebih dalam dan menemukan kemungkinan baru dalam cara kita memahami dan berinteraksi dengan dunia di sekitar kita.

Searah Geometri Taksi

Akar geometri taksi, juga dikenal sebagai metrik L1, dapat ditelusuri kembali ke abad ke-18 ketika Roger Joseph Boscovich menggunakannya dalam analisis regresi sebagai ukuran kesesuaian. Namun, konseptualisasinya sebagai metrik jarak antar titik dalam ruang geometris baru muncul pada akhir abad ke-19 seiring dengan berkembangnya geometri non-Euclidean.

Pada tahun 1910, baik Frigyes Riesz dan Hermann Minkowski secara independen berkontribusi pada formalisasi ruang Lp, yang mencakup geometri taksi sebagai kasus khusus. Karya Riesz meletakkan dasar untuk memahami ruang-ruang ini sebagai ruang vektor bernorma, sementara Minkowski memperkenalkan ketidaksetaraan Minkowski, yang selanjutnya memajukan geometri bilangan.

Istilah "geometri taksi" diciptakan oleh Karl Menger pada tahun 1952, dalam sebuah buku berjudul "You Will Like Geometry," yang menyertai pameran geometri di Museum Sains dan Industri di Chicago. Istilah ini dengan tepat menangkap gagasan pengukuran jarak yang mirip dengan jalur yang dilalui taksi pada tata ruang jalan kota yang seperti grid.

Definisi Resmi

Jarak Manhattan  dalam ruang vektor  dengan sistem koordinat Kartesius, antara vektor  dan , adalah jumlah panjang proyeksi ruas garis antara kedua vektor tersebut terhadap sumbu-sumbu koordinat. Secara matematis, jarak Manhattan dapat didefinisikan sebagai berikut

Sifat-sifat Geometri Taks 

Jarak taksi, sebuah metrik khusus yang diterapkan pada ruang Euclidean, memperkenalkan sifat-sifat menarik yang berbeda dari geometri Euclidean tradisional.

• Orientasi Sistem Koordinat: Berbeda dengan jarak Euclidean, jarak taksi bervariasi tergantung pada orientasi sistem koordinat. Meskipun diubah oleh rotasi dalam ruang Euclidean, terjemahan dan refleksi sejajar sumbu tidak berpengaruh pada jarak taksi.
• Bentuk Bola: Dalam geometri taksi, bola mengambil bentuk unik yang dikenal sebagai politope silang, yang mengingatkan kita pada segi delapan biasa dalam dimensi yang lebih tinggi. Persamaan yang mendefinisikan bola-bola ini mencerminkan geometri yang berbeda ini.
• Panjang Busur: Pengertian panjang busur dalam geometri taksi berbeda dengan pengertian dalam geometri Euclidean. Panjang busur taksi dari grafik suatu fungsi pada suatu interval dihitung secara berbeda, dengan menyoroti perbedaan antara dua geometri.
• Kesesuaian Segitiga: Meskipun geometri Euclidean menawarkan beberapa teorema yang memastikan kekongruenan segitiga berdasarkan kombinasi sisi dan sudut yang sama, geometri taksi menyajikan kriteria yang lebih ketat. Dalam geometri taksi, hanya kriteria Sisi-Sudut-Sisi-Sudut-Sisi (SASAS) yang menjamin keselarasan segitiga, menawarkan perspektif unik mengenai kesetaraan geometri.

Aplikasi Geometri Taksi

• Compressed sensing 

Dalam menyelesaikan sistem persamaan linear yang tidak dapat ditentukan, istilah regularisasi untuk vektor parameter dinyatakan dalam bentuk ℓ1 norma (geometri taksi) dari vektor. Pendekatan ini muncul dalam kerangka pemulihan sinyal yang disebut penginderaan terkompresi.

• Differences of frequency distributions 

Geometri taksi dapat digunakan untuk menilai perbedaan distribusi frekuensi diskrit. Misalnya, dalam penyambungan RNA, distribusi posisi heksamer, yang mewakili kemungkinan munculnya setiap heksamer pada setiap nukleotida tertentu di dekat lokasi penyambungan, dapat dibandingkan menggunakan jarak L1. Setiap distribusi posisi dapat direpresentasikan sebagai vektor di mana setiap segmen menunjukkan probabilitas heksamer dimulai pada nukleotida tertentu. Jarak L1 yang besar antara kedua vektor menunjukkan perbedaan sifat distribusi yang signifikan, sedangkan jarak yang kecil menunjukkan distribusi yang berbentuk serupa. Hal ini serupa dengan mengukur luas antara dua kurva distribusi karena tinggi setiap segmen adalah selisih mutlak antara kemungkinan kedua kurva pada titik tersebut. Ketika dijumlahkan di semua segmen, hasilnya sama dengan jarak L1.

Disadur dari: en.wikipedia.org/id.wikipedia.org

Dalam sains, jarak Euclidean antara dua fokus dalam ruang Euclidean adalah panjang bagian garis di antara keduanya. Hal ini dapat dihitung dari fasilitas Cartesian dari fokus menggunakan hipotesis Pythagoras, dan kadang-kadang disebut penghapusan Pythagoras.
 
Nama-nama ini berasal dari matematikawan Yunani kuno Euclid dan Pythagoras. Dalam geometri deduktif Yunani yang dicontohkan oleh Komponen Euclid, pemisahan tidak dianggap sebagai angka melainkan potongan garis dengan panjang yang sama, yang dianggap "meningkat". Ide jarak adalah bawaan dalam perangkat kompas yang digunakan untuk menggambar lingkaran, yang semua fokusnya memiliki jarak yang sama dari titik pusat yang sama. Asosiasi hipotesis Pythagoras dengan penghapusan perhitungan baru dilakukan pada abad ke-18.
 
Keterpisahan antara dua objek yang bukan fokus biasanya dicirikan sebagai jarak terkecil di antara kumpulan fokus dari kedua objek tersebut. Persamaan dikenal untuk menghitung pemisahan antara beragam jenis objek, seperti jarak dari suatu titik ke garis. Dalam aritmatika tingkat lanjut, konsep pemindahan telah digeneralisasikan ke ruang metrik unik, dan pemisahan lain selain Euclidean telah dipertimbangkan. Dalam beberapa aplikasi dalam wawasan dan pengoptimalan, kuadrat dari pemisahan Euclidean digunakan, bukan dari pemisahan itu sendiri.

Rumus Jarak dalam Berbagai Dimensi

Jarak adalah konsep dasar dalam matematika dan geometri, dan memainkan peran penting dalam banyak aplikasi, termasuk pembelajaran mesin, visi komputer, dan analisis data. Dalam artikel blog ini, kita akan mengeksplorasi rumus-rumus yang digunakan untuk menghitung jarak antar objek dalam berbagai dimensi, mulai dari kasus paling sederhana, yaitu titik-titik satu dimensi pada sebuah garis, dan secara bertahap bergerak ke dimensi yang lebih tinggi.

• Jarak Satu Dimensi:

Jarak antara dua titik pada garis nyata hanyalah perbedaan absolut antara koordinat mereka. Untuk titik p dan q, jarak diberikan oleh:

d(p, q) = |p - q|

Sebagai alternatif, kita dapat menggunakan rumus akar kuadrat, yang lebih mudah digeneralisasi ke dimensi yang lebih tinggi:

d(p, q) = √((p - q)^2)

• Jarak Dua Dimensi (Bidang Euclidean):

Pada bidang Euclidean, jarak antara dua titik p (p1, p2) dan q (q1, q2) dihitung dengan menggunakan teorema Pythagoras. Rumusnya adalah:

d(p, q) = √((p1 - q1) ^ 2 + (p2 - q2) ^ 2)

Rumus ini menemukan panjang sisi miring segitiga siku-siku yang dibentuk oleh jarak horizontal dan vertikal antara titik-titik.

• Dimensi yang lebih tinggi:

Untuk titik-titik dalam ruang Euclidean n-dimensi, rumus jarak adalah generalisasi langsung dari kasus dua dimensi:

d(p, q) = √((p1 - q1)^2 + (p2 - q2)^2 + ... + (pn - qn)^2)

Sebagai alternatif, jarak Euclidean dapat dinyatakan secara ringkas menggunakan norma Euclidean dari perbedaan vektor antara titik-titik:

d(p, q) = ||p - q||

• Jarak Antara Objek Lain:

Rumus-rumus yang dibahas di atas berlaku untuk titik, tetapi jarak juga dapat dihitung antara objek geometris lainnya, seperti garis, bidang, dan kurva. Dalam kasus ini, jarak biasanya didefinisikan sebagai jarak terkecil antara dua titik dari masing-masing objek. Generalisasi yang lebih kompleks, seperti jarak Hausdorff, juga dapat digunakan.

Properti dari Jarak Euclidean 

Jarak Euclidean berdiri sebagai pola dasar pengukuran jarak dalam ruang metrik, yang mewujudkan sifat-sifat utama yang mendasar pada sifatnya.

• Simetri: Jarak antara dua titik, apapun urutannya, tetap konsisten. Berbeda dengan menavigasi jalan satu arah, jalur dari titik A ke titik B sama dengan perjalanan sebaliknya dari titik B ke titik A.
• Positif: Jarak antara titik-titik berbeda selalu positif, sedangkan jarak dari titik mana pun ke titik itu sendiri pada dasarnya adalah nol.
• Ketimpangan Segitiga: Prinsip ini menyatakan bahwa perjalanan dari titik A ke titik C melalui titik perantara B tidak boleh lebih pendek dari rute langsung dari A ke C. Prinsip ini memastikan koherensi logis dari hubungan spasial.

Sifat lainnya, pertidaksamaan Ptolemy, berkaitan dengan jarak Euclidean antara empat titik p, q, r, dan s Ini menyatakan bahwa:

Lebih lanjut, ketidaksetaraan Ptolemeus menyoroti interaksi antara jarak Euclidean di antara empat titik. Ini menggarisbawahi hubungan antara panjang sisi dan diagonal dalam segi empat, memperluas relevansinya melampaui batas bidang hingga ruang Euclidean dalam dimensi apa pun.

Dalam geometri Euclidean, setiap transformasi yang mempertahankan satuan jarak, menurut teorema Beckman – Quarles, juga harus menjaga semua jarak tetap utuh. Teorema ini menekankan hubungan mendalam antara pelestarian satuan jarak dan isometri, menyoroti simetri dan konsistensi yang melekat dalam transformasi ruang Euclidean.

Memahami sifat-sifat ini tidak hanya memperkaya pemahaman kita tentang jarak Euclidean tetapi juga membuka jalan untuk mengeksplorasi penerapannya di berbagai bidang, mulai dari analisis spasial hingga masalah optimasi.

Jarak Euclidean Kuadrat

Dalam banyak penerapan, dan khususnya ketika membandingkan jarak, mungkin lebih mudah untuk menghilangkan akar kuadrat akhir ketika menghitung jarak Euclidean, karena akar kuadrat tidak mengubah urutan . jika dan hanya jika  . Nilai yang dihasilkan dari pengabaian ini adalah kuadrat dari jarak Euclidean, dan disebut sebagai squared Euclidean distance. Sebagai contoh, pohon span minimum Euclidean dapat ditentukan hanya dengan menggunakan urutan antara jarak, bukan nilai numeriknya. Membandingkan jarak kuadrat menghasilkan hasil yang sama tetapi menghindari perhitungan akar kuadrat yang tidak perlu dan mengatasi masalah presisi numerik. Secara matematis, jarak kuadrat dapat diungkapkan sebagai jumlah kuadrat:

Selain membandingkan jarak, jarak Euclidean kuadrat juga mempunyai arti penting dalam statistik, khususnya dalam metode kuadrat terkecil, yang merupakan pendekatan standar untuk menyesuaikan perkiraan statistik dengan data. Metode ini meminimalkan jarak kuadrat rata-rata antara nilai yang diamati dan yang diperkirakan. Selain itu, jarak Euclidean kuadrat berfungsi sebagai bentuk divergensi paling sederhana untuk membandingkan distribusi probabilitas. Penambahan jarak kuadrat, seperti pencocokan kuadrat terkecil, berhubungan dengan operasi jarak yang disebut penjumlahan Pythagoras. Dalam analisis massa, mengkuadratkan jarak dapat meningkatkan dampak jarak jauh.

Namun perlu diperhatikan bahwa jarak kuadrat Euclidean tidak membentuk ruang metrik karena gagal memenuhi pertidaksamaan segitiga. Meskipun demikian, ini adalah fungsi dua titik yang mulus dan cembung, tidak seperti jarak, yang tidak mulus untuk pasangan titik yang hampir sama. Akibatnya, jarak kuadrat lebih disukai dalam teori optimasi karena kompatibilitasnya dengan analisis cembung. Karena fungsi kuadrat bersifat monotonik untuk nilai non-negatif, meminimalkan jarak kuadrat sama dengan meminimalkan jarak Euclidean. Dengan demikian, masalah optimasi tetap setara di kedua aspek, namun biasanya lebih mudah diselesaikan dengan menggunakan kuadrat jarak.

Himpunan semua jarak kuadrat dari himpunan jarak pasangan titik berhingga dapat disusun ke dalam matriks jarak Euclidean, yang berguna dalam geometri jarak.

Kerucut, grafik jarak Euclidean dari titik asal pada bidang

Paraboloid, grafik kuadrat jarak Euclidean dari titik asal

Generalisasi

Dalam bidang matematika yang lebih maju, ketika melihat ruang Euclidean sebagai ruang vektor, jaraknya dikaitkan dengan standar yang dikenal sebagai norma Euclidean, yang didefinisikan sebagai jarak setiap vektor dari titik asal. Salah satu sifat penting dari norma ini, dibandingkan dengan norma lainnya, adalah invariansinya di bawah rotasi ruang yang berubah-ubah di sekitar titik asal. Menurut teorema Dvoretzky, setiap ruang vektor bernorma berdimensi terbatas memiliki subruang berdimensi tinggi di mana normanya kira-kira Euclidean; norma Euclidean adalah satu-satunya norma yang memiliki sifat ini. Hal ini dapat diperluas ke ruang vektor berdimensi tak terbatas sebagai norma L2 atau jarak L2. Jarak Euclidean memberikan ruang Euclidean dengan struktur ruang topologi, yang dikenal sebagai topologi Euclidean, dengan bola-bola terbuka (himpunan bagian dari titik-titik dalam jarak tertentu dari titik yang diberikan) sebagai tetangganya.

Jarak umum lainnya dalam ruang koordinat nyata dan ruang fungsi meliputi:

• Jarak Chebyshev (jarak L∞), yang mengukur jarak sebagai maksimum dari jarak di setiap koordinat.
• Jarak Manhattan (jarak L1), juga disebut jarak taksi, yang mengukur jarak sebagai jumlah jarak di setiap koordinat.
• Jarak Minkowski (jarak Lp), sebuah generalisasi yang menyatukan jarak Euclidean, jarak Manhattan, dan jarak Chebyshev.

Untuk titik-titik pada permukaan dalam tiga dimensi, jarak Euclidean harus dibedakan dari jarak geodesi, yaitu panjang kurva terpendek yang dimiliki oleh permukaan. Khususnya, untuk mengukur jarak lingkaran besar di Bumi atau permukaan bola atau permukaan lain yang berbentuk bola atau hampir bola, jarak yang telah digunakan termasuk jarak haversine, yang memberikan jarak lingkaran besar antara dua titik pada bola dari garis bujur dan garis lintangnya, dan rumus Vincenty, juga dikenal sebagai "jarak Vincent", untuk jarak pada bola.

Sejarah Jarak Euclidean: Dari Akar Kuno ke Matematika Modern 

Dalam sejarah matematika, jarak Euclidean mengacu pada jarak dalam ruang Euclidean, yang diambil dari nama ahli matematika Yunani kuno Euclid, yang karyanya, "Elemen", menjadi buku teks standar dalam geometri selama berabad-abad. Konsep panjang dan jarak tersebar luas di berbagai kebudayaan, dan bahkan dapat ditelusuri ke dokumen birokrasi "protoliterasi" tertua dari Sumeria pada milenium keempat SM, jauh sebelum zaman Euclid. Namun, gagasan tentang jarak, sebagai bilangan yang ditentukan dari dua titik, sebenarnya tidak muncul dalam "Elemen" Euclid. Sebaliknya, Euclid mendekati konsep ini secara implisit, melalui kongruensi ruas garis, perbandingan panjang ruas garis, dan konsep proporsionalitas.

Teorema Pythagoras juga telah ada sejak zaman dahulu, namun baru menjadi sentral dalam pengukuran jarak setelah ditemukannya koordinat Cartesian oleh René Descartes pada tahun 1637. Rumus jarak sendiri pertama kali diterbitkan pada tahun 1731 oleh Alexis Clairaut. Karena rumus ini, jarak Euclidean kadang juga disebut jarak Pythagoras. Meskipun pengukuran akurat jarak jauh di permukaan bumi, yang bukan Euclidean, telah dipelajari di banyak kebudayaan sejak zaman kuno, gagasan bahwa jarak Euclidean mungkin bukan satu-satunya cara untuk mengukur jarak antar titik dalam ruang matematika muncul baru-baru ini, dengan perumusan geometri non-Euclidean. -Euclidean pada abad ke-19. Definisi norma Euclidean dan jarak Euclidean untuk geometri tiga dimensi juga pertama kali muncul pada abad ke-19, dalam karya Augustin-Louis Cauchy.

Disadur dari: en.wikipedia.org

Dalam statistik, algoritma k-nearest neighbours (k-NN) adalah metode pembelajaran terawasi non-parametrik yang awalnya dirancang oleh Evelyn Fix dan Joseph Hodges pada tahun 1951, kemudian diperluas oleh Thomas Cover. Ini melayani tujuan dalam tugas klasifikasi dan regresi, dengan mengandalkan k contoh pelatihan terdekat dari kumpulan data untuk komputasi. Hasilnya bervariasi tergantung pada apakah k-NN digunakan untuk klasifikasi atau regresi:

• Dalam klasifikasi k-NN, algoritma menentukan keanggotaan kelas. Setiap objek diklasifikasikan berdasarkan suara mayoritas di antara k tetangga terdekatnya, dan objek tersebut ditugaskan ke kelas yang paling umum dalam kumpulan ini. Biasanya, k adalah bilangan bulat positif, sering kali dibuat kecil. Ketika k sama dengan 1, objek tersebut ditugaskan ke kelas tetangga terdekatnya.
• Sebaliknya pada regresi k-NN, hasilnya adalah nilai properti objek. Nilai ini dihitung sebagai rata-rata nilai properti k tetangga terdekat. Sekali lagi, ketika k sama dengan 1, hasilnya langsung diberi nilai tetangga terdekatnya.

k-NN dicirikan sebagai pendekatan klasifikasi di mana perkiraan fungsi hanya terjadi secara lokal, dengan semua komputasi ditangguhkan pada evaluasi fungsi. Khususnya, ketika fitur mewakili unit fisik yang berbeda atau mencakup skala yang berbeda, normalisasi data pelatihan akan meningkatkan akurasi algoritme secara signifikan.

Baik dalam tugas klasifikasi maupun regresi, peningkatan umum melibatkan pemberian bobot pada kontribusi lingkungan. Pembobotan tersebut memprioritaskan pengaruh tetangga terdekat pada rata-rata yang dihitung, sering kali menggunakan sistem di mana setiap tetangga diberi bobot berbanding terbalik dengan jaraknya dari objek yang diteliti.

Khususnya, tetangga diambil dari objek dengan kelas yang diketahui (dalam klasifikasi k-NN) atau nilai fitur objek (dalam regresi k-NN), yang secara efektif merupakan kumpulan pelatihan algoritme, meskipun tanpa memerlukan langkah pelatihan yang berbeda. Ciri khas algoritma k-NN terletak pada sensitivitasnya terhadap struktur lokal data

Pengaturan statistik

Misalkan kita mempunyai pasangan  mengambil nilai-nilai in , dimana Y adalah label kelas dari X, sehingga  untuk  (dan distribusi probabilitas  ).Mengingat beberapa norma  dalam  dan poin �∈��, let menjadi menyusun ulang data pelatihan sedemikian rupa .

Algoritma k-Nearest Neighbors

Algoritme k-Nearest Neighbors (k-NN), yang merupakan pendukung dalam bidang pembelajaran mesin, menawarkan solusi serbaguna untuk tugas klasifikasi. Kesederhanaannya memungkiri keefektifannya, menjadikannya pilihan populer di berbagai domain.

• Fase Pelatihan dan Klasifikasi:

Pada fase pelatihan, algoritme hanya menyimpan vektor fitur dan label kelas dari sampel pelatihan. Pada tahap klasifikasi, konstanta k yang ditentukan pengguna mulai berlaku. Vektor tak berlabel, atau titik kueri, diklasifikasikan dengan memberi label paling umum di antara k sampel pelatihan terdekat.

• Memilih Metrik Jarak yang Tepat:

Pilihan metrik jarak memainkan peran penting dalam kinerja algoritma. Untuk variabel kontinu, jarak Euclidean adalah yang utama, sedangkan untuk variabel diskrit seperti klasifikasi teks, metrik alternatif seperti metrik tumpang tindih atau jarak Hamming ikut berperan. Dalam domain khusus seperti analisis data microarray ekspresi gen, koefisien korelasi seperti Pearson dan Spearman berfungsi sebagai metrik yang tepat.

• Mengatasi Distribusi Kelas yang Miring:

Tantangan muncul ketika distribusi kelas tidak seimbang, sehingga menghasilkan prediksi yang bias dan lebih memilih kelas yang lebih sering digunakan. Untuk memitigasi hal ini, pembobotan klasifikasi berdasarkan jarak dari titik pengujian ke k tetangga terdekatnya terbukti efektif. Alternatifnya, abstraksi dalam representasi data, seperti yang terlihat pada peta yang dapat diatur sendiri (SOM), dapat mengurangi kesenjangan dengan mengelompokkan titik-titik serupa tanpa memandang kepadatannya.

Pemilihan parameter

• Pemilihan Parameter dan Penskalaan Fitur:

Pemilihan nilai k optimal bergantung pada data yang ada. Nilai k yang lebih besar mengurangi kebisingan tetapi mengaburkan batasan kelas. Teknik heuristik membantu dalam memilih k yang sesuai. Selain itu, keakuratan algoritme rentan terhadap fitur yang berisik atau tidak relevan serta skala fitur yang tidak konsisten. Teknik penskalaan fitur, seperti algoritme evolusioner atau penskalaan berbasis informasi timbal balik, dapat membantu dan memastikan hasil klasifikasi yang kuat.

• Klasifikasi Biner dan Optimasi Empiris:

Dalam klasifikasi biner, memilih k ganjil mencegah suara terikat, sehingga meningkatkan akurasi klasifikasi. Teknik optimasi empiris, seperti metode bootstrap, membantu dalam memilih k optimal untuk tugas yang ada.

Algoritma K-Nearest Neighbor Klasifikasi

K-Nearest Neighbor (K-NN) adalah algoritma klasifikasi sederhana namun powerful dalam pembelajaran mesin. Ide dasarnya adalah mengklasifikasikan data baru berdasarkan kemiripannya dengan data pelatihan yang telah berlabel. Berikut adalah penjelasan lebih detailnya:

K-NN bekerja dengan menghitung jarak antara data baru dengan seluruh data pelatihan. Kemudian, algoritma ini mengambil K tetangga terdekat berdasarkan jarak tersebut. Label data baru ditentukan berdasarkan mayoritas label dari K tetangga terdekat. Semakin besar nilai K, semakin halus keputusan batasnya, tetapi dapat meningkatkan bias. Sebaliknya, nilai K yang kecil dapat menyebabkan model terlalu sensitif terhadap noise.

Salah satu keunggulan K-NN adalah kesederhanaan implementasinya. Namun, kekurangannya adalah kebutuhan komputasi yang tinggi ketika dataset sangat besar. Untuk mengatasi ini, kita dapat menggunakan algoritma pencarian tetangga terdekat aproksimasi.

K-NN juga memiliki beberapa properti menarik. Sebagai contoh, ketika jumlah data pelatihan mendekati tak hingga, error rate dari klasifikasi dua kelas dengan K-NN dijamin tidak lebih dari dua kali Bayes error rate (error minimum yang dapat dicapai). Selain itu, K-NN dapat dianggap sebagai kasus khusus dari estimator kernel densitas dengan kernel seragam.

Untuk meningkatkan performa K-NN, kita dapat melakukan pembelajaran metrik dan ekstraksi fitur. Pembelajaran metrik digunakan untuk mempelajari metrik baru yang lebih sesuai dengan data. Sementara ekstraksi fitur bertujuan untuk mereduksi dimensi data masukan sehingga mengurangi efek kutukan dimensi tinggi.

Secara keseluruhan, K-NN adalah algoritma klasifikasi yang sederhana namun kuat. Dengan penyesuaian yang tepat seperti pemilihan nilai K, pembelajaran metrik, dan ekstraksi fitur, K-NN dapat memberikan performa yang sangat baik dalam banyak kasus.

Memahami Regresi k-NN dan Deteksi Pencilan

Dalam k-NN regression, algoritma k-NN digunakan untuk memperkirakan variabel kontinu. Salah satu algoritma tersebut menggunakan rata-rata terbobot dari k tetangga terdekat, dengan bobot yang berbanding terbalik dengan jarak mereka. Langkah-langkahnya adalah sebagai berikut:

1. Hitung jarak Euclidean atau Mahalanobis dari contoh query ke contoh yang telah dilabeli.
2. Urutkan contoh yang telah dilabeli berdasarkan jarak yang meningkat.
3. Temukan jumlah tetangga terdekat yang optimal secara heuristik, berdasarkan RMSE. Ini dilakukan menggunakan validasi silang.
4. Hitung rata-rata terbobot invers dari k-tetangga multivariat terdekat.

Dalam konteks deteksi outlier, jarak ke tetangga terdekat ke-k juga dapat dianggap sebagai estimasi kepadatan lokal dan menjadi skor outlier yang populer. Semakin besar jarak ke tetangga ke-k, semakin rendah kepadatan lokalnya, dan semakin mungkin titik query adalah outlier. Meskipun sederhana, model outlier ini, bersama dengan metode penambangan data klasik lainnya, faktor outlier lokal, terbukti efektif dalam perbandingan dengan pendekatan yang lebih baru dan kompleks, menurut analisis eksperimental berskala besar.

Disadur dari: id.wikipedia.org/en.wikipedia.org

Visualisasi data telah menjadi salah satu metode komunikasi visual modern yang sangat penting dalam berbagai bidang ilmu. Meskipun tidak secara eksklusif terkait dengan satu bidang tertentu, visualisasi data merupakan interpretasi antara banyak bidang, seperti statistik, ilmu komputer, dan pengembangan perangkat lunak. Tujuan utamanya adalah untuk mengkomunikasikan informasi dengan jelas dan efisien kepada pengguna melalui berbagai grafik informasi, seperti tabel dan grafik.

Seni dan sains berpadu dalam visualisasi data, di mana desain estetis dan fungsionalitas harus seimbang untuk memberikan wawasan yang intuitif terhadap data yang kompleks. Namun, terkadang desain visual yang menawan gagal dalam menyampaikan informasi dengan efektif.

Dalam era big data saat ini, tantangan dalam pemrosesan, analisis, dan komunikasi data semakin meningkat. Ilmu data dan para ilmuwan data muncul sebagai solusi untuk mengatasi tantangan tersebut. Visualisasi data secara dekat berkaitan dengan grafik informasi, visualisasi informasi, visualisasi ilmiah, eksplorasi analisis data, dan grafik statistis. Ini telah menjadi wilayah penelitian, pengajaran, dan pengembangan yang aktif pada milenium baru.

Mengungkapkan Keefektifan Tampilan Grafik dalam Komunikasi Informasi

Dalam era di mana informasi berlimpah, kemampuan untuk menyajikan data dengan jelas dan efektif melalui grafik adalah keterampilan yang sangat berharga. Professor Edward Tufte, seorang pakar dalam bidang visualisasi informasi, menekankan pentingnya prinsip-prinsip yang mendasari tampilan grafik yang efektif.

Pertama-tama, sebuah tampilan grafik harus mampu menampilkan data dengan jelas, memungkinkan pemirsa untuk dengan mudah menganalisis dan memahami informasi yang disajikan. Ini mengharuskan grafik untuk menghindari pengelabuan atau distraksi yang dapat mengaburkan pesan yang ingin disampaikan oleh data.

Selain itu, grafik yang efektif juga mendorong pengamat untuk fokus pada substansi dari data, bukan pada aspek-aspek teknis seperti desain grafik atau metodologi produksinya. Hal ini memastikan bahwa grafik tidak hanya sekadar hiasan visual, tetapi alat yang bermakna dalam menyampaikan informasi yang berguna.

Tufte juga menekankan pentingnya memaksimalkan efisiensi tampilan grafik dengan memberikan banyak informasi dalam ruang yang terbatas. Ini berarti mengurangi tinta-tinta yang tidak berkaitan dengan data serta menyajikan kumpulan data dalam format yang koheren dan mudah dipahami.

Sebagai contoh konkret, Tufte mencatat diagram Minard yang memvisualisasikan kekalahan tentara Napoleon pada tahun 1812-1813 sebagai salah satu contoh terbaik dari tampilan grafik yang efektif. Diagram ini berhasil menggabungkan beberapa variabel dalam dua dimensi dengan jelas dan menggambarkan narasi yang dapat dipahami dengan mudah.

Namun, tidak mematuhi prinsip-prinsip tampilan grafik yang efektif dapat menghasilkan apa yang disebut sebagai "sampah-grafik", di mana pesan yang ingin disampaikan oleh data menjadi kabur atau bahkan menyesatkan. Oleh karena itu, penting bagi pembuat grafik untuk mempertimbangkan secara hati-hati bagaimana mereka menyajikan informasi agar tidak mengganggu pesan yang ingin disampaikan.

Terakhir, praktik terbaik dalam menampilkan grafik, seperti yang disarankan oleh Congressional Budget Office, adalah untuk mengenali audiens yang dituju, merancang grafik yang dapat berdiri sendiri di luar konteks laporan, dan memastikan bahwa pesan kunci dapat dengan jelas disampaikan melalui grafik tersebut.

Pesan Kuantitatif

Stephen Few, penulis, mengidentifikasi delapan tipe pesan kuantitatif yang sering digunakan dalam analisis data dan komunikasi menggunakan grafik. Ini adalah:

1. Rangkaian-waktu: menunjukkan perubahan suatu variabel dalam sebuah periode waktu, seperti laju pengangguran selama 10 tahun. Grafik baris dapat digunakan untuk menunjukkan tren ini.
2. Peringkat: menunjukkan pembagian kategoris yang diperingkatkan secara terurut, seperti penjualan berdasarkan kategori penjual (dengan setiap penjual sebagai pembagian kategoris) selama satu periode tunggal. Grafik batang dapat digunakan untuk memperlihatkan perbandingan antara penjual.
3. Sebagian-untuk-keseluruhan: menunjukkan pembagian kategoris sebagai sebuah rasio terhadap keseluruhan, seperti persentase kepemilikan saham direpresentasikan oleh kompetitor dalam sebuah pasar. Grafik lingkaran atau grafik batang dapat memperlihatkan perbandingan rasio, seperti kepemilikan saham.
4. Deviasi: menunjukkan pembagian kategoris dibandingkan dengan sebuah referensi, seperti perbandingan pengeluaran aktual terhadap anggaran untuk beberapa departemen dari sebuah bisnis pada periode waktu tertentu. Grafik batang dapat memperlihatkan perbandingan nilai aktual terhadap jumlah yang diacu.
5. Distribusi frekuensi: menunjukkan jumlah observasi dari variabel tertentu terhadap rentang waktu tertentu, seperti jumlah tahun di mana pasar saham menguntungkan adalah antara interval seperti 0-10%, 11-20%, dll. Histogram, tipe grafik batang, dapat digunakan untuk analisis ini.
6. Korelasi: menunjukkan perbandingan antara observasi yang direpresentasikan oleh dua variabel (X, Y) untuk menentukan apakah mereka condong bergerak ke arah yang sama atau berlawanan. Sebagai contoh, memplotkan pengangguran (X) dan inflasi (Y) untuk sampel beberapa bulan. Scatter plot biasanya digunakan untuk menyampaikan pesan tersebut.
7. Perbandingan nominal: menunjukkan pembagian kategoris tanpa urutan tertentu, seperti jumlah penjualan berdasarkan kode produk. Grafik batang dapat digunakan untuk pembandingan ini.
8. Geografis atau geospasial: menunjukkan perbandingan dari sebuah variabel di peta atau letak, seperti laju pengangguran berdasarkan negara bagian atau jumlah orang pada lantai di sebuah bangunan. Bagan yang digunakan biasanya adalah sebuah cartogram.

Analisis data dapat meninjau beberapa atau semua pesan dan tipe grafik di atas untuk digunakan dalam pekerjaan atau penonton mereka. Proses uji coba untuk mengidentifikasi keterkaitan dan makna pesan pada data adalah bagian dari eksplorasi analisis data.

Persepsi Visual dan Visualisasi Data

Persepsi visual adalah aspek penting dari kognisi manusia yang memungkinkan kita membedakan panjang dua garis, orientasi, dan pola warna tanpa upaya pemrosesan yang signifikan. Kemampuan untuk mengenali perbedaan berdasarkan atribut pra-perhatian dikenal sebagai "pemrosesan pra-perhatian". Misalnya, manusia dapat dengan mudah membedakan panjang dua garis tanpa banyak usaha kognitif, namun mengidentifikasi berapa kali angka "5" muncul dalam sekelompok angka mungkin memerlukan lebih banyak perhatian dan pemrosesan.

Visualisasi data yang efektif memanfaatkan pemrosesan pra-perhatian dan kekuatan relatif dari berbagai atribut. Misalnya, manusia dapat dengan cepat memproses perbedaan panjang garis saat menggunakan diagram batang (yang memanfaatkan panjang garis untuk menunjukkan perbandingan) dibandingkan diagram lingkaran (yang menggunakan luas permukaan).

Terminologi

Visualisasi data mengikuti terminologi tertentu, beberapa di antaranya berasal dari statistik. Misalnya, Stephen Few mendefinisikan dua jenis data, yang digunakan secara kombinasi untuk mendukung analisis atau visualisasi yang bermakna:

1. Kategori: Label teks mendeskripsikan sifat data, seperti "Nama" atau "Usia". Kategori ini mencakup data kualitatif (bukan angka).
2. Kuantitatif: Pengukuran numerik, seperti "25" yang mewakili usia dalam tahun.

Dua Jenis Utama Penyajian Informasi Adalah Tabel Dan Bagan

• Tabel

Tabel berisi data kuantitatif yang disusun dalam baris dan kolom dengan label kategorikal. Biasanya digunakan untuk menampilkan data numerik. Dalam contoh di atas, sebuah tabel mungkin memiliki label kategorikal untuk nama (variabel kualitatif) dan usia (variabel kuantitatif), dengan setiap baris mewakili individu (unit eksperimen atau kategori dari sampel).

• Bagan

Bagan biasanya menampilkan data kuantitatif dan mewakili nilai yang dikodekan sebagai objek visual (seperti garis, batang, atau titik). Nilai numerik ditampilkan dalam wilayah yang diwakili oleh satu atau lebih sumbu. Sumbu memberikan skala (kuantitatif dan kategorikal) untuk memberi label dan memberikan nilai pada objek visual. Banyak bagan juga disebut sebagai grafik.

Perpustakaan KPI telah mengembangkan tabel periodik interaktif metode visualisasi, yang menampilkan berbagai metode visualisasi data. Ini mengikuti tujuh jenis metode visualisasi data: data, informasi, konsep, strategi, metafora, dan kombinasi.

Contoh diagram digunakan pada visualisasi data 

Nama Visual Dimensi:

Dimensi Jaringan:

• Ukuran nodes
• Warna node
• Ketebalan ikatan
• Warna ikatan
• Spasialisasi

Grafik Batang:

• Panjang
• Warna
• Waktu

Streamgraph:

• Lebar
• Warna
• Waktu (alur)

Treemap:

• Ukuran
• Warna

Gantt Chart:

• Warna
• Waktu (alur)

Scatter Plot (3D):

• Posisi x
• Posisi y
• Posisi z
• Warna

Beragam Pendekatan dalam Visualisasi Data

Dalam dunia visualisasi data, terdapat beragam pendekatan yang memperluas cakupan pemahaman kita tentang bagaimana informasi dapat disajikan dengan cara yang efektif dan bermakna. Salah satu pendekatan yang umum adalah fokus pada presentasi informasi, seperti yang diuraikan oleh Friedman (2008). Friendly (2008) juga menyoroti dua aspek utama dari visualisasi data: grafik statistik dan kartografi tematik.

Namun, ada pandangan lain yang membagi ruang lingkup visualisasi data menjadi berbagai subjek yang berbeda, seperti yang diungkapkan dalam artikel "Data Visualization: Modern Approaches" (2007). Di antara subjek-subjek tersebut termasuk menampilkan koneksi antara data, menyajikan data dengan jelas, menggambarkan berita melalui visualisasi, serta menciptakan representasi visual yang dapat diakses oleh pengguna.

Dari perspektif ilmu komputer, Frits H. Post (2002) memberikan pemahaman yang lebih terinci dengan mengkategorikan bidang ini menjadi beberapa sub-bidang. Ini termasuk visualisasi informasi, teknik interaksi dan arsitektur, teknik pemodelan, metode multiresolusi, algoritme, dan teknik visualisasi, serta visualisasi volume.

Ketika kita memeriksa berbagai pendekatan ini, kita dapat melihat bagaimana visualisasi data memiliki banyak dimensi dan kompleksitas. Ini menunjukkan bahwa ada berbagai cara untuk mendekati dan memahami bagaimana data dapat disajikan dan dimanfaatkan secara optimal. Dengan memahami keragaman perspektif ini, kita dapat lebih memperkaya pemahaman kita tentang kekuatan visualisasi data dalam menyampaikan informasi dengan jelas dan bermakna.

Memahami Arsitektur Presentasi Data: Menyajikan Pengetahuan dengan Efektif

Arsitektur Presentasi Data (APD) merupakan sekumpulan keahlian yang bertujuan untuk mengelola, menyusun, dan menyajikan data dengan cara yang optimal untuk mengkomunikasikan makna dan memberikan pengetahuan kepada pengguna. Sejarah APD mengaitkan istilah ini dengan Kelly Lautt, yang menggambarkan APD sebagai kunci untuk sukses dan nilai dalam Intelijensi Bisnis.

APD menggabungkan ilmu angka, statistik, visualisasi data, komunikasi, psikologi organisasi, dan manajemen perubahan untuk menghasilkan solusi intelijensi bisnis yang dapat dimengerti. Ini bukan hanya tentang teknologi informasi atau bisnis semata, tetapi merupakan keahlian terpisah yang mencakup pemilihan data, waktu penyampaian, format, dan visualisasi yang efektif.

Tujuan utama dari APD adalah menggunakan data untuk menyediakan pengetahuan dengan cara yang efisien dan efektif. Ini meliputi meminimalkan kebisingan dan kompleksitas data yang tidak diperlukan, sambil menyediakan data yang relevan dan komprehensif untuk setiap pengguna.

Dalam ruang lingkup APD, pekerjaan meliputi pembuatan mekanisme penyampaian data yang efektif, menentukan makna yang penting bagi setiap pengguna, menentukan periode perbaruan data yang diperlukan, menemukan data yang sesuai, dan menggunakan analisis, pengelompokan, dan visualisasi yang tepat.

Bidang ilmu terkait dengan APD termasuk analisis bisnis, perbaikan proses bisnis, visualisasi data, arsitektur informasi, arsitektur solusi, dan analisis statistik. Semua bidang ini berkontribusi pada pemahaman dan penerapan APD dalam konteks bisnis dan organisasi.

Dalam prakteknya, APD mempertimbangkan berbagai elemen dalam desain grafis atau pengguna, termasuk pemilihan lokasi, warna, dan elemen grafis lainnya, dengan tujuan mengomunikasikan makna, pengaruh, dan informasi yang bermanfaat bagi pengguna.

Pemahaman yang mendalam tentang APD membantu organisasi dalam menyajikan data dengan jelas, mudah dimengerti, dan mempengaruhi pengambilan keputusan yang efektif. Dengan memanfaatkan keahlian APD, sebuah organisasi dapat meningkatkan kinerja bisnisnya melalui penggunaan data yang lebih cerdas dan efisien.
 

Disadur dari: id.wikipedia.org

Decision tree learning atau Pembelajaran Pohon Keputusan adalah metode pembelajaran yang sering digunakan dalam data mining. Metode ini digunakan untuk membangun model yang mengpredict nilai variabel target berasal dari beberapa variabel input. Decision tree adalah representasi sederhana untuk mengelompokkan contoh. Setiap node dalam tree yang tidak adalah node akhir (leaf) ditandai dengan sebuah input feature. Arcs yang berasal dari node yang ditandai dengan input feature ditandai dengan setiap nilai variabel target atau arc berpindah ke node pembagian terhadap input feature lain. Setiap leaf tree ditandai dengan class atau distribusi kelas, yang menandakan bahwa data set telah dikelompokkan oleh tree ke dalam class tertentu atau distribusi kelas (yang, jika decision tree terbuat dengan baik, berpandangan kepada subkumpulan kelas tertentu).

Tree dibangun dengan cara membagi sumber data, yang merupakan node akar tree, menjadi subkumpulan yang merupakan anak node berikutnya. Pembagian dilakukan berdasarkan setiap set dari aturan pembagian berdasarkan feature pengelompokan. Proses ini dilakukan secara recursive, yang disebut recursive partitioning. Proses ini dilakukan sampai subset pada node memiliki semua sama nilai variabel target atau pembagian tidak menambah nilai pada prediksi. Proses ini disebut top-down induction of decision trees (TDIDT) dan ialah contoh algoritma greedy, yang merupakan strategi yang paling sering digunakan untuk belajar decision trees dari data.

Decision trees dapat juga diterangkan sebagai kombinasi teknologi matematis dan komputer untuk membantu penjelasan, kategorisasi, dan generalisasi data yang diberikan.

Data datang dalam bentuk catatan:

Variabel terikat, , adalah variabel target yang coba kita pahami, klasifikasikan, atau generalisasikan. Vektor  terdiri dari fitur-fiturnya,  dll., yang digunakan untuk tugas itu.

Metrik Pohon Keputusan (Decision Tree)

Perkiraan Kebenaran Positif: Menyeimbangkan Positif Sejati dan Positif Palsu

Saat menyusun pohon keputusan, penting untuk mengukur keakuratan prediksi positif versus positif palsu. Metrik "Perkiraan Kebenaran Positif" memberikan wawasan tentang seberapa efektif suatu fitur dapat mengidentifikasi contoh positif dalam kumpulan data. Dengan mengurangkan positif palsu dari positif sebenarnya, metrik ini menawarkan perkiraan kemampuan fitur untuk mengklasifikasikan sampel positif dengan benar. Namun, penting untuk diingat bahwa perkiraan ini dapat bervariasi tergantung pada distribusi sampel positif antar fitur.

• Ketidakmurnian Gini

Pengotor Gini adalah ukuran yang digunakan dalam pohon klasifikasi untuk mengevaluasi homogenitas variabel target dalam subset. Ini mengukur kemungkinan kesalahan klasifikasi elemen yang dipilih secara acak dalam suatu kumpulan berdasarkan distribusi label. Dengan meminimalkan pengotor Gini, algoritma pohon keputusan bertujuan untuk menciptakan node di mana semua kasus masuk dalam satu kategori target, sehingga meningkatkan akurasi prediksi.

• Perolehan Informasi

Perolehan informasi berfungsi sebagai kriteria penting untuk memilih pemisahan optimal dalam pohon keputusan. Berdasarkan konsep entropi dari teori informasi, perolehan informasi mengukur pengurangan ketidakpastian tentang variabel target yang dicapai dengan pemisahan sebuah node. Dengan memilih pemisahan yang memaksimalkan perolehan informasi, algoritme pohon keputusan memprioritaskan fitur yang menghasilkan node turunan yang lebih konsisten, sehingga pada akhirnya meningkatkan kekuatan prediktif model.

• Pengurangan Varians 

Jika variabel target bersifat kontinu, pengurangan varians menjadi metrik utama untuk mengevaluasi pemisahan. Diperkenalkan dalam algoritma seperti CART, pengurangan varians mengkuantifikasi pengurangan total varians variabel target karena pemisahan pada node tertentu. Dengan meminimalkan varians, algoritme pohon keputusan secara efektif menangani variabel kontinu, sehingga meningkatkan akurasi model dalam tugas regresi.

• Ukuran "Kebaikan" 

Ukuran “kebaikan” mewakili fungsi yang bertujuan untuk mengoptimalkan keseimbangan antara kapasitas calon perpecahan untuk menciptakan anak-anak murni dan kemampuannya untuk menciptakan anak-anak yang berukuran sama. Metrik ini, yang digunakan dalam CART, memprioritaskan penciptaan struktur pohon yang seimbang, sehingga meningkatkan konsistensi waktu pengambilan keputusan. Namun, hal ini dapat menyebabkan perpecahan tambahan dibandingkan dengan metrik lain seperti perolehan informasi.

Jenis-Jenis Pohon Keputusan dalam Analisis Data Mining (Decision Tree Learning)

Dalam analisis data mining, pohon keputusan digunakan untuk dua jenis utama pemodelan:

1. Pohon Klasifikasi (Classification Tree Analysis): Ini adalah ketika hasil yang diprediksi adalah kelas (discrete) ke mana data tersebut termasuk.

2. Pohon Regresi (Regression Tree Analysis): Ini adalah ketika hasil yang diprediksi dapat dianggap sebagai angka riil (misalnya, harga rumah atau lama tinggal pasien di rumah sakit).

Penggunaan istilah "classification and regression tree" (CART) merujuk pada salah satu prosedur di atas, yang pertama kali diperkenalkan oleh Breiman dkk. pada tahun 1984. Meskipun pohon yang digunakan untuk regresi dan klasifikasi memiliki beberapa kesamaan, namun juga beberapa perbedaan, seperti prosedur yang digunakan untuk menentukan di mana untuk membagi.

Contoh pohon yang memperkirakan kemungkinan kifosis setelah operasi tulang belakang, berdasarkan usia pasien dan tulang belakang tempat operasi dimulai. Pohon yang sama ditampilkan dalam tiga cara berbeda. Kiri Daun berwarna menunjukkan kemungkinan kifosis setelah operasi tulang belakang, dan persentase pasien pada daun. Tengah Pohon sebagai plot perspektif. Pemandangan udara kanan dari plot tengah. Kemungkinan kifosis setelah operasi lebih tinggi di area yang lebih gelap. (Catatan: Pengobatan kifosis telah mengalami kemajuan pesat sejak kumpulan data yang cukup kecil ini dikumpulkan.

Beberapa teknik, sering disebut sebagai metode ensemble, membangun lebih dari satu pohon keputusan:

- Pohon yang Ditingkatkan (Boosted Trees): Membangun secara bertahap sebuah ensemble dengan melatih setiap contoh baru untuk menekankan pada contoh-contoh pelatihan sebelumnya yang salah dimodelkan. Contoh umumnya adalah AdaBoost. Ini dapat digunakan untuk masalah tipe regresi dan klasifikasi.

- Bootstrap Aggregated (Bagged) Decision Trees: Metode ensemble awal ini membangun beberapa pohon keputusan dengan secara berulang memilih sampel ulang data pelatihan dengan penggantian, dan melakukan voting pada pohon-pohon untuk prediksi konsensus.

- Random Forest Classifier: Merupakan jenis khusus dari bootstrap aggregating.

- Rotation Forest: Di mana setiap pohon keputusan dilatih dengan menerapkan analisis komponen utama (PCA) pada subset acak fitur input.

Salah satu kasus khusus dari pohon keputusan adalah daftar keputusan, yang merupakan pohon keputusan satu sisi, sehingga setiap simpul internal memiliki tepat 1 simpul daun dan tepat 1 simpul internal sebagai anak (kecuali simpul terbawah, yang hanya memiliki satu simpul daun tunggal). Meskipun kurang ekspresif, daftar keputusan lebih mudah dipahami daripada pohon keputusan umum karena kekompakan yang ditambahkan, memungkinkan metode pembelajaran non-greedy dan penggunaan batasan monotonic.

Algoritme Pohon Keputusan Meliputi

Algoritma pohon keputusan yang terkenal meliputi ID3, C4.5, CART, CHAID, MARS, dan Conditional Inference Trees. ID3 dan CART ditemukan secara independen pada waktu yang hampir bersamaan, tetapi mengikuti pendekatan serupa untuk mempelajari pohon keputusan dari tupel pelatihan.

Selain itu, telah diusulkan untuk memanfaatkan konsep teori himpunan fuzzy untuk definisi versi khusus dari pohon keputusan, yang dikenal sebagai Fuzzy Decision Tree (FDT). Dalam klasifikasi fuzzy ini, biasanya, vektor input dikaitkan dengan beberapa kelas, masing-masing dengan nilai kepercayaan yang berbeda.

Dengan demikian, pemahaman tentang berbagai jenis pohon keputusan ini menjadi penting dalam konteks analisis data mining untuk mengoptimalkan prediksi dan pemodelan.

Keuntungan Penggunaan Decision Trees

Salah satu keuntungan utama dari decision trees adalah kemampuannya untuk dipahami dengan mudah. Model-model ini dapat dijelaskan secara singkat kepada orang awam dan bahkan dapat disajikan secara grafis, membuatnya mudah diinterpretasikan.

Selain itu, decision trees juga dapat menangani data numerik maupun kategorikal. Hal ini membedakannya dari beberapa metode lain yang hanya bisa digunakan untuk satu jenis variabel saja.

Decision trees juga memerlukan sedikit persiapan data dibandingkan dengan metode lainnya. Karena dapat menangani prediktor kualitatif, tidak diperlukan pembuatan variabel dummy.

Model decision trees merupakan model "white box" atau "open-box", yang artinya penjelasan mengenai kondisi suatu situasi dapat dijelaskan dengan logika Boolean. Hal ini berbeda dengan model "black box" seperti neural networks, di mana penjelasan untuk hasilnya sulit dipahami. Decision trees juga mampu mengatasi co-linearity dengan baik, terutama dalam metode boosting. Selain itu, feature selection juga sudah terintegrasi di dalamnya, membuatnya efisien dalam penggunaan fitur.

Keterbatasan Penggunaan Decision Trees

Meskipun memiliki banyak keuntungan, decision trees juga memiliki beberapa keterbatasan. Salah satunya adalah kecenderungan untuk menjadi sangat tidak stabil. Perubahan kecil dalam data latih dapat menghasilkan perubahan besar dalam pohon keputusan dan prediksi akhirnya.

Selain itu, pencarian untuk membangun decision tree optimal dapat menjadi masalah yang sulit. Algoritma pembelajaran decision-tree didasarkan pada heuristik seperti algoritma greedy, yang tidak dapat menjamin untuk menghasilkan pohon keputusan yang optimal secara global. Decision trees juga rentan terhadap overfitting, di mana model menjadi terlalu kompleks dan tidak dapat menggeneralisasi dengan baik dari data latih. Oleh karena itu, mekanisme pruning diperlukan untuk menghindari masalah ini.

Implementasi dan Ekstensi

Terdapat banyak perangkat lunak data mining yang menyediakan implementasi dari algoritma decision tree, baik yang open-source maupun berbayar. Contohnya adalah KNIME, Orange, dan scikit-learn untuk yang open-source, serta MATLAB, Microsoft SQL Server, dan RapidMiner untuk yang berbayar. Selain itu, terdapat juga ekstensi dari decision trees seperti decision graphs dan metode pencarian alternatif menggunakan algoritma evolusioner.

Disadur dari: en.wikipedia.org