Data mining (Penambangan Data) adalah proses penting dalam dunia teknologi yang melibatkan ekstraksi dan penemuan pola-pola dalam kumpulan data besar. Ini melibatkan metode yang berada di persimpangan antara pembelajaran mesin, statistik, dan sistem database. Data mining merupakan subbidang interdisipliner dari ilmu komputer dan statistik yang bertujuan untuk mengekstrak informasi dari kumpulan data dan mengubahnya menjadi struktur yang dapat dipahami untuk penggunaan lebih lanjut. Ini merupakan langkah analisis dalam proses "penemuan pengetahuan dalam basis data" atau KDD. Selain langkah analisis, data mining juga melibatkan aspek manajemen data, preprocessing data, pertimbangan model dan inferensi, metrik menarik, kompleksitas, pengolahan hasil yang ditemukan, visualisasi, dan pembaruan online.
Meskipun disebut sebagai "data mining", tujuan sebenarnya adalah ekstraksi pola dan pengetahuan dari data yang besar, bukan penambangan data itu sendiri. Istilah ini sering digunakan secara luas untuk proses pengolahan informasi besar-besaran serta aplikasi sistem pendukung keputusan komputer, termasuk kecerdasan buatan dan bisnis. Tugas utama dalam data mining adalah analisis semi-otomatis atau otomatis dari jumlah data besar untuk mengekstrak pola-pola menarik yang sebelumnya tidak diketahui, seperti kelompok data, catatan yang tidak biasa, dan ketergantungan. Ini melibatkan penggunaan teknik basis data seperti indeks spasial. Pola-pola ini dapat digunakan dalam analisis lebih lanjut atau dalam pembelajaran mesin dan analisis prediktif. Perbedaan utama antara analisis data dan data mining adalah bahwa analisis data digunakan untuk menguji model dan hipotesis pada dataset, sedangkan data mining menggunakan model statistik dan pembelajaran mesin untuk mengungkap pola-pola tersembunyi dalam jumlah data yang besar.
Istilah terkait seperti data dredging, data fishing, dan data snooping mengacu pada penggunaan metode data mining untuk sampel bagian dari kumpulan data yang lebih besar yang mungkin terlalu kecil untuk membuat inferensi statistik yang dapat diandalkan tentang validitas pola yang ditemukan. Meskipun demikian, metode ini dapat digunakan dalam menciptakan hipotesis baru untuk diuji terhadap populasi data yang lebih besar.
Dengan teknologi yang terus berkembang, data mining tetap menjadi alat yang penting dalam mengungkap pola-pola berharga dari data besar dan kompleks, membantu organisasi dalam pengambilan keputusan yang lebih baik dan mempertahankan keunggulan kompetitif di pasar yang semakin kompetitif.
Asal Usul dan Sejarah Data Mining
Pada tahun 1960-an, para ahli statistik dan ekonom menggunakan istilah seperti "data fishing" atau "data dredging" untuk merujuk pada praktik yang dianggap tidak baik dalam menganalisis data tanpa hipotesis a priori. Istilah "data mining" juga digunakan dengan cara yang sama kritis oleh ekonom Michael Lovell dalam sebuah artikel yang diterbitkan di Review of Economic Studies pada tahun 1983. Lovell mengindikasikan bahwa praktik ini "menyamar di bawah berbagai alias, mulai dari "eksperimen" (positif) hingga "fishing" atau "snooping" (negatif).
Istilah data mining muncul sekitar tahun 1990 dalam komunitas basis data, dengan konotasi yang umumnya positif. Untuk sementara waktu pada tahun 1980-an, frasa "database mining"™, digunakan, tetapi karena telah dilindungi hak cipta oleh perusahaan HNC, yang berbasis di San Diego, untuk memasarkan Database Mining Workstation mereka; para peneliti akhirnya beralih ke data mining. Istilah lain yang digunakan termasuk data archaeology, information harvesting, information discovery, knowledge extraction, dll. Gregory Piatetsky-Shapiro menciptakan istilah "knowledge discovery in databases" untuk workshop pertama tentang topik yang sama (KDD-1989) dan istilah ini menjadi lebih populer di komunitas kecerdasan buatan dan pembelajaran mesin. Namun, istilah data mining menjadi lebih populer di kalangan bisnis dan pers. Saat ini, istilah data mining dan penemuan pengetahuan digunakan secara bergantian.
Latar Belakang Ekstraksi manual pola dari data telah terjadi selama berabad-abad. Metode awal untuk mengidentifikasi pola dalam data termasuk teorema Bayes (abad ke-18) dan analisis regresi (abad ke-19). Proliferasi, keberadaan, dan kekuatan yang meningkat dari teknologi komputer secara dramatis telah meningkatkan kemampuan pengumpulan, penyimpanan, dan manipulasi data. Seiring dengan pertumbuhan ukuran dan kompleksitas set data, analisis data langsung dengan tangan secara bertahap telah digantikan dengan pemrosesan data otomatis, dibantu oleh penemuan-penemuan lain dalam ilmu komputer, khususnya dalam bidang pembelajaran mesin, seperti jaringan saraf, analisis klaster, algoritma genetika (tahun 1950-an), pohon keputusan dan aturan keputusan (tahun 1960-an), dan mesin vektor dukungan (tahun 1990-an).
Data mining adalah proses menerapkan metode-metode ini dengan tujuan untuk mengungkap pola tersembunyi dalam set data yang besar. Ini memperjembatani kesenjangan antara statistik terapan dan kecerdasan buatan (yang biasanya menyediakan latar belakang matematika) dengan manajemen basis data dengan memanfaatkan cara data disimpan dan diindeks dalam basis data untuk menjalankan algoritma pembelajaran dan penemuan aktual secara lebih efisien, memungkinkan metode-metode tersebut diterapkan pada set data yang semakin besar.
Proses Penemuan Pengetahuan dari Data
Proses penemuan pengetahuan dari basis data (Knowledge Discovery in Databases/KDD) adalah langkah penting dalam memanfaatkan potensi data. Terdapat beberapa pendekatan seperti CRISP-DM yang menguraikan tahapan-tahapan yang harus diikuti, mulai dari pemahaman bisnis hingga implementasi model. Sebelum melakukan data mining, langkah pra-pemrosesan diperlukan untuk membersihkan data dari noise dan data hilang.
Data mining melibatkan tugas-tugas seperti deteksi anomali, pembelajaran aturan asosiasi, dan klasifikasi, dengan tujuan untuk mengekstrak pola dari data. Namun, hasil dari proses ini harus divalidasi secara hati-hati untuk memastikan keandalan dan kebergunaan informasi yang dihasilkan.
Dengan menggunakan kerangka kerja yang tepat dan melakukan validasi yang cermat, organisasi dapat mengubah data menjadi pengetahuan yang berharga untuk mendukung pengambilan keputusan yang lebih baik.
Proses Pencarian Pola
Penggalian data adalah salah satu bagian dari proses pencarian pola. Berikut ini urutan proses pencarian pola:
- Pembersihan Data: yaitu menghapus data pengganggu (noise) dan mengisi data yang hilang.
- Integrasi Data: yaitu menggabungkan berbagai sumber data.
- Pemilihan Data: yaitu memilih data yang relevan.
- Transformasi Data: yaitu mentransformasi data ke dalam format untuk diproses dalam penggalian data.
- Penggalian Data: yaitu menerapkan metode cerdas untuk ekstraksi pola.
- Evaluasi pola: yaitu mengenali pola-pola yang menarik saja.
- Penyajian pola: yaitu memvisualisasi pola ke pengguna.
Teknik Penggalian Data
Penggalian data umumnya dapat dibagi menjadi dua fungsi utama: deskripsi dan prediksi. Berikut adalah beberapa fungsi penggalian data yang sering digunakan:
- Karakterisasi dan Diskriminasi: Merupakan proses generalisasi, rangkuman, dan perbandingan karakteristik data.
- Penggalian Pola Berulang: Melibatkan pencarian pola asosiasi, pola intra-transaksi, atau pola pembelian dalam satu transaksi.
- Klasifikasi: Memanfaatkan model untuk mengklasifikasikan objek berdasarkan atribut-atributnya. Kelas target sudah ditentukan sebelumnya dalam data, sehingga fokusnya adalah pada pembelajaran model agar dapat melakukan klasifikasi sendiri.
- Prediksi: Memproyeksikan nilai yang tidak diketahui atau nilai yang hilang menggunakan model dari klasifikasi.
- Penggugusan/Cluster Analysis: Mengelompokkan objek data berdasarkan tingkat kemiripannya. Kelas target tidak ditentukan sebelumnya dalam data, sehingga tujuannya adalah untuk memaksimalkan kemiripan dalam kelompok dan meminimalkan kemiripan antar kelompok.
- Analisis Outlier: Proses identifikasi data yang tidak sesuai dengan pola umum dari data lainnya, seperti noise dan anomali dalam data.
- Analisis Trend dan Evolusi: Termasuk analisis regresi, penggalian pola sekuensial, analisis periodisitas, dan analisis berbasis tren.
Disadur dari: id.wikipedia.org