Metode ensemble adalah teknik yang bertujuan meningkatkan akurasi hasil dalam model dengan menggabungkan beberapa model daripada menggunakan model tunggal. Model gabungan meningkatkan akurasi hasil secara signifikan. Ini telah meningkatkan popularitas metode ansambel dalam pembelajaran mesin.
Ringkasan Cepat
- Metode ensemble bertujuan untuk meningkatkan prediktabilitas dalam model dengan menggabungkan beberapa model untuk membuat satu model yang sangat andal.
- Metode ansambel paling populer adalah meningkatkan, mengantongi, dan menumpuk.
- Metode ensemble ideal untuk regresi dan klasifikasi, di mana metode tersebut mengurangi bias dan varians untuk meningkatkan akurasi model.
Kategori Metode Ensemble
Metode ensemble terbagi dalam dua kategori besar, yaitu teknik ensembel sekuensial dan teknik ensembel paralel. Teknik ensembel sekuensial menghasilkan pembelajar dasar dalam urutan, misalnya, Adaptive Boosting (AdaBoost). Generasi pelajar dasar secara berurutan mempromosikan ketergantungan antara pelajar dasar. Kinerja model kemudian ditingkatkan dengan memberikan bobot yang lebih tinggi kepada pelajar yang sebelumnya salah mengartikan.
Dalam teknik ansambel paralel , pembelajar dasar dihasilkan dalam format paralel, misalnya, hutan acak Random Forest Random forest adalah teknik yang digunakan dalam prediksi pemodelan dan analisis perilaku dan dibangun di atas pohon keputusan. Hutan acak berisi banyak pohon keputusan. Metode paralel memanfaatkan generasi paralel dari pelajar dasar untuk mendorong kemandirian antara pelajar dasar. Kemandirian pelajar dasar secara signifikan mengurangi kesalahan karena penerapan rata-rata.
Mayoritas teknik ensemble menerapkan algoritma tunggal dalam pembelajaran dasar, yang menghasilkan homogenitas pada semua peserta didik dasar. Peserta didik dasar homogen mengacu pada peserta didik dasar dari jenis yang sama, dengan kualitas yang serupa. Metode lain menerapkan pembelajar dasar yang heterogen, sehingga menimbulkan ansambel yang heterogen. Pelajar dasar heterogen adalah pelajar dari jenis yang berbeda.
Jenis Utama Metode Ensemble
1. Mengantongi
Bagging, singkatan dari bootstrap aggregating, digunakan terutama dalam klasifikasi dan regresi. Analisis Regresi Analisis regresi adalah sekumpulan metode statistik yang digunakan untuk estimasi hubungan antara variabel dependen dan satu atau lebih variabel independen. Ini dapat digunakan untuk menilai kekuatan hubungan antara variabel dan untuk memodelkan hubungan masa depan di antara mereka. . Ini meningkatkan akurasi model melalui penggunaan pohon keputusan, yang sebagian besar mengurangi varians. Pengurangan varian meningkatkan akurasi, sehingga menghilangkan overfitting, yang merupakan tantangan bagi banyak model prediktif.
Bagging diklasifikasikan menjadi dua jenis, yaitu bootstrap dan agregasi. Bootstrap adalah teknik pengambilan sampel dimana sampel berasal dari seluruh populasi (kumpulan) dengan menggunakan prosedur penggantian. Pengambilan sampel dengan metode penggantian membantu membuat prosedur pemilihan diacak. Algoritma pembelajaran dasar dijalankan pada sampel untuk menyelesaikan prosedur.
Agregasi dalam bagging dilakukan untuk memasukkan semua kemungkinan hasil prediksi dan mengacak hasilnya. Tanpa agregasi, prediksi tidak akan akurat, karena semua hasil tidak dipertimbangkan. Oleh karena itu, agregasi didasarkan pada prosedur bootstrap probabilitas atau berdasarkan semua hasil model prediktif.
Mengantongi menguntungkan karena pelajar dengan dasar lemah digabungkan untuk membentuk pelajar kuat tunggal yang lebih stabil daripada pelajar tunggal. Ini juga menghilangkan varian apa pun, sehingga mengurangi overfitting model. Salah satu keterbatasan bagging adalah mahalnya komputasi. Dengan demikian, hal ini dapat menyebabkan lebih banyak bias dalam model ketika prosedur pengantongan yang tepat diabaikan.
2. Meningkatkan
Boosting adalah teknik ensemble yang belajar dari kesalahan prediktor sebelumnya untuk membuat prediksi yang lebih baik di masa mendatang. Teknik ini menggabungkan beberapa pelajar dengan dasar lemah untuk membentuk satu pelajar yang kuat, sehingga secara signifikan meningkatkan prediktabilitas model. Meningkatkan pekerjaan dengan mengatur peserta didik yang lemah secara berurutan, sehingga peserta didik yang lemah belajar dari peserta didik berikutnya dalam urutan untuk membuat model prediksi yang lebih baik.
Boosting memiliki banyak bentuk, termasuk peningkatan gradien, Adaptive Boosting (AdaBoost), dan XGBoost (Extreme Gradient Boosting). AdaBoost memanfaatkan pelajar yang lemah dalam bentuk pohon keputusan, yang sebagian besar mencakup satu perpecahan yang dikenal sebagai keputusan tunggul. Tunggul keputusan utama AdaBoost terdiri dari observasi yang membawa bobot serupa.
Gradient Boosting Gradient Boosting Gradient boosting adalah teknik yang digunakan dalam membuat model untuk prediksi. Teknik ini banyak digunakan dalam prosedur regresi dan klasifikasi. menambahkan prediktor secara berurutan ke ansambel, di mana prediktor sebelumnya mengoreksi penerusnya, sehingga meningkatkan akurasi model. Prediktor baru cocok untuk melawan efek kesalahan pada prediktor sebelumnya. Gradien penurunan membantu pendorong gradien dalam mengidentifikasi masalah dalam prediksi peserta didik dan melawannya sesuai dengan itu.
XGBoost memanfaatkan pohon keputusan dengan gradien yang ditingkatkan, memberikan kecepatan dan kinerja yang lebih baik. Ini sangat bergantung pada kecepatan komputasi dan kinerja model target. Pelatihan model harus mengikuti urutan, sehingga membuat implementasi mesin yang didorong gradien menjadi lambat.
3. Bertumpuk
Stacking, metode ansambel lainnya, sering disebut sebagai generalisasi bertumpuk. Teknik ini bekerja dengan memungkinkan algoritme pelatihan menggabungkan beberapa prediksi algoritme pembelajaran serupa lainnya. Penumpukan telah berhasil diimplementasikan dalam regresi, estimasi kepadatan, pembelajaran jarak jauh, dan klasifikasi. Ini juga dapat digunakan untuk mengukur tingkat kesalahan yang terlibat selama pengantongan.
Pengurangan Varians
Metode ensemble ideal untuk mengurangi varians dalam model, sehingga meningkatkan akurasi prediksi. Varians dihilangkan saat beberapa model digabungkan untuk membentuk prediksi tunggal yang dipilih dari semua kemungkinan prediksi lainnya dari model gabungan. Ansambel model adalah tindakan menggabungkan berbagai model untuk memastikan bahwa prediksi yang dihasilkan adalah yang terbaik, berdasarkan pertimbangan semua prediksi.
Sumber daya tambahan
Finance adalah penyedia resmi Certified Banking & Credit Analyst (CBCA) ™ CBCA ™ Certification Akreditasi Certified Banking & Credit Analyst (CBCA) ™ adalah standar global untuk analis kredit yang mencakup keuangan, akuntansi, analisis kredit, analisis arus kas , pemodelan perjanjian, pembayaran kembali pinjaman, dan lainnya. program sertifikasi, yang dirancang untuk membantu siapa saja menjadi analis keuangan kelas dunia. Untuk terus memajukan karier Anda, sumber daya Keuangan tambahan di bawah ini akan berguna:
- Jaring Elastis Jaring Elastis Jaring elastis menggunakan penalti secara linier dari teknik laso dan ridge untuk mengatur model regresi. Teknik ini menggabungkan laso dan
- Overfitting Overfitting Overfitting adalah istilah yang digunakan dalam statistik yang mengacu pada kesalahan pemodelan yang terjadi ketika suatu fungsi berhubungan terlalu dekat dengan kumpulan data tertentu.
- Skalabilitas Skalabilitas Skalabilitas dapat termasuk dalam konteks strategi keuangan dan bisnis. Dalam kedua kasus tersebut, ini mewakili kemampuan entitas untuk menahan tekanan
- Spoofing Spoofing Spoofing adalah praktik perdagangan algoritmik yang mengganggu yang melibatkan penempatan tawaran untuk membeli atau menawarkan untuk menjual kontrak berjangka dan membatalkan tawaran atau penawaran sebelum eksekusi kesepakatan. Praktik tersebut bermaksud untuk membuat gambaran palsu tentang permintaan atau pesimisme palsu di pasar.
