Regresi linier elastis bersih menggunakan penalti dari teknik laso dan ridge untuk mengatur model regresi. Teknik ini menggabungkan kedua laso LASSO LASSO, kependekan dari Least Absolute Shrinkage and Selection Operator, adalah rumus statistik yang tujuan utamanya adalah pemilihan fitur dan regularisasi serta metode regresi ridge dengan belajar dari kekurangannya untuk meningkatkan regularisasi model statistik.
Metode jaring elastis meningkatkan keterbatasan laso, yaitu, di mana laso mengambil beberapa sampel untuk data berdimensi tinggi, prosedur jaring elastis memberikan penyertaan jumlah variabel “n” sampai saturasi. Dalam kasus di mana variabel adalah kelompok yang sangat berkorelasi, laso cenderung memilih satu variabel dari kelompok tersebut dan mengabaikan sisanya sama sekali.
Untuk menghilangkan batasan yang ditemukan pada laso, jaring elastis menyertakan ekspresi kuadrat (|| β || 2) di dalam penalti, yang, bila digunakan dalam isolasi, menjadi regresi ridge. Ekspresi kuadrat pada penalti menaikkan fungsi kerugian menjadi konveks. Jaring elastis menarik yang terbaik dari kedua dunia - yaitu, regresi laso dan punggungan.
Dalam prosedur untuk menemukan estimator metode jaring elastis, terdapat dua tahapan yang melibatkan teknik laso dan regresi. Pertama kali menemukan koefisien regresi ridge dan kemudian melakukan langkah kedua dengan menggunakan semacam laso penyusutan koefisien.
Metode ini, oleh karena itu, menggunakan koefisien dalam dua jenis penyusutan. Penyusutan ganda dari jaring elastis versi naif menyebabkan efisiensi rendah dalam prediktabilitas dan bias tinggi. Untuk mengoreksi efek tersebut, koefisien diskalakan kembali dengan mengalikannya dengan (1 + λ 2 ).
Ringkasan Cepat
- Metode jaring elastis melakukan pemilihan variabel dan regularisasi secara bersamaan.
- Teknik jaring elastis paling tepat di mana data dimensi lebih besar dari jumlah sampel yang digunakan.
- Pengelompokan dan pemilihan variabel adalah peran kunci dari teknik jaring elastis.
Geometri Jaring Elastis
Ketika diplot pada bidang Kartesius, jaring elastis berada di antara plot regresi ridge dan laso, karena ini adalah kombinasi dari dua metode regresi tersebut. Plot jaring elastis juga menunjukkan singularitas pada simpul, yang penting untuk ketersebaran. Ini juga menunjukkan tepi cembung yang ketat di mana konveksitas bergantung pada nilai α.
Konveksitas juga tergantung pada pengelompokan efek tergantung pada korelasi Korelasi Korelasi adalah ukuran statistik dari hubungan antara dua variabel. Ukuran paling baik digunakan dalam variabel yang menunjukkan hubungan linier antara satu sama lain. Kesesuaian data dapat direpresentasikan secara visual dalam diagram sebar. dari variabel yang dipilih. Semakin tinggi korelasi variabel, semakin tinggi efek pengelompokan, dan, karenanya, semakin tinggi jumlah variabel yang dimasukkan dalam sampel.
Variabel Seleksi
Pembuatan model membutuhkan pemilihan variabel untuk membentuk subset dari prediktor. Jaringan elastis menggunakan pendekatan masalah p >> n, yang berarti jumlah bilangan prediktor lebih banyak dari jumlah sampel yang digunakan dalam model. Jaringan elastis sesuai jika variabel membentuk kelompok yang berisi variabel bebas berkorelasi tinggi. Variabel Independen Variabel independen adalah masukan, asumsi, atau pendorong yang diubah untuk menilai dampaknya terhadap variabel dependen (hasil). .
Pemilihan variabel dimasukkan ke dalam prosedur pembuatan model untuk membantu meningkatkan akurasi. Dalam kasus di mana sekelompok variabel sangat berkorelasi dan salah satu variabel dipilih ke dalam sampel, seluruh kelompok secara otomatis dimasukkan dalam sampel.
Pendirian CATREG
CATREG merupakan algoritma yang memfasilitasi transformasi variabel, baik linier maupun nonlinier. Algoritma tersebut memanfaatkan fungsi step dan spline dalam mentransformasikan variabel baik secara non-monoton maupun secara monoton dalam transformasi non-linier. CATREG dapat secara bersamaan mengubah dan mengatur variabel secara non-monoton tanpa harus terlebih dahulu memperluas variabel menjadi fungsi dasar atau variabel dummy.
Fungsi kerugian bersih elastis juga dapat disebut sebagai jenis fungsi kerugian regresi kuadrat terkecil yang dibatasi. Algoritme CATREG digabungkan ke dalam jaring elastis, yang meningkatkan efisiensi dan kesederhanaan algoritme yang dihasilkan. Sebagai perbandingan, jaring elastis mengungguli laso, yang dengan sendirinya mengungguli regresi ridge dalam hal efisiensi dan kesederhanaan.
Regularisasi Jaring Elastis
Selama prosedur regularisasi, yang l 1 bagian dari hukuman membentuk model jarang. Di sisi lain, bagian kuadrat dari hukuman membuat l 1 bagian lebih stabil di jalur regularisasi, menghilangkan batas kuantitas variabel yang akan dipilih, dan mendorong efek pengelompokan.
Efek pengelompokan membantu variabel untuk dengan mudah diidentifikasi menggunakan korelasi. Itu meningkatkan prosedur pengambilan sampel. Ini juga meningkatkan jumlah variabel yang dipilih, karena ketika satu variabel dijadikan sampel dalam kelompok yang sangat berkorelasi, semua variabel lain dalam kelompok itu secara otomatis ditambahkan ke dalam sampel.
Derajat Kebebasan yang Efektif
Derajat kebebasan efektif mengukur kompleksitas model. Derajat kebebasan penting selama estimasi atau prediksi akurat dari suatu model fitting. Derajat kebebasan juga dimasukkan dalam pembelajaran benda-benda halus linier. Dalam metode apapun yang berhubungan dengan l 1 penalti, sifat non-linear model menimbulkan tantangan dalam analisis.
Jaring elastis juga dapat digunakan dalam aplikasi lain, seperti di PCA jarang, di mana jaring tersebut memperoleh komponen utama yang dimodifikasi oleh pemuatan jarang. Aplikasi lain ada di jaring elastis kernel, di mana pembuatan mesin kernel kelas berlangsung dengan vektor dukungan.
Sumber daya tambahan
Finance menawarkan Sertifikasi Perbankan & Analis Kredit (CBCA) ™ CBCA ™ Akreditasi Perbankan & Analis Kredit Bersertifikat (CBCA) ™ adalah standar global untuk analis kredit yang mencakup keuangan, akuntansi, analisis kredit, analisis arus kas, pemodelan perjanjian, pinjaman pembayaran kembali, dan banyak lagi. program sertifikasi bagi mereka yang ingin meningkatkan karir mereka ke tingkat berikutnya. Untuk terus mempelajari dan mengembangkan basis pengetahuan Anda, harap jelajahi sumber daya Keuangan tambahan yang relevan di bawah ini:
- Pohon Keputusan Pohon Keputusan Pohon keputusan adalah alat pendukung dengan struktur seperti pohon yang memodelkan hasil yang mungkin, biaya sumber daya, utilitas, dan kemungkinan konsekuensi.
- Variabel Dependen Variabel Dependen Sebuah Variabel Dependen adalah salah satu yang akan berubah tergantung dari nilai variabel lain yang disebut variabel independen.
- Regresi Linier Berganda Regresi Linier Berganda Regresi linier berganda mengacu pada teknik statistik yang digunakan untuk memprediksi hasil dari suatu variabel terikat berdasarkan nilai variabel bebas.
- Overfitting Overfitting Overfitting adalah istilah yang digunakan dalam statistik yang mengacu pada kesalahan pemodelan yang terjadi ketika suatu fungsi berhubungan terlalu dekat dengan kumpulan data tertentu.
