Guberni yo'qotish - Huber loss

Yilda statistika, Guberni yo'qotish a yo'qotish funktsiyasi ichida ishlatilgan mustahkam regressiya, bu kamroq sezgir chetga chiquvchilar ma'lumotlarga qaraganda kvadrat xatolarni yo'qotish. Ba'zida tasniflash uchun variant ham qo'llaniladi.

Ta'rif

Guberni yo'qotish (yashil,

{ displaystyle delta = 1}

) va kvadrat funktsiyasi sifatida xatolarni yo'qotish (ko'k)

{ displaystyle y-f (x)}

Huberni yo'qotish funktsiyasi an tomonidan qilingan jazoni tavsiflaydi baholash tartibi $f$ . Huber (1964) tomonidan yo'qotish funktsiyasi qism-qism tomonidan belgilanadi^[1]

{ displaystyle L _ { delta} (a) = { begin {case} { frac {1} {2}} {a ^ {2}} & { text {for}} | a | leq delta , delta (| a | - { frac {1} {2}} delta), & { text {aks holda.}} end {case}}}

Ushbu funktsiya kichik qiymatlari uchun kvadratikdir $a$ va katta qiymatlar uchun chiziqli, teng qiymatlar va har xil kesimlarning yon tomonlari ikkita nuqtada joylashgan ${ displaystyle | a | = delta}$ . O'zgaruvchan $a$ ko'pincha qoldiqlarga, ya'ni kuzatilgan va taxmin qilingan qiymatlar orasidagi farqga ishora qiladi ${ displaystyle a = y-f (x)}$ , shuning uchun avvalgi kengaytirilishi mumkin^[2]

{ displaystyle L _ { delta} (y, f (x)) = { begin {case} { frac {1} {2}} (yf (x)) ^ {2} & { textrm {for} } | yf (x) | leq delta, delta , | yf (x) | - { frac {1} {2}} delta ^ {2} & { textrm {aks holda.}} end {case}}}

Motivatsiya

Yo'qotish funktsiyalari juda ko'p ishlatiladigan ikkita kvadrat yo'qotish, ${ displaystyle L (a) = a ^ {2}}$ , va mutlaq yo'qotish, ${ displaystyle L (a) = | a |}$ . Kvadrat yo'qotish funktsiyasi natijada o'rtacha arifmetik -xolis tahminchi, va mutlaq qiymatni yo'qotish funktsiyasi a ga olib keladi o'rtacha - xolis tahminchi (bir o'lchovli holatda va a geometrik median -ko‘p o‘lchamli holat uchun xolis baholovchi). To'rtburchak yo'qotish zararli tomoni shundaki, ustunlik ustunligi tendentsiyasiga ega - bu yig'indini yig'ish paytida ${ displaystyle a}$ (xuddi shunday) ${ textstyle sum _ {i = 1} ^ {n} L (a_ {i})}$ ), namunaviy o'rtacha ko'rsatkichga bir nechta ayniqsa katta ta'sir ko'rsatmoqda ${ displaystyle a}$ -taqsimot og'ir dumaloq bo'lganda qiymatlar: jihatidan baholash nazariyasi, og'ir dumaloq taqsimot uchun o'rtacha asimptotik nisbiy samaradorligi yomon.

Yuqorida ta'riflanganidek, Huberni yo'qotish funktsiyasi kuchli konveks minimal darajadagi yagona mahallada ${ displaystyle a = 0}$ ; ushbu bir xil mahalla chegarasida Guberni yo'qotish funktsiyasi nuqtalarda affin funktsiyasiga farqlanadigan kengaytmaga ega ${ displaystyle a = - delta}$ va ${ displaystyle a = delta}$ . Ushbu xususiyatlar unga o'rtacha xolislik, minimal dispersiya baholovchisining sezgirligini (kvadratik yo'qotish funktsiyasidan foydalangan holda) va o'rtacha xolis baholovchining (mutlaq qiymat funktsiyasidan foydalangan holda) mustahkamligini birlashtirishga imkon beradi.

Pseudo-Huber yo'qotish funktsiyasi

The Pseudo-Huber yo'qotish funktsiyasi Huber yo'qotish funktsiyasining silliq yaqinlashishi sifatida ishlatilishi mumkin. Bu eng yaxshi xususiyatlarini birlashtiradi L2 kvadrat yo'qotish va L1 mutlaq yo'qotish maqsadga / minimalga yaqinlashganda kuchli konveks bilan va haddan tashqari qiymatlar uchun kamroq tik. Ushbu tiklikni ${ displaystyle delta}$ qiymat. The Pseudo-Huber yo'qotish funktsiyasi hosilalar barcha darajalar uchun uzluksiz bo'lishini ta'minlaydi. Sifatida aniqlanadi^[3]^[4]

{ displaystyle L _ { delta} (a) = delta ^ {2} left ({ sqrt {1+ (a / delta) ^ {2}}} - 1 right).}

Shunday qilib, bu funktsiya taxminan ${ displaystyle a ^ {2} / 2}$ ning kichik qiymatlari uchun ${ displaystyle a}$ va nishab bilan to'g'ri chiziqqa yaqinlashadi ${ displaystyle delta}$ ning katta qiymatlari uchun ${ displaystyle a}$ .

Yuqoridagilar eng keng tarqalgan shakl bo'lsa-da, Huberni yo'qotish funktsiyasining boshqa yumshoq taxminlari ham mavjud.^[5]

Tasniflash uchun variant

Uchun tasnif maqsadlar, Huber yo'qotishining bir varianti deb nomlangan o'zgartirilgan Huber ba'zan ishlatiladi. Bashorat berilgan ${ displaystyle f (x)}$ (haqiqiy baholangan klassifikator ballari) va haqiqiy ikkilik sinf yorlig'i ${ displaystyle y in {+ 1, -1 }}$ , o'zgartirilgan Huber yo'qotilishi quyidagicha aniqlanadi^[6]