Mă uitam la documentația Scikit-Learn pentru GradientBoostingRegressor .
Aici se spune că poate folosi „ls” ca funcție de pierdere care este regresia celor mai mici pătrate. Dar sunt confuz, deoarece regresia celor mai mici pătrate este o metodă de minimizare a funcției de pierdere SSE.
Deci nu ar trebui să menționeze SSE aici?
Răspuns
S-ar părea că interpretați excesiv ceea ce este, în esență, doar denumiri de comoditate pentru argumentele model și nu terminologia formală; aici, " ls se referă la regresia celor mai mici pătrate " ar trebui interpretat ca " „ls” este funcția de pierdere utilizată în regresia celor mai mici pătrate ".
În mod formal, aveți un punct, desigur – sse ar fi o convenție de denumire mai adecvată aici; discuțiile despre astfel de convenții de numire nu sunt neobișnuite în comunitate, vezi de exemplu firul consistența numelui funcției de pierdere în creșterea gradientului (care BTW a fost rezolvat aici ). Și ați fi cel mai bine ați deschis o problemă relevantă pentru convenția folosită aici.
Comentarii
- Vă mulțumim pentru clarificări
Răspuns
Rețineți că algoritmul se numește Gradient Boostign Regressor.
Ideea este că sporiți arborii de decizie minimizând gradientul. Acest gradient este o funcție de pierdere care poate lua mai multe forme.
Algoritmul agregează fiecare arborescență de decizie în eroarea arborelui de decizie prevăzut și prevăzut anterior. Aici aveți funcția de pierdere dorită.
Acest parametru se referă la asta.
Comentarii
- Vă mulțumim pentru comentariu @ carlos. Dar ceea ce mă întrebam este că termenul ' regresie a celor mai mici pătrate ' care se află în documentația sklearn, așa cum este menționat anterior, nu este ' este exact o funcție de pierdere. Cred că ar fi trebuit să menționeze SSE în loc de asta.