Ik keek naar de Scikit-Learn-documentatie voor GradientBoostingRegressor .
Hier staat dat we kan “ls” gebruiken als een verliesfunctie die de regressie van de kleinste kwadraten is. Maar ik ben in de war omdat de kleinste kwadratenregressie een methode is om de SSE-verliesfunctie te minimaliseren.
Moeten ze SSE hier dan niet noemen?
Antwoord
Het lijkt erop dat u te veel interpreteert wat in wezen alleen maar gemaksnamen voor de modelargumenten zijn, en geen formele terminologie; hier " ls verwijst naar regressie met de kleinste kwadraten " moet worden geïnterpreteerd als " “ls” is de verliesfunctie die wordt gebruikt in regressie met de kleinste kwadraten ".
Formeel heb je natuurlijk een punt – sse zou hier een geschiktere naamgevingsconventie zijn; discussies over dergelijke naamgevingsconventies zijn niet ongebruikelijk in de gemeenschap, zie bijvoorbeeld de thread verlies functienaam consistentie bij gradiëntverhoging (welke BTW is opgelost hier ). En u zou de meeste welkom bij het openen van een relevant probleem voor de conventie die hier wordt gebruikt.
Opmerkingen
- Bedankt voor opheldering
Answer
Merk op dat het algoritme Gradient Boostign Regressor wordt genoemd.
Het idee is dat je beslissingsbomen een boost geeft door de gradiënt te minimaliseren. Deze gradiënt is een verliesfunctie die meer vormen kan aannemen.
Het algoritme aggregeert elke beslissingsboom in de fout van de eerder aangepaste en voorspelde beslissingsboom. Daar heb je de gewenste verliesfunctie.
Deze parameter heeft daar betrekking op.
Opmerkingen
- Bedankt voor de opmerking @ carlos. Maar wat ik me afvroeg, is dat de term ' regressie van de kleinste kwadraten ' die in de sklearn-documentatie staat zoals hierboven isn ' t precies een verliesfunctie. Ik denk dat ze SSE hadden moeten noemen in plaats van dat.