Przeglądałem dokumentację Scikit-Learn dla GradientBoostingRegressor .
Tutaj jest napisane, że może użyć „ls” jako funkcji straty, która jest regresją najmniejszych kwadratów. Ale jestem zdezorientowany, ponieważ regresja najmniejszych kwadratów jest metodą na zminimalizowanie funkcji utraty SSE.
Czy więc nie powinni tutaj wspominać o SSE?
Odpowiedź
Wydaje się, że nadmiernie interpretujesz to, co jest po prostu skrótowymi nazwami argumentów modelu, a nie formalną terminologią; tutaj " „ls” odnosi się do regresji metodą najmniejszych kwadratów " należy interpretować jako " „ls” to funkcja straty używana w regresji najmniejszych kwadratów ".
Formalnie masz rację – sse byłaby tutaj bardziej odpowiednią konwencją nazewnictwa; dyskusje na temat takich konwencji nazewnictwa nie są rzadkością wśród społeczności, patrz na przykład wątek spójność nazw funkcji utraty w wzmocnieniu gradientu (który BTW został rozwiązany tutaj ). I najbardziej witamy otwierając temat związany z konwencją zastosowaną tutaj.
Komentarze
- Dziękuję za wyjaśnienie
Odpowiedź
Zauważ, że algorytm nazywa się Gradient Boostign Regressor.
Chodzi o to, aby wzmocnić drzewa decyzyjne minimalizując gradient. Ten gradient jest funkcją straty, która może przybierać więcej form.
Algorytm agreguje każde drzewo decyzyjne w postaci błędu wcześniej dopasowanego i przewidywanego drzewa decyzyjnego. Masz swoją pożądaną funkcję straty.
Ten parametr dotyczy tego.
Komentarze
- Dzięki za komentarz @ carlos. Ale zastanawiałem się, że termin ' regresja najmniejszych kwadratów ', który znajduje się w dokumentacji sklearn, jak powyżej, nie jest ' t dokładnie funkcja straty. Myślę, że powinni zamiast tego wspomnieć o SSE.