Čo je to úbytok hmotnosti?

Úbytok hmotnosti je regularizačná technika pridaním malého trestu, zvyčajne normy L2 váh (všetkých váh modelu), k funkcii straty.

pokročilé otázky na pohovor v c++

strata = strata + parameter úbytku hmotnosti * L2 norma váh

Niektorí ľudia radšej aplikujú úbytok hmotnosti iba na závažia a nie na zaujatosť. PyTorch aplikuje úbytok hmotnosti na závažia aj na zaujatosť.

Prečo používame úbytok hmotnosti?

• Aby sa zabránilo preplneniu.
• Aby boli váhy malé a vyhýbali sa explodujúcim gradientom. Pretože k strate sa pripočíta norma L2 váh, každá iterácia vašej siete sa okrem straty pokúsi optimalizovať/minimalizovať aj modelové hmotnosti. Pomôže to udržať váhy čo najmenšie, zabráni tomu, aby váhy vyrastali mimo kontroly, a tým sa vyhnete výbuchu.

#pytorch #data-science #deep-learning #weight-decay

medium.com

Základy hlbokého učenia - úbytok hmotnosti

Čo je to úbytok hmotnosti? Úbytok hmotnosti je regularizačná technika pridaním malého trestu, zvyčajne normy L2 váh (všetkých váh modelu), k funkcii straty.