Základy hlbokého učenia - úbytok hmotnosti

Blog

Čo je to úbytok hmotnosti?

Úbytok hmotnosti je regularizačná technika pridaním malého trestu, zvyčajne normy L2 váh (všetkých váh modelu), k funkcii straty.



pokročilé otázky na pohovor v c++

strata = strata + parameter úbytku hmotnosti * L2 norma váh






Niektorí ľudia radšej aplikujú úbytok hmotnosti iba na závažia a nie na zaujatosť. PyTorch aplikuje úbytok hmotnosti na závažia aj na zaujatosť.



Prečo používame úbytok hmotnosti?

  • Aby sa zabránilo preplneniu.
  • Aby boli váhy malé a vyhýbali sa explodujúcim gradientom. Pretože k strate sa pripočíta norma L2 váh, každá iterácia vašej siete sa okrem straty pokúsi optimalizovať/minimalizovať aj modelové hmotnosti. Pomôže to udržať váhy čo najmenšie, zabráni tomu, aby váhy vyrastali mimo kontroly, a tým sa vyhnete výbuchu.

#pytorch #data-science #deep-learning #weight-decay



medium.com

Základy hlbokého učenia - úbytok hmotnosti

Čo je to úbytok hmotnosti? Úbytok hmotnosti je regularizačná technika pridaním malého trestu, zvyčajne normy L2 váh (všetkých váh modelu), k funkcii straty.