28. listopadu 2022
Řečník · 0 sledujících
Řečník · 0 sledujících
We study the dynamics and implicit bias of gradient flow (GF) on univariate ReLU neural networks with a single hidden layer in a binary classification setting. We show that when the labels are determined by the sign of a target network with r neurons, with high probability over the initialization of the network and the sampling of the dataset, GF converges in direction (suitably defined) to a network achieving perfect training accuracy and having at most 𝒪(r) linear regions, implying a generalization bound. Our result may already hold for mild over-parameterization, where the width is 𝒪̃(r) and independent of the sample size.We study the dynamics and implicit bias of gradient flow (GF) on univariate ReLU neural networks with a single hidden layer in a binary classification setting. We show that when the labels are determined by the sign of a target network with r neurons, with high probability over the initialization of the network and the sampling of the dataset, GF converges in direction (suitably defined) to a network achieving perfect training accuracy and having at most 𝒪(r) linear regions, implying a generali…
Účet · 952 sledujících
Profesionální natáčení a streamování po celém světě.
Prezentace na podobné téma, kategorii nebo přednášejícího
Yongyi Su, …
Pro uložení prezentace do věčného trezoru hlasovalo 0 diváků, což je 0.0 %
Songming Liu, …
Pro uložení prezentace do věčného trezoru hlasovalo 0 diváků, což je 0.0 %
Pro uložení prezentace do věčného trezoru hlasovalo 0 diváků, což je 0.0 %
Ali Punjani, …
Pro uložení prezentace do věčného trezoru hlasovalo 0 diváků, což je 0.0 %
Pro uložení prezentace do věčného trezoru hlasovalo 0 diváků, což je 0.0 %
Lee Hyun, …
Pro uložení prezentace do věčného trezoru hlasovalo 0 diváků, což je 0.0 %