On the line-search gradient methods for stochastic optimization

Darina Dvinskikh, Aleksandr Ogaltsov, Alexander Gasnikov, Pavel Dvurechensky, Vladimir Spokoiny

Результат исследований: Вклад в журналСтатья конференциирецензирование

5 Цитирования (Scopus)

Аннотация

We consider several line-search based gradient methods for stochastic optimization: a gradient and accelerated gradient methods for convex optimization and gradient method for non-convex optimization. The methods simultaneously adapt to the unknown Lipschitz constant of the gradient and variance of the stochastic approximation for the gradient. The focus of this paper is to numerically compare such methods with state-of-the-art adaptive methods which are based on a different idea of taking norm of the stochastic gradient to define the stepsize, e.g., AdaGrad and Adam.

Язык оригиналаАнглийский
Страницы (с-по)1715-1720
Число страниц6
ЖурналIFAC-PapersOnLine
Том53
DOI
СостояниеОпубликовано - 2020
Опубликовано для внешнего пользованияДа
Событие21st IFAC World Congress 2020 - Berlin, Германия
Продолжительность: 12 июл. 202017 июл. 2020

Fingerprint

Подробные сведения о темах исследования «On the line-search gradient methods for stochastic optimization». Вместе они формируют уникальный семантический отпечаток (fingerprint).

Цитировать