| http://dbpedia.org/ontology/abstract
|
Adaptive coordinate descent is an improvem … Adaptive coordinate descent is an improvement of the coordinate descent algorithm to non-separable optimization by the use of . The adaptive coordinate descent approach gradually builds a transformation of the coordinate system such that the new coordinates are as decorrelated as possible with respect to the objective function. The adaptive coordinate descent was shown to be competitive to the state-of-the-art evolutionary algorithms and has the following invariance properties: 1.
* Invariance with respect to monotonous transformations of the function (scaling) 2.
* Invariance with respect to orthogonal transformations of the search space (rotation). CMA-like Adaptive Encoding Update (b) mostly based on principal component analysis (a) is used to extend the coordinate descent method (c) to the optimization of non-separable problems (d). The adaptation of an appropriate coordinate system allows adaptive coordinate descent to outperform coordinate descent on non-separable functions. The following figure illustrates the convergence of both algorithms on 2-dimensional Rosenbrock function up to a target function value , starting from the initial point . The adaptive coordinate descent method reaches the target value after only 325 function evaluations (about 70 times faster than coordinate descent), that is comparable to gradient-based methods. The algorithm has linear time complexity if update coordinate system every D iterations, it is also suitable for large-scale (D>>100) non-linear optimization.le (D>>100) non-linear optimization.
, Адаптивный координатный спуск — улучшенны … Адаптивный координатный спуск — улучшенный вариант алгоритма координатного спуска для неразделимой оптимизации, использующий технику адаптивного кодирования. Адаптивный координатный спуск последовательно строит преобразования координатной системы так, что новые координаты максимально декоррелированы по отношению к целевой функции. Было показано, что адаптивный координатный спуск конкурентен с передовыми эволюционными алгоритмами и обладает следующими свойствами инвариантности:
* инвариантность относительно монотонного изменения функции (масштабирование)
* инвариантность относительно ортогональных преобразований пространства поиска (вращения). адаптивное кодирование (b), в основном базирующееся на методе главных компонент (a), используется для расширения метода координатного спуска (c) для решения неразделимых задач оптимизации (d). Адаптация приемлемой координатной системы позволяет методу адаптивного координатного спуска превзойти координатный спуск на неразделимых функциях. Следующий рисунок показывает сходимость обоих алгоритмов для двумерной функции Розенброка до целевого значения функции начиная с точки . Адаптивный координатный спуск достигает целевого значения всего за 325 вычислений функции (примерно в 70 раз быстрее координатного спуска), что сравнимо с методами, основанными на градиентах. Алгоритм имеет линейную сложность по времени, если обновлять систему координат каждые D итераций, и пригоден для нелинейных задач оптимизации большого размера (D>>100).тимизации большого размера (D>>100).
|
| http://dbpedia.org/ontology/thumbnail
|
http://commons.wikimedia.org/wiki/Special:FilePath/Adaptive_Coordinate_Descent_illustration.png?width=300 +
|
| http://dbpedia.org/ontology/wikiPageExternalLink
|
http://www.loshchilov.com/acid.html +
|
| http://dbpedia.org/ontology/wikiPageID
|
36844918
|
| http://dbpedia.org/ontology/wikiPageLength
|
4289
|
| http://dbpedia.org/ontology/wikiPageRevisionID
|
1117727303
|
| http://dbpedia.org/ontology/wikiPageWikiLink
|
http://dbpedia.org/resource/Algorithm +
, http://dbpedia.org/resource/File:Rosenbrock2D.png +
, http://dbpedia.org/resource/File:Adaptive_Coordinate_Descent_illustration.png +
, http://dbpedia.org/resource/Adaptive_encoding +
, http://dbpedia.org/resource/Orthogonal_transform +
, http://dbpedia.org/resource/Coordinate_descent +
, http://dbpedia.org/resource/Evolutionary_algorithms +
, http://dbpedia.org/resource/Rosenbrock_function +
, http://dbpedia.org/resource/Gradient_descent +
, http://dbpedia.org/resource/Mathematical_optimization +
, http://dbpedia.org/resource/Category:Optimization_algorithms_and_methods +
, http://dbpedia.org/resource/Principal_component_analysis +
, http://dbpedia.org/resource/CMA-ES +
, http://dbpedia.org/resource/Rosenbrock_methods +
|
| http://dbpedia.org/property/wikiPageUsesTemplate
|
http://dbpedia.org/resource/Template:Reflist +
|
| http://purl.org/dc/terms/subject
|
http://dbpedia.org/resource/Category:Optimization_algorithms_and_methods +
|
| http://www.w3.org/ns/prov#wasDerivedFrom
|
http://en.wikipedia.org/wiki/Adaptive_coordinate_descent?oldid=1117727303&ns=0 +
|
| http://xmlns.com/foaf/0.1/depiction
|
http://commons.wikimedia.org/wiki/Special:FilePath/Rosenbrock2D.png +
, http://commons.wikimedia.org/wiki/Special:FilePath/Adaptive_Coordinate_Descent_illustration.png +
|
| http://xmlns.com/foaf/0.1/isPrimaryTopicOf
|
http://en.wikipedia.org/wiki/Adaptive_coordinate_descent +
|
| owl:sameAs |
http://yago-knowledge.org/resource/Adaptive_coordinate_descent +
, http://rdf.freebase.com/ns/m.0m0pvxc +
, http://dbpedia.org/resource/Adaptive_coordinate_descent +
, http://ru.dbpedia.org/resource/%D0%90%D0%B4%D0%B0%D0%BF%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B9_%D0%BA%D0%BE%D0%BE%D1%80%D0%B4%D0%B8%D0%BD%D0%B0%D1%82%D0%BD%D1%8B%D0%B9_%D1%81%D0%BF%D1%83%D1%81%D0%BA +
, https://global.dbpedia.org/id/4LZLY +
, http://www.wikidata.org/entity/Q4680733 +
|
| rdf:type |
http://dbpedia.org/class/yago/YagoPermanentlyLocatedEntity +
, http://dbpedia.org/class/yago/Abstraction100002137 +
, http://dbpedia.org/class/yago/Activity100407535 +
, http://dbpedia.org/class/yago/Rule105846932 +
, http://dbpedia.org/class/yago/Algorithm105847438 +
, http://dbpedia.org/class/yago/Event100029378 +
, http://dbpedia.org/class/yago/Procedure101023820 +
, http://dbpedia.org/class/yago/Act100030358 +
, http://dbpedia.org/class/yago/PsychologicalFeature100023100 +
, http://dbpedia.org/class/yago/WikicatOptimizationAlgorithmsAndMethods +
|
| rdfs:comment |
Adaptive coordinate descent is an improvem … Adaptive coordinate descent is an improvement of the coordinate descent algorithm to non-separable optimization by the use of . The adaptive coordinate descent approach gradually builds a transformation of the coordinate system such that the new coordinates are as decorrelated as possible with respect to the objective function. The adaptive coordinate descent was shown to be competitive to the state-of-the-art evolutionary algorithms and has the following invariance properties:d has the following invariance properties:
, Адаптивный координатный спуск — улучшенны … Адаптивный координатный спуск — улучшенный вариант алгоритма координатного спуска для неразделимой оптимизации, использующий технику адаптивного кодирования. Адаптивный координатный спуск последовательно строит преобразования координатной системы так, что новые координаты максимально декоррелированы по отношению к целевой функции. Было показано, что адаптивный координатный спуск конкурентен с передовыми эволюционными алгоритмами и обладает следующими свойствами инвариантности:дает следующими свойствами инвариантности:
|
| rdfs:label |
Адаптивный координатный спуск
, Adaptive coordinate descent
|
