| http://dbpedia.org/ontology/abstract
|
Limited-memory BFGS (L-BFGS or LM-BFGS) is … Limited-memory BFGS (L-BFGS or LM-BFGS) is an optimization algorithm in the family of quasi-Newton methods that approximates the Broyden–Fletcher–Goldfarb–Shanno algorithm (BFGS) using a limited amount of computer memory. It is a popular algorithm for parameter estimation in machine learning. The algorithm's target problem is to minimize over unconstrained values of the real-vector where is a differentiable scalar function. Like the original BFGS, L-BFGS uses an estimate of the inverse Hessian matrix to steer its search through variable space, but where BFGS stores a dense approximation to the inverse Hessian (n being the number of variables in the problem), L-BFGS stores only a few vectors that represent the approximation implicitly. Due to its resulting linear memory requirement, the L-BFGS method is particularly well suited for optimization problems with many variables. Instead of the inverse Hessian Hk, L-BFGS maintains a history of the past m updates of the position x and gradient ∇f(x), where generally the history size m can be small (often ). These updates are used to implicitly do operations requiring the Hk-vector product.perations requiring the Hk-vector product.
, L-BFGS y L-BFGS-B son dos métodos de optim … L-BFGS y L-BFGS-B son dos métodos de optimización de funciones con un gran número de parámetros o de una gran complejidad. Se trata de un método que hace un uso limitado de la memoria (usa mucha menos memoria que otros algoritmos para el mismo problema); L-BFGS viene de de memoria limitada. Permite obtener el mínimo de una función. Únicamente necesita la función y su gradiente, pero no la matriz Hessiana. L-BFGS, desarrollado por es capaz de resolver funciones sin restricciones, mientras que la variante L-BFGS-B ( y Richard Byrd) puede resolver funciones con restricciones simples (del tipo , siendo la variable i-ésima y y los límites inferior y superior de esa variable) en sus parámetros. Si las restricciones son complejas otros métodos, como , deben ser usados. Para cada iteración el algoritmo busca una aproximación de la matriz Hessiana, concretamente de su inversa. Si la función tiene N variables, la matriz Hessiana tiene elementos. Si N es grande, el tiempo necesario para calcular toda la matriz de forma exacta puede ser prohibitivo. Es por esto que se busca una aproximación.Es por esto que se busca una aproximación.
, L-BFGS (혹은 Limited-memory BFGS, LM-BFGS) 준 … L-BFGS (혹은 Limited-memory BFGS, LM-BFGS) 준-뉴턴 방식 (quasi-Newton methods)의 최적화 알고리즘이다. 제한된 컴퓨터 메모리를 이용하여 기존 BFGS (Broyden–Fletcher–Goldfarb–Shanno algorithm) 알고리즘을 속도면에서 개선한 알고리즘이다. (결과는 근사값). 본 알고리즘은 Adam과 함께 머신 러닝에 있어서 널리 사용되는 파라메터 추정 알고리즘이다. 본 알고리즘의 목적함수는 의 최소값을 찾는 것이며, 여기서, 는 unconstrained value의 real-vector이고, 는 미분가능한 스칼라 함수이다. 원래의 BFGS와 같이, L-BFGS 알고리즘은 variable space의 검색을 조정하는 추정된 inverse Hessian matrix를 이용한다. 하지만 BFGS는 inverse Hessian에서 추정된 전체 을 이용하고, L-BFGS는 단지 몇개의 벡터만을 저장한다. 비록 일부의 벡터이지만 이런 일부의 벡터 역시 암시적으로 대표성을 지니고 있다. (주로 홀수개의 벡터를 지정하고 10 이하. 문헌에서 봤는데 이유는 기억이 가물가물.. ) 여기서 n은 문제에서 변수의 갯수를 의미한다. 선형 메모리의 요구사항으로 인해, L-BFGS는 많은 변수를 가진 최적화 문제에 적합하다고 알려져 있다. inverse Hessian Hk 대신에 L-BFGS는 과거 m update의 기록과 gradient ∇f(x) 이용한다. 일반적으로 과거 기록인 m 의 크기는 주로 10 이하를 선정한다. (문서는 Wikipedia의 영어판에 게재된 Limited-memory BFGS 문서의 한국어 번역이며, 필자의 판단으로 일부 내용은 의역하였음.)BFGS 문서의 한국어 번역이며, 필자의 판단으로 일부 내용은 의역하였음.)
|
| http://dbpedia.org/ontology/wikiPageExternalLink
|
http://aria42.com/blog/2014/12/understanding-lbfgs%7Cfirst1=Aria%7Clast1=Haghighi%7Ctitle=Numerical +
, http://www.ece.northwestern.edu/~nocedal/PSfiles/limited-memory.ps.gz%7Ctitle= +
, https://www.google.com/books/edition/Conjugate_Gradient_Algorithms_in_Nonconv/RhRkaDPmwVoC%3Fhl=en&gbpv=1&pg=PA159 +
|
| http://dbpedia.org/ontology/wikiPageID
|
6142533
|
| http://dbpedia.org/ontology/wikiPageLength
|
15252
|
| http://dbpedia.org/ontology/wikiPageRevisionID
|
1122421735
|
| http://dbpedia.org/ontology/wikiPageWikiLink
|
http://dbpedia.org/resource/Quasi-Newton_method +
, http://dbpedia.org/resource/Multinomial_logistic_regression +
, http://dbpedia.org/resource/Stochastic_gradient_descent +
, http://dbpedia.org/resource/Smooth_function +
, http://dbpedia.org/resource/Broyden%E2%80%93Fletcher%E2%80%93Goldfarb%E2%80%93Shanno_algorithm +
, http://dbpedia.org/resource/Online_machine_learning +
, http://dbpedia.org/resource/Loss_function +
, http://dbpedia.org/resource/Computer_memory +
, http://dbpedia.org/resource/Taxicab_geometry +
, http://dbpedia.org/resource/Wolfe_conditions +
, http://dbpedia.org/resource/Sign_%28mathematics%29 +
, http://dbpedia.org/resource/Algorithm +
, http://dbpedia.org/resource/Fortran +
, http://dbpedia.org/resource/Constraint_%28mathematics%29 +
, http://dbpedia.org/resource/Sparse_matrix +
, http://dbpedia.org/resource/Conditional_random_field +
, http://dbpedia.org/resource/Hessian_matrix +
, http://dbpedia.org/resource/R_%28programming_language%29 +
, http://dbpedia.org/resource/Category:Optimization_algorithms_and_methods +
, http://dbpedia.org/resource/Fortran_77 +
, http://dbpedia.org/resource/Differentiable_function +
, http://dbpedia.org/resource/Active_set +
, http://dbpedia.org/resource/Regularization_%28mathematics%29 +
, http://dbpedia.org/resource/ALGLIB +
, http://dbpedia.org/resource/Machine_learning +
, http://dbpedia.org/resource/Convex_function +
, http://dbpedia.org/resource/Backtracking_line_search +
, http://dbpedia.org/resource/Optimization_%28mathematics%29 +
, http://dbpedia.org/resource/SciPy +
|
| http://dbpedia.org/property/wikiPageUsesTemplate
|
http://dbpedia.org/resource/Template:Optimization_algorithms +
, http://dbpedia.org/resource/Template:Cite_web +
, http://dbpedia.org/resource/Template:Short_description +
, http://dbpedia.org/resource/Template:Cite_book +
, http://dbpedia.org/resource/Template:Reflist +
, http://dbpedia.org/resource/Template:Cite_journal +
, http://dbpedia.org/resource/Template:Math +
, http://dbpedia.org/resource/Template:Mvar +
|
| http://purl.org/dc/terms/subject
|
http://dbpedia.org/resource/Category:Optimization_algorithms_and_methods +
|
| http://purl.org/linguistics/gold/hypernym
|
http://dbpedia.org/resource/Algorithm +
|
| http://www.w3.org/ns/prov#wasDerivedFrom
|
http://en.wikipedia.org/wiki/Limited-memory_BFGS?oldid=1122421735&ns=0 +
|
| http://xmlns.com/foaf/0.1/isPrimaryTopicOf
|
http://en.wikipedia.org/wiki/Limited-memory_BFGS +
|
| owl:sameAs |
http://ko.dbpedia.org/resource/L-BFGS +
, http://yago-knowledge.org/resource/Limited-memory_BFGS +
, http://rdf.freebase.com/ns/m.0fsc7v +
, https://global.dbpedia.org/id/4qVoM +
, http://dbpedia.org/resource/Limited-memory_BFGS +
, http://es.dbpedia.org/resource/L-BFGS +
, http://www.wikidata.org/entity/Q6549489 +
, http://ja.dbpedia.org/resource/L-BFGS%E6%B3%95 +
|
| rdf:type |
http://dbpedia.org/class/yago/Act100030358 +
, http://dbpedia.org/class/yago/Event100029378 +
, http://dbpedia.org/ontology/Software +
, http://dbpedia.org/class/yago/Rule105846932 +
, http://dbpedia.org/class/yago/YagoPermanentlyLocatedEntity +
, http://dbpedia.org/class/yago/Abstraction100002137 +
, http://dbpedia.org/class/yago/Algorithm105847438 +
, http://dbpedia.org/class/yago/WikicatOptimizationAlgorithmsAndMethods +
, http://dbpedia.org/class/yago/PsychologicalFeature100023100 +
, http://dbpedia.org/class/yago/Procedure101023820 +
, http://dbpedia.org/class/yago/Activity100407535 +
|
| rdfs:comment |
L-BFGS (혹은 Limited-memory BFGS, LM-BFGS) 준 … L-BFGS (혹은 Limited-memory BFGS, LM-BFGS) 준-뉴턴 방식 (quasi-Newton methods)의 최적화 알고리즘이다. 제한된 컴퓨터 메모리를 이용하여 기존 BFGS (Broyden–Fletcher–Goldfarb–Shanno algorithm) 알고리즘을 속도면에서 개선한 알고리즘이다. (결과는 근사값). 본 알고리즘은 Adam과 함께 머신 러닝에 있어서 널리 사용되는 파라메터 추정 알고리즘이다. 본 알고리즘의 목적함수는 의 최소값을 찾는 것이며, 여기서, 는 unconstrained value의 real-vector이고, 는 미분가능한 스칼라 함수이다. (문서는 Wikipedia의 영어판에 게재된 Limited-memory BFGS 문서의 한국어 번역이며, 필자의 판단으로 일부 내용은 의역하였음.)BFGS 문서의 한국어 번역이며, 필자의 판단으로 일부 내용은 의역하였음.)
, L-BFGS y L-BFGS-B son dos métodos de optim … L-BFGS y L-BFGS-B son dos métodos de optimización de funciones con un gran número de parámetros o de una gran complejidad. Se trata de un método que hace un uso limitado de la memoria (usa mucha menos memoria que otros algoritmos para el mismo problema); L-BFGS viene de de memoria limitada. Permite obtener el mínimo de una función. Únicamente necesita la función y su gradiente, pero no la matriz Hessiana. L-BFGS, desarrollado por es capaz de resolver funciones sin restricciones, mientras que la variante L-BFGS-B ( y Richard Byrd) puede resolver funciones con restricciones simples (del tipo , siendo la variable i-ésima y y los límites inferior y superior de esa variable) en sus parámetros. Si las restricciones son complejas otros métodos, como , deben ser usados.as otros métodos, como , deben ser usados.
, Limited-memory BFGS (L-BFGS or LM-BFGS) is … Limited-memory BFGS (L-BFGS or LM-BFGS) is an optimization algorithm in the family of quasi-Newton methods that approximates the Broyden–Fletcher–Goldfarb–Shanno algorithm (BFGS) using a limited amount of computer memory. It is a popular algorithm for parameter estimation in machine learning. The algorithm's target problem is to minimize over unconstrained values of the real-vector where is a differentiable scalar function.where is a differentiable scalar function.
|
| rdfs:label |
L-BFGS
, L-BFGS法
, Limited-memory BFGS
|
