| http://dbpedia.org/ontology/abstract
|
Batch normalization (also known as batch n … Batch normalization (also known as batch norm) is a method used to make training of artificial neural networks faster and more stable through normalization of the layers' inputs by re-centering and re-scaling. It was proposed by Sergey Ioffe and Christian Szegedy in 2015. While the effect of batch normalization is evident, the reasons behind its effectiveness remain under discussion. It was believed that it can mitigate the problem of internal covariate shift, where parameter initialization and changes in the distribution of the inputs of each layer affect the learning rate of the network. Recently, some scholars have argued that batch normalization does not reduce internal covariate shift, but rather smooths the objective function, which in turn improves the performance. However, at initialization, batch normalization in fact induces severe gradient explosion in deep networks, which is only alleviated by skip connections in residual networks. Others maintain that batch normalization achieves length-direction decoupling, and thereby accelerates neural networks. More recently a normalize gradient clipping technique and smart hyperparameter tuning has been introduced in Normalizer-Free Nets, so called "NF-Nets" which mitigates the need for batch normalization.itigates the need for batch normalization.
, 배치 정규화(batch normalization, BN)는 층으로 들어가는 … 배치 정규화(batch normalization, BN)는 층으로 들어가는 입력값이 한쪽으로 쏠리거나 너무 퍼지거나 너무 좁아지지 않게 해주는 인공신경망 기법이다. 여러 입력값을 모은 배치에 대해, 각 층의 입력값의 평균과 표준편차를 다시 맞추어 주어, 입력값이 쏠리는 것을 막는다. 세르게이 로페(Sergey Ioffe)와 크리스천 세게디(Christian Szegedy)가 2015년 처음 제안했다. 배치 정규화의 효과가 명백하긴 하지만 그 효과가 나타나는 이유에 대해서는 논의가 오가고 있다. 배치 정규화는 매개 변수를 초기화하고 각 계층의 입력 분포를 변화시켰을 때 신경망의 학습 속도에 영향이 가는 '내부 공변량 변화' 문제를 완화할 수 있다고 믿어져 왔다. 최근에는 일부 연구자들이 배치 정규화는 내부 공변량 변화를 줄이지 못하지만 목적 함수를 매끈하게 만들어 수행 능력을 개선한다고 주장한다. 그러나 초기에 배치 정규화는 심층 신경망에서 심각한 기울기 소멸 문제를 유도하며, 이 문제는 남은 신경망에서 연결을 건너뛰어야만 완화된다. 문제를 유도하며, 이 문제는 남은 신경망에서 연결을 건너뛰어야만 완화된다.
|
| http://dbpedia.org/ontology/wikiPageID
|
57222123
|
| http://dbpedia.org/ontology/wikiPageLength
|
30221
|
| http://dbpedia.org/ontology/wikiPageRevisionID
|
1113831713
|
| http://dbpedia.org/ontology/wikiPageWikiLink
|
http://dbpedia.org/resource/Differentiable_function +
, http://dbpedia.org/resource/Loss_function +
, http://dbpedia.org/resource/Critical_point_%28network_science%29 +
, http://dbpedia.org/resource/Bisection_algorithm +
, http://dbpedia.org/resource/Learning_rate +
, http://dbpedia.org/resource/Hyperbolic_function +
, http://dbpedia.org/resource/Perceptron +
, http://dbpedia.org/resource/Hessian_matrix +
, http://dbpedia.org/resource/Variance +
, http://dbpedia.org/resource/Lipschitz_continuity +
, http://dbpedia.org/resource/Multivariate_normal_distribution +
, http://dbpedia.org/resource/Gradient_descent +
, http://dbpedia.org/resource/Smoothness +
, http://dbpedia.org/resource/Gradient +
, http://dbpedia.org/resource/Overfitting +
, http://dbpedia.org/resource/Stochastic_optimization +
, http://dbpedia.org/resource/Eigenvalues_and_eigenvectors +
, http://dbpedia.org/resource/Rayleigh_quotient +
, http://dbpedia.org/resource/Multilayer_perceptron +
, http://dbpedia.org/resource/Convex_function +
, http://dbpedia.org/resource/Mean +
, http://dbpedia.org/resource/Dropout_%28neural_networks%29 +
, http://dbpedia.org/resource/Category:Artificial_intelligence +
, http://dbpedia.org/resource/Artificial_neural_network +
, http://dbpedia.org/resource/Chain_rule +
, http://dbpedia.org/resource/Linear_map +
, http://dbpedia.org/resource/Vanishing_gradient_problem +
, http://dbpedia.org/resource/Positive_definiteness +
, http://dbpedia.org/resource/Intelligent_agent +
, http://dbpedia.org/resource/Positive_semidefinite_matrix +
, http://dbpedia.org/resource/Activation_function +
|
| http://dbpedia.org/property/wikiPageUsesTemplate
|
http://dbpedia.org/resource/Template:Use_dmy_dates +
, http://dbpedia.org/resource/Template:Differentiable_computing +
, http://dbpedia.org/resource/Template:Use_American_English +
, http://dbpedia.org/resource/Template:Machine_learning +
, http://dbpedia.org/resource/Template:Short_description +
, http://dbpedia.org/resource/Template:Cite_arXiv +
, http://dbpedia.org/resource/Template:Reflist +
, http://dbpedia.org/resource/Template:Citation_needed +
, http://dbpedia.org/resource/Template:Technical +
|
| http://purl.org/dc/terms/subject
|
http://dbpedia.org/resource/Category:Artificial_intelligence +
|
| http://www.w3.org/ns/prov#wasDerivedFrom
|
http://en.wikipedia.org/wiki/Batch_normalization?oldid=1113831713&ns=0 +
|
| http://xmlns.com/foaf/0.1/isPrimaryTopicOf
|
http://en.wikipedia.org/wiki/Batch_normalization +
|
| owl:sameAs |
http://ko.dbpedia.org/resource/%EB%B0%B0%EC%B9%98_%EC%A0%95%EA%B7%9C%ED%99%94 +
, https://global.dbpedia.org/id/5vmRj +
, http://dbpedia.org/resource/Batch_normalization +
, http://www.wikidata.org/entity/Q55080248 +
|
| rdfs:comment |
배치 정규화(batch normalization, BN)는 층으로 들어가는 … 배치 정규화(batch normalization, BN)는 층으로 들어가는 입력값이 한쪽으로 쏠리거나 너무 퍼지거나 너무 좁아지지 않게 해주는 인공신경망 기법이다. 여러 입력값을 모은 배치에 대해, 각 층의 입력값의 평균과 표준편차를 다시 맞추어 주어, 입력값이 쏠리는 것을 막는다. 세르게이 로페(Sergey Ioffe)와 크리스천 세게디(Christian Szegedy)가 2015년 처음 제안했다. 배치 정규화의 효과가 명백하긴 하지만 그 효과가 나타나는 이유에 대해서는 논의가 오가고 있다. 배치 정규화는 매개 변수를 초기화하고 각 계층의 입력 분포를 변화시켰을 때 신경망의 학습 속도에 영향이 가는 '내부 공변량 변화' 문제를 완화할 수 있다고 믿어져 왔다. 최근에는 일부 연구자들이 배치 정규화는 내부 공변량 변화를 줄이지 못하지만 목적 함수를 매끈하게 만들어 수행 능력을 개선한다고 주장한다. 그러나 초기에 배치 정규화는 심층 신경망에서 심각한 기울기 소멸 문제를 유도하며, 이 문제는 남은 신경망에서 연결을 건너뛰어야만 완화된다. 문제를 유도하며, 이 문제는 남은 신경망에서 연결을 건너뛰어야만 완화된다.
, Batch normalization (also known as batch n … Batch normalization (also known as batch norm) is a method used to make training of artificial neural networks faster and more stable through normalization of the layers' inputs by re-centering and re-scaling. It was proposed by Sergey Ioffe and Christian Szegedy in 2015.ergey Ioffe and Christian Szegedy in 2015.
|
| rdfs:label |
Batch normalization
, 배치 정규화
|
