| http://dbpedia.org/ontology/abstract
|
A residual neural network (ResNet) is an a … A residual neural network (ResNet) is an artificial neural network (ANN). It is a gateless or open-gated variant of the HighwayNet, the first working very deep feedforward neural network with hundreds of layers, much deeper than previous neural networks. Skip connections or shortcuts are used to jump over some layers (HighwayNets may also learn the skip weights themselves through an additional weight matrix for their gates).Typical ResNet models are implemented with double- or triple- layer skips that contain nonlinearities (ReLU) and batch normalization in between. Models with several parallel skips are referred to as DenseNets. In the context of residual neural networks, a non-residual network may be described as a plain network. Like in the case of Long Short-Term Memory recurrent neural networksthere are two main reasons to add skip connections: to avoid the problem of vanishing gradients, thus leading to easier to optimize neural networks, wherethe gating mechanisms facilitate information flow across many layers ("information highways"), or to mitigate the Degradation (accuracy saturation) problem; where adding more layers to a suitably deep model leads to higher training error. During training, the weights adapt to mute the upstream layer, and amplify the previously-skipped layer. In the simplest case, only the weights for the adjacent layer's connection are adapted, with no explicit weights for the upstream layer. This works best when a single nonlinear layer is stepped over, or when the intermediate layers are all linear. If not, then an explicit weight matrix should be learned for the skipped connection (a HighwayNet should be used). Skipping effectively simplifies the network, using fewer layers in the initial training stages. This speeds learning by reducing the impact of vanishing gradients, as there are fewer layers to propagate through. The network then gradually restores the skipped layers as it learns the feature space. Towards the end of training, when all layers are expanded, it stays closer to the manifold and thus learns faster. A neural network without residual parts explores more of the feature space. This makes it more vulnerable to perturbations that cause it to leave the manifold, and necessitates extra training data to recover. A residual neural network was used to win the ImageNet 2015 competition, and has become the most cited neural network of the 21st century. cited neural network of the 21st century.
, За́лишкова нейро́нна мере́жа (англ. residu … За́лишкова нейро́нна мере́жа (англ. residual neural network, ResNet) — це штучна нейронна мережа (ШНМ), яка будується на структурах, відомих за кори головного мозку. Залишкові нейронні мережі роблять це, використовуючи про́пускові з'є́днання (англ. skip connections) або зрізання (англ. shortcuts) для перескакування через деякі шари. Типові моделі ResNet втілюють із подвійними або потрійними пропусканнями шарів, з нелінійностями (ReLU) чи посередині. Для навчання пропускових ваг можуть використовувати додаткову матрицю ваг; ці моделі відомі як HighwayNet. Моделі з кількома паралельними пропусками називають DenseNet. У контексті залишкових нейронних мереж незалишкову мережу можуть описувати як просту мережу (англ. plain network). Існує дві основні причини для додавання пропускових з'єднань: задля уникання проблеми зникання градієнтів, та задля пом'якшення проблеми виродження (англ. degradation problem, насичення точності, англ. accuracy saturation), за якої додавання додаткових шарів до належно глибокої моделі призводить до більшої тренувальної похибки. Під час тренування ваги пристосовуються приглушувати вищий за течією шар[прояснити: ком.] та підсилювати попередньо пропущений шар. У найпростішому випадку пристосовуються лише ваги для з'єднання сусіднього шару, без жодних явних ваг для вищого шару. Це працює найкраще, коли пропускають один нелінійний шар, або коли всі проміжні шари є лінійними. Якщо ні, то слід навчатися явної матриці ваг для пропускового з'єднання (слід використовувати HighwayNet). Пропускання дієво спрощує мережу, використовуючи меншу кількість шарів на початкових етапах тренування[прояснити: ком.]. Це прискорює навчання, зменшуючи вплив зникання градієнтів, оскільки існує менше шарів для поширення. Потім мережа поступово відновлює пропущені шари під час навчання простору ознак. Під кінець навчання, коли всі шари розгортаються, вона залишається ближчою до магістралі[прояснити: ком.], й відтак навчається швидше. Нейронна мережа без залишкових частин досліджує більше простору ознак. Це робить її вразливішою до збурень, які змушують її зіскакувати з магістралі, й вимагає додаткових тренувальних даних для надолужування.ових тренувальних даних для надолужування.
, 잔차 신경망(殘差 神經網, Residual neural network), 즉 레즈넷(ResNet)은 스킵 연결(skip connection)을 통해 잔차를 학습하도록 만들어진 인공신경망이다. 일반적인 딥러닝 신경망 모델보다 예측 정확도가 높다.
|
| http://dbpedia.org/ontology/thumbnail
|
http://commons.wikimedia.org/wiki/Special:FilePath/ResNets.svg?width=300 +
|
| http://dbpedia.org/ontology/wikiPageID
|
55867424
|
| http://dbpedia.org/ontology/wikiPageLength
|
9827
|
| http://dbpedia.org/ontology/wikiPageRevisionID
|
1124320760
|
| http://dbpedia.org/ontology/wikiPageWikiLink
|
http://dbpedia.org/resource/Category:Artificial_neural_networks +
, http://dbpedia.org/resource/Sparse_network +
, http://dbpedia.org/resource/Category:Computational_statistics +
, http://dbpedia.org/resource/Batch_normalization +
, http://dbpedia.org/resource/Feedforward_neural_network +
, http://dbpedia.org/resource/Activation_function +
, http://dbpedia.org/resource/Recurrent_neural_networks +
, http://dbpedia.org/resource/Vanishing_gradient_problem +
, http://dbpedia.org/resource/Backpropagation +
, http://dbpedia.org/resource/Highway_network +
, http://dbpedia.org/resource/Long_short-term_memory +
, http://dbpedia.org/resource/Artificial_neural_network +
, http://dbpedia.org/resource/ImageNet +
, http://dbpedia.org/resource/File:ResNets.svg +
, http://dbpedia.org/resource/Feature_%28machine_learning%29 +
, http://dbpedia.org/resource/Learning_rate +
, http://dbpedia.org/resource/Activation_%28neural_network%29 +
, http://dbpedia.org/resource/Category:Computational_neuroscience +
, http://dbpedia.org/resource/Rectifier_%28neural_networks%29 +
|
| http://dbpedia.org/property/date
|
January 2020
, March 2019
, August 2019
|
| http://dbpedia.org/property/reason
|
What the heck is an upstream layer?
, why are fewer layers used?
, Not clear what a "manifold" is in this context. Should be linked to appropriate page.
|
| http://dbpedia.org/property/wikiPageUsesTemplate
|
http://dbpedia.org/resource/Template:Clarify +
|
| http://purl.org/dc/terms/subject
|
http://dbpedia.org/resource/Category:Computational_neuroscience +
, http://dbpedia.org/resource/Category:Computational_statistics +
, http://dbpedia.org/resource/Category:Artificial_neural_networks +
|
| http://www.w3.org/ns/prov#wasDerivedFrom
|
http://en.wikipedia.org/wiki/Residual_neural_network?oldid=1124320760&ns=0 +
|
| http://xmlns.com/foaf/0.1/depiction
|
http://commons.wikimedia.org/wiki/Special:FilePath/ResNets.svg +
|
| http://xmlns.com/foaf/0.1/isPrimaryTopicOf
|
http://en.wikipedia.org/wiki/Residual_neural_network +
|
| owl:sameAs |
http://uk.dbpedia.org/resource/%D0%97%D0%B0%D0%BB%D0%B8%D1%88%D0%BA%D0%BE%D0%B2%D0%B0_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0_%D0%BC%D0%B5%D1%80%D0%B5%D0%B6%D0%B0 +
, http://www.wikidata.org/entity/Q43744058 +
, http://dbpedia.org/resource/Residual_neural_network +
, http://ko.dbpedia.org/resource/%EC%9E%94%EC%B0%A8_%EC%8B%A0%EA%B2%BD%EB%A7%9D +
, https://global.dbpedia.org/id/43HAQ +
|
| rdfs:comment |
잔차 신경망(殘差 神經網, Residual neural network), 즉 레즈넷(ResNet)은 스킵 연결(skip connection)을 통해 잔차를 학습하도록 만들어진 인공신경망이다. 일반적인 딥러닝 신경망 모델보다 예측 정확도가 높다.
, За́лишкова нейро́нна мере́жа (англ. residu … За́лишкова нейро́нна мере́жа (англ. residual neural network, ResNet) — це штучна нейронна мережа (ШНМ), яка будується на структурах, відомих за кори головного мозку. Залишкові нейронні мережі роблять це, використовуючи про́пускові з'є́днання (англ. skip connections) або зрізання (англ. shortcuts) для перескакування через деякі шари. Типові моделі ResNet втілюють із подвійними або потрійними пропусканнями шарів, з нелінійностями (ReLU) чи посередині. Для навчання пропускових ваг можуть використовувати додаткову матрицю ваг; ці моделі відомі як HighwayNet. Моделі з кількома паралельними пропусками називають DenseNet. У контексті залишкових нейронних мереж незалишкову мережу можуть описувати як просту мережу (англ. plain network).ти як просту мережу (англ. plain network).
, A residual neural network (ResNet) is an a … A residual neural network (ResNet) is an artificial neural network (ANN). It is a gateless or open-gated variant of the HighwayNet, the first working very deep feedforward neural network with hundreds of layers, much deeper than previous neural networks. Skip connections or shortcuts are used to jump over some layers (HighwayNets may also learn the skip weights themselves through an additional weight matrix for their gates).Typical ResNet models are implemented with double- or triple- layer skips that contain nonlinearities (ReLU) and batch normalization in between. Models with several parallel skips are referred to as DenseNets. In the context of residual neural networks, a non-residual network may be described as a plain network.twork may be described as a plain network.
|
| rdfs:label |
Залишкова нейронна мережа
, Residual neural network
, 잔차 신경망
|
