| http://dbpedia.org/ontology/abstract
|
In machine learning and statistics, the le … In machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function. Since it influences to what extent newly acquired information overrides old information, it metaphorically represents the speed at which a machine learning model "learns". In the adaptive control literature, the learning rate is commonly referred to as gain. In setting a learning rate, there is a trade-off between the rate of convergence and overshooting. While the descent direction is usually determined from the gradient of the loss function, the learning rate determines how big a step is taken in that direction. A too high learning rate will make the learning jump over minima but a too low learning rate will either take too long to converge or get stuck in an undesirable local minimum. In order to achieve faster convergence, prevent oscillations and getting stuck in undesirable local minima the learning rate is often varied during training either in accordance to a learning rate schedule or by using an adaptive learning rate. The learning rate and its adjustments may also differ per parameter, in which case it is a diagonal matrix that can be interpreted as an approximation to the inverse of the Hessian matrix in Newton's method. The learning rate is related to the step length determined by inexact line search in quasi-Newton methods and related optimization algorithms. When conducting line searches, mini-batch sub-sampling (MBSS) affect the characteristics of the loss function along which the learning rate needs to be resolved. Static MBSS keeps the mini-batch fixed along a search direction, resulting in a smooth loss function along the search direction. Dynamic MBSS updates the mini-batch at every function evaluation, resulting in a point-wise discontinuous loss function along the search direction. Line searches that adaptively resolve learning rates for static MBSS loss functions include the parabolic approximation line (PAL) search. Line searches that adaptively resolve learning rates for dynamic MBSS loss functions include probabilistic line searches, gradient-only line searches (GOLS) and quadratic approximations.rches (GOLS) and quadratic approximations.
, У машинному навчанні те́мп навча́ння (англ … У машинному навчанні те́мп навча́ння (англ. learning rate) або коефіціє́нт шви́дкості навча́ння — це гіперпараметр алгоритму оптимізації, який задає розмір кроку на кожній ітерації пошуку мінімуму функції втрат. Оскільки він визначає те, якою мірою нова отримана інформація замінює попередню інформацію, він образно представляє швидкість, з якою модель машинного навчання «навчається». У літературі з адаптивного керування швидкість навчання зазвичай називають коефіціє́нтом підси́лення (англ. gain). При встановленні темпу навчання існує проблема компромісу між швидкістю збіжності та перестрибуванням мінімуму. В той час як зазвичай отримується з градієнта функції втрат, коефіцієнт швидкості навчання визначає, наскільки великий крок буде зроблено в цьому напрямку. Занадто високий темп навчання змусить алгоритм перестрибнути через мінімум, а навчання з занадто низьким коефіцієнтом або займе занадто багато часу, або застрягне у небажаному локальному мінімумі. Щоб досягти швидшої збіжності, запобігти гойданню і застряганню в небажаних локальних мінімумах, темп навчання часто змінюється під час навчання або відповідно до графіка темпу навчання, або за допомогою алгоритмів адаптивного темпу навчання. Коефіцієнт швидкості навчання та його підбір може відрізнятися для різних параметрів моделі, і в такому випадку отримуємо діагональну матрицю, яку можна розглядати як наближення оберненої матриці Гесе, що використовується в методі Ньютона. Темп навчання подібен до довжини кроку, отримуваної неточним лінійним пошуком у і відповідних алгоритмах оптимізації. Мініпакетна підвибірка (МППВ, англ. mini-batch sub-sampling, MBSS) під час лінійного пошуку торкається характеристик функцій втрат, за якими необхідно визначати темп навчання. Статична МППВ утримує мініпакет незмінним уздовж напрямку пошуку, що призводить до плавності функції втрат уздовж напрямку пошуку. Динамічна МППВ уточнює мініпакет на кожному обчисленні функції, що призводить до поточкової розривності функції втрат уздовж напрямку пошуку. До видів лінійного пошуку, які адаптивно встановлюють темп навчання для функцій втрат статичної МППВ, належить параболічно наближувальний лінійний (ПНЛ, англ. parabolic approximation line, PAL) пошук. До видів лінійного пошуку, які адаптивно встановлюють темп навчання для функцій втрат динамічної МППВ, належать імовірнісні види лінійного пошуку, виключно градієнтні види лінійного пошуку (англ. gradient-only line searches, GOLS) та квадратичні наближення.searches, GOLS) та квадратичні наближення.
, Współczynnik uczenia (ang. learning rate) … Współczynnik uczenia (ang. learning rate) – parametr wiążący lokalne właściwości funkcji błędu sieci neuronowej, wyznaczane na przykład z pomocą algorytmu wstecznej propagacji błędu, odwołujące się (w procesie różniczkowania) do nieskończenie małych zmian wag – z działaniem polegającym na makroskopowych (a więc nie nieskończenie małych) zmianach wag w każdym kolejnym kroku uczenia. Algorytm uczenia wskazuje, w jakim kierunku należy zmienić wagi, żeby błąd popełniany przez sieć zmalał, natomiast wybór współczynnika uczenia decyduje o tym, jak bardzo zdecydujemy się te wagi we wskazanym kierunku zmienić. Jeśli współczynnik uczenia wybierzemy zbyt mały, to proces uczenia może bardzo długo trwać, bo będziemy bardzo wolno zmierzać do finalnego (optymalnego) zestawu wartości wszystkich wag. Jeśli jednak zastosujemy zbyt duży współczynnik uczenia – to będziemy wykonywać zbyt duże kroki i na skutek niemonotonicznej charakterystyki funkcji błędu może się zdarzyć, że „przeskoczymy” właściwą drogę zmierzającą do punktu zapewniającego minimum funkcji błędu. W efekcie błąd po wykonaniu poprawki wag może być większy, a nie mniejszy niż poprzednio. W skrajnym przypadku zbyt duża wartość współczynnika uczenia może prowadzić do niestabilności procesu uczenia, gdyż wartości wag zamiast się stabilizować w trakcie uczenia – uciekają do nieskończoności.cie uczenia – uciekają do nieskończoności.
, في التعلم والإحصاء الآلي، يعد معدل التعلم … في التعلم والإحصاء الآلي، يعد معدل التعلم (بالإنجليزية: learning rate) معلمة ضبط في خوارزمية التحسين التي تحدد حجم الخطوة في كل تكرار أثناء التحرك نحو الحد الأدنى من دالة الخسارة . نظرًا لأنها تؤثر على مدى تجاوز المعلومات المكتسبة حديثًا المعلومات القديمة، فإنها تمثل مجازًا السرعة التي يتعلم بها «نموذج التعلم الآلي». غالبًا ما يشار إلى معدل التعلم بالحرف η أو α. في تحديد معدل التعلم، هناك مفاضلة بين معدل التقارب وتجاوز الحد. في حين أن الاتجاه نحو الحد الأدنى يتم تحديده عادة من خلال التدرج اللوني لوظيفة الخسارة، فإن معدل التعلم يحدد حجم الخطوة التي يتم اتخاذها في هذا الاتجاه. سيجعل معدل التعلم المرتفع جدًا قفزة التعلم أعلى من الحد الأدنى، لكن معدل التعلم المنخفض جدًا سيستغرق وقتًا طويلاً للغاية للالتقاء أو التعثر في الحد الأدنى المحلي غير المرغوب فيه. من أجل تحقيق تقارب أسرع، ومنع التذبذبات والتوقف في الحد الأدنى المحلي غير المرغوب فيه، غالبًا ما يتغير معدل التعلم أثناء التدريب إما وفقًا لجدول معدل التعلم أو باستخدام معدل تعليمي قابل للتكيف. في طريقة نيوتن، يتم تحديد معدل التعلم بشكل أساسي من الانحناء المحلي لوظيفة الخسارة، وذلك باستخدام معكوس المصفوفة الهيسية كحجم الخطوة.ستخدام معكوس المصفوفة الهيسية كحجم الخطوة.
|
| http://dbpedia.org/ontology/wikiPageExternalLink
|
https://books.google.com/books%3Fid=khpYDgAAQBAJ&pg=PA113 +
, https://www.youtube.com/watch%3Fv=0qUAb94CpOw&list=PLE6Wd9FR--EfW8dtjAuPoTuPcqmOV53Fu&index=9 +
, https://books.google.com/books%3Fid=YW4KBwAAQBAJ&pg=PA433 +
|
| http://dbpedia.org/ontology/wikiPageID
|
59969558
|
| http://dbpedia.org/ontology/wikiPageLength
|
11364
|
| http://dbpedia.org/ontology/wikiPageRevisionID
|
1121159600
|
| http://dbpedia.org/ontology/wikiPageWikiLink
|
http://dbpedia.org/resource/Floor_and_ceiling_functions +
, http://dbpedia.org/resource/Adaptive_control +
, http://dbpedia.org/resource/Machine_learning +
, http://dbpedia.org/resource/Descent_direction +
, http://dbpedia.org/resource/Model_selection +
, http://dbpedia.org/resource/Category:Machine_learning +
, http://dbpedia.org/resource/Hessian_matrix +
, http://dbpedia.org/resource/Hyperparameter_%28machine_learning%29 +
, http://dbpedia.org/resource/Variable_metric_methods +
, http://dbpedia.org/resource/Hyperparameter_optimization +
, http://dbpedia.org/resource/AutoML +
, http://dbpedia.org/resource/Adaptive_algorithm +
, http://dbpedia.org/resource/Line_search +
, http://dbpedia.org/resource/Diagonal_matrix +
, http://dbpedia.org/resource/Mathematical_optimization +
, http://dbpedia.org/resource/Stochastic_gradient_descent +
, http://dbpedia.org/resource/Statistics +
, http://dbpedia.org/resource/Keras +
, http://dbpedia.org/resource/Overfitting +
, http://dbpedia.org/resource/Quasi-Newton_method +
, http://dbpedia.org/resource/Gradient_descent +
, http://dbpedia.org/resource/Self-tuning +
, http://dbpedia.org/resource/Invertible_matrix +
, http://dbpedia.org/resource/Category:Optimization_algorithms_and_methods +
, http://dbpedia.org/resource/Backpropagation +
, http://dbpedia.org/resource/Category:Model_selection +
, http://dbpedia.org/resource/Loss_function +
, http://dbpedia.org/resource/Newton%27s_method_in_optimization +
, http://dbpedia.org/resource/YouTube +
|
| http://dbpedia.org/property/wikiPageUsesTemplate
|
http://dbpedia.org/resource/Template:Machine_learning_bar +
, http://dbpedia.org/resource/Template:Cite_web +
, http://dbpedia.org/resource/Template:Short_description +
, http://dbpedia.org/resource/Template:Div_col +
, http://dbpedia.org/resource/Template:Div_col_end +
, http://dbpedia.org/resource/Template:Reflist +
, http://dbpedia.org/resource/Template:Cite_book +
|
| http://purl.org/dc/terms/subject
|
http://dbpedia.org/resource/Category:Optimization_algorithms_and_methods +
, http://dbpedia.org/resource/Category:Model_selection +
, http://dbpedia.org/resource/Category:Machine_learning +
|
| http://www.w3.org/ns/prov#wasDerivedFrom
|
http://en.wikipedia.org/wiki/Learning_rate?oldid=1121159600&ns=0 +
|
| http://xmlns.com/foaf/0.1/isPrimaryTopicOf
|
http://en.wikipedia.org/wiki/Learning_rate +
|
| owl:sameAs |
http://pl.dbpedia.org/resource/Wsp%C3%B3%C5%82czynnik_uczenia +
, http://www.wikidata.org/entity/Q65121812 +
, http://dbpedia.org/resource/Learning_rate +
, https://global.dbpedia.org/id/9wdpu +
, http://uk.dbpedia.org/resource/%D0%A2%D0%B5%D0%BC%D0%BF_%D0%BD%D0%B0%D0%B2%D1%87%D0%B0%D0%BD%D0%BD%D1%8F +
, http://zh.dbpedia.org/resource/%E5%AD%A6%E4%B9%A0%E7%8E%87 +
, http://ar.dbpedia.org/resource/%D9%85%D8%B9%D8%AF%D9%84_%D8%A7%D9%84%D8%AA%D8%B9%D9%84%D9%85 +
|
| rdfs:comment |
Współczynnik uczenia (ang. learning rate) … Współczynnik uczenia (ang. learning rate) – parametr wiążący lokalne właściwości funkcji błędu sieci neuronowej, wyznaczane na przykład z pomocą algorytmu wstecznej propagacji błędu, odwołujące się (w procesie różniczkowania) do nieskończenie małych zmian wag – z działaniem polegającym na makroskopowych (a więc nie nieskończenie małych) zmianach wag w każdym kolejnym kroku uczenia. W skrajnym przypadku zbyt duża wartość współczynnika uczenia może prowadzić do niestabilności procesu uczenia, gdyż wartości wag zamiast się stabilizować w trakcie uczenia – uciekają do nieskończoności.cie uczenia – uciekają do nieskończoności.
, In machine learning and statistics, the le … In machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function. Since it influences to what extent newly acquired information overrides old information, it metaphorically represents the speed at which a machine learning model "learns". In the adaptive control literature, the learning rate is commonly referred to as gain.ning rate is commonly referred to as gain.
, في التعلم والإحصاء الآلي، يعد معدل التعلم … في التعلم والإحصاء الآلي، يعد معدل التعلم (بالإنجليزية: learning rate) معلمة ضبط في خوارزمية التحسين التي تحدد حجم الخطوة في كل تكرار أثناء التحرك نحو الحد الأدنى من دالة الخسارة . نظرًا لأنها تؤثر على مدى تجاوز المعلومات المكتسبة حديثًا المعلومات القديمة، فإنها تمثل مجازًا السرعة التي يتعلم بها «نموذج التعلم الآلي». غالبًا ما يشار إلى معدل التعلم بالحرف η أو α.بًا ما يشار إلى معدل التعلم بالحرف η أو α.
, У машинному навчанні те́мп навча́ння (англ … У машинному навчанні те́мп навча́ння (англ. learning rate) або коефіціє́нт шви́дкості навча́ння — це гіперпараметр алгоритму оптимізації, який задає розмір кроку на кожній ітерації пошуку мінімуму функції втрат. Оскільки він визначає те, якою мірою нова отримана інформація замінює попередню інформацію, він образно представляє швидкість, з якою модель машинного навчання «навчається». У літературі з адаптивного керування швидкість навчання зазвичай називають коефіціє́нтом підси́лення (англ. gain).ть коефіціє́нтом підси́лення (англ. gain).
|
| rdfs:label |
Темп навчання
, معدل التعلم
, 学习率
, Współczynnik uczenia
, Learning rate
|
