| http://dbpedia.org/ontology/abstract
|
The swish function is a mathematical funct … The swish function is a mathematical function defined as follows: where β is either constant or a trainable parameter depending on the model. For β = 1, the function becomes equivalent to the Sigmoid Linear Unit or SiLU, first proposed alongside the GELU in 2016. The SiLU was later rediscovered in 2017 as the Sigmoid-weighted Linear Unit (SiL) function used in reinforcement learning. The SiLU/SiL was then rediscovered as the swish over a year after its initial discovery, originally proposed without the learnable parameter β, so that β implicitly equalled 1. The swish paper was then updated to propose the activation with the learnable parameter β, though researchers usually let β = 1 and do not use the learnable parameter β. For β = 0, the function turns into the scaled linear function f(x) = x/2. With β → ∞, the sigmoid component approaches a 0-1 function, so swish approaches the ReLU function. Thus, it can be viewed as a smoothing function which nonlinearly interpolates between a linear function and the ReLU function. This function uses non-monotonicity, and may have influenced the proposal of other activation functions with this property such as Mish. When considering positive values, Swish is a particular case of sigmoid shrinkage function defined in (see the doubly parameterized sigmoid shrinkage form given by Equation (3) of this reference). given by Equation (3) of this reference).
, La función swish es una función matemática … La función swish es una función matemática definida por la siguiente fórmula: Donde β puede ser constante o un parámetro entrenable según el modelo. En el caso en que β=1, la función es equivalente a la función con ponderación sigmoide que se usa en aprendizaje de refuerzo (Sigmoid-weighted Linear Unit, SiL), mientras que para β=0, swish se convierte en la función lineal f(x)=x/2. Con β→∞, el componente sigmoideo se acerca a una función escalón unitario, por lo que swish tiende a la función ReLU. Así, puede ser vista como una interpolación no lineal entre una función lineal y la ReLU.lineal entre una función lineal y la ReLU.
, Swish функція це математична функція, що описується виразом: де β є константою або параметром, який залежить від типу моделі. Похідна функції.
|
| http://dbpedia.org/ontology/wikiPageID
|
63822450
|
| http://dbpedia.org/ontology/wikiPageLength
|
4395
|
| http://dbpedia.org/ontology/wikiPageRevisionID
|
1124205518
|
| http://dbpedia.org/ontology/wikiPageWikiLink
|
http://dbpedia.org/resource/Category:Artificial_neural_networks +
, http://dbpedia.org/resource/Artificial_neural_network +
, http://dbpedia.org/resource/Trainable_parameter +
, http://dbpedia.org/resource/Reinforcement_learning +
, http://dbpedia.org/resource/Sigmoid_function +
, http://dbpedia.org/resource/Google +
, http://dbpedia.org/resource/Vanishing_gradient_problem +
, http://dbpedia.org/resource/Activation_function +
, http://dbpedia.org/resource/ReLU +
, http://dbpedia.org/resource/Function_%28mathematics%29 +
, http://dbpedia.org/resource/Category:Functions_and_mappings +
, http://dbpedia.org/resource/Backpropagation +
, http://dbpedia.org/resource/ImageNet +
, http://dbpedia.org/resource/Interpolate +
, http://dbpedia.org/resource/Mish_%28function%29 +
, http://dbpedia.org/resource/Rectifier_%28neural_networks%29 +
|
| http://dbpedia.org/property/cs1Dates
|
y
|
| http://dbpedia.org/property/date
|
June 2020
|
| http://dbpedia.org/property/wikiPageUsesTemplate
|
http://dbpedia.org/resource/Template:Reflist +
, http://dbpedia.org/resource/Template:Short_description +
, http://dbpedia.org/resource/Template:Use_dmy_dates +
|
| http://purl.org/dc/terms/subject
|
http://dbpedia.org/resource/Category:Functions_and_mappings +
, http://dbpedia.org/resource/Category:Artificial_neural_networks +
|
| http://www.w3.org/ns/prov#wasDerivedFrom
|
http://en.wikipedia.org/wiki/Swish_function?oldid=1124205518&ns=0 +
|
| http://xmlns.com/foaf/0.1/isPrimaryTopicOf
|
http://en.wikipedia.org/wiki/Swish_function +
|
| owl:sameAs |
https://global.dbpedia.org/id/CjAXA +
, http://uk.dbpedia.org/resource/Swish_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D1%96%D1%8F +
, http://dbpedia.org/resource/Swish_function +
, http://es.dbpedia.org/resource/Funci%C3%B3n_Swish +
, http://www.wikidata.org/entity/Q97358426 +
|
| rdfs:comment |
La función swish es una función matemática … La función swish es una función matemática definida por la siguiente fórmula: Donde β puede ser constante o un parámetro entrenable según el modelo. En el caso en que β=1, la función es equivalente a la función con ponderación sigmoide que se usa en aprendizaje de refuerzo (Sigmoid-weighted Linear Unit, SiL), mientras que para β=0, swish se convierte en la función lineal f(x)=x/2. Con β→∞, el componente sigmoideo se acerca a una función escalón unitario, por lo que swish tiende a la función ReLU. Así, puede ser vista como una interpolación no lineal entre una función lineal y la ReLU.lineal entre una función lineal y la ReLU.
, Swish функція це математична функція, що описується виразом: де β є константою або параметром, який залежить від типу моделі. Похідна функції.
, The swish function is a mathematical funct … The swish function is a mathematical function defined as follows: where β is either constant or a trainable parameter depending on the model. For β = 1, the function becomes equivalent to the Sigmoid Linear Unit or SiLU, first proposed alongside the GELU in 2016. The SiLU was later rediscovered in 2017 as the Sigmoid-weighted Linear Unit (SiL) function used in reinforcement learning. The SiLU/SiL was then rediscovered as the swish over a year after its initial discovery, originally proposed without the learnable parameter β, so that β implicitly equalled 1. The swish paper was then updated to propose the activation with the learnable parameter β, though researchers usually let β = 1 and do not use the learnable parameter β. For β = 0, the function turns into the scaled linear function f(x)turns into the scaled linear function f(x)
|
| rdfs:label |
Swish function
, Función Swish
, Swish функція
|
