# 3️⃣ Activation Function

<figure><img src="/files/Z5ZX3cOucJoQsxd3owl4" alt=""><figcaption></figcaption></figure>

### 1. Activation Function là gì? (góc nhìn ứng dụng)

**Activation Function** là:

* Một **hàm toán học**
* Được áp dụng **sau tổng có trọng số**
* Quyết định **mức độ “phản ứng” của neuron**

Công thức quen thuộc:

z=∑wixi+b→y=f(z)z = \sum w\_i x\_i + b \quad \rightarrow \quad y = f(z)z=∑wi​xi​+b→y=f(z)

👉 Không có activation → neuron **chỉ là máy cộng tuyến tính**.

***

### 2. Nếu KHÔNG có activation thì chuyện gì xảy ra?

Giả sử:

* Có nhiều layer
* Nhưng **không có activation**

Khi đó:

* Nhiều phép tuyến tính chồng lên nhau\
  → **vẫn là một phép tuyến tính**

➡️ Kết quả:

* Mạng sâu đến mấy\
  → **cũng không học được quan hệ phức tạp**

> ❗ Đây là lý do **activation là bắt buộc**, không phải tùy chọn.

***

### 3. Vai trò cốt lõi của Activation Function

Activation giúp:

1. **Tạo phi tuyến (non-linearity)**
2. Cho phép mô hình:
   * Uốn cong biên quyết định
   * Học pattern phức tạp
3. Phân biệt:
   * Tín hiệu mạnh
   * Tín hiệu yếu
   * Tín hiệu không quan trọng

👉 **Deep Learning mạnh vì phi tuyến**, không phải vì nhiều layer.

***

### 4. Trực giác “kích hoạt” (rất dễ nhớ)

Bạn có thể hiểu activation như:

* Một **công tắc mềm**
* Một **bộ lọc cường độ**

Ví dụ:

* Tín hiệu quá yếu → bỏ qua
* Tín hiệu đủ mạnh → cho đi tiếp
* Tín hiệu rất mạnh → khuếch đại

👉 Nhờ đó, mỗi neuron **chỉ phản ứng với một số pattern nhất định**.

***

### 5. Các activation function phổ biến (mức ứng dụng)

#### 🔹 Sigmoid

* Đầu ra trong (0, 1)
* Hay dùng để:
  * Xác suất
  * Binary classification (output layer)

Hạn chế:

* Dễ bị **vanishing gradient**
* Không phù hợp cho hidden layer sâu

***

#### 🔹 Tanh

* Đầu ra trong (-1, 1)
* Cân bằng hơn sigmoid
* Ít dùng trong mạng rất sâu

***

#### 🔹 ReLU (Rectified Linear Unit)

* f(x)=max⁡(0,x)f(x) = \max(0, x)f(x)=max(0,x)
* Đơn giản
* Tính toán nhanh
* Phổ biến nhất hiện nay cho hidden layer

👉 ReLU là **mặc định** trong rất nhiều mô hình ứng dụng.

***

### 6. Activation ảnh hưởng trực tiếp đến khả năng học

Chọn activation:

* Ảnh hưởng:
  * Tốc độ học
  * Độ ổn định
  * Khả năng học sâu

Ví dụ thực tế:

* Hidden layer:
  * ReLU / biến thể
* Output layer:
  * Sigmoid → binary
  * Softmax → multi-class
  * Linear → regression

👉 **Activation không chọn ngẫu nhiên**.

***

### 7. Tóm tắt đúng tinh thần Group 4

> **Activation Function là thứ biến Neural Network từ “máy cộng” thành “máy học”**

Câu nhớ nhanh:

```
Không activation → không Deep Learning.
Activation = phi tuyến = sức mạnh.
```


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://deeplearningcoban.gitbook.io/deeplearningcoban.com/deep-learning-theo-huong-ung-dung/activation-function.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.