Mạng nơ-ron — Cách mạng nơ-ron nhân tạo hoạt động

Mạng nơ-ron là một mô hình toán học biến đầu vào thành đầu ra bằng cách đưa các con số đi qua nhiều lớp phép toán đơn giản. Mỗi lớp lấy các giá trị trước đó, tạo các tổng có trọng số, cộng thêm bias, áp dụng một hàm kích hoạt phi tuyến, rồi chuyển kết quả sang phía trước.

Mô tả đó nghe có vẻ trừu tượng, nhưng ý tưởng cốt lõi lại khá nhỏ gọn: một mạng học nhiều trọng số có thể điều chỉnh để các mẫu hữu ích trong đầu vào dẫn đến các dự đoán hữu ích ở đầu ra.

Mạng Nơ-ron Là Gì

Với một nơ-ron có các đầu vào $x_1, x_2, \dots, x_n$, phép tính cơ bản là

$$z = w_1x_1 + w_2x_2 + \dots + w_nx_n + b$$

sau đó là một hàm kích hoạt:

$$a = g(z)$$

Ở đây $w_1, \dots, w_n$ là các trọng số, $b$ là bias, và $g$ là một hàm kích hoạt như ReLU, sigmoid hoặc tanh.

Một mạng nơ-ron truyền thẳng hoàn chỉnh lặp lại mẫu đó qua nhiều lớp. Ở dạng gọn, một lớp thường được viết là

$$a^{(l)} = g\!\left(W^{(l)} a^{(l-1)} + b^{(l)}\right)$$

trong đó $a^{(l-1)}$ là đầu ra của lớp trước.

Trực Giác Giúp Bạn Thường Hiểu Ra Vấn Đề

Mỗi nơ-ron đang đặt ra một câu hỏi có trọng số về phần đầu vào mà nó nhìn thấy. Trọng số dương lớn khiến một số đặc trưng trở nên quan trọng hơn. Trọng số âm có thể chống lại một mẫu nào đó. Bias dịch chuyển ngưỡng. Sau đó, hàm kích hoạt quyết định nơ-ron đó nên phản hồi mạnh đến mức nào.

Việc xếp chồng nhiều lớp cho phép mạng xây dựng đặc trưng theo từng giai đoạn. Các lớp đầu phát hiện những mẫu đơn giản. Các lớp sau kết hợp chúng thành những tín hiệu nội bộ hữu ích hơn cho nhiệm vụ cuối cùng.

Đó là lý do mạng nơ-ron không chỉ là “nhiều công thức cùng lúc”. Chúng là sự hợp thành của các hàm đơn giản, và chính sự hợp thành đó tạo ra tính linh hoạt.

Một Ví Dụ Cụ Thể

Xét một mạng rất nhỏ với hai đầu vào, một lớp ẩn và một đầu ra. Giả sử đầu vào là

$$x = \begin{bmatrix} 2 \\ 1 \end{bmatrix}$$

Giả sử lớp ẩn có hai nơ-ron và dùng ReLU, trong đó

$$\operatorname{ReLU}(z) = \max(0, z)$$

Lấy các phép tính ở lớp ẩn như sau:

$$z_1 = 1 \cdot 2 + (-1) \cdot 1 + 0 = 1$$ $$h_1 = \operatorname{ReLU}(z_1) = 1$$ $$z_2 = 0.5 \cdot 2 + 0.5 \cdot 1 - 1 = 0.5$$ $$h_2 = \operatorname{ReLU}(z_2) = 0.5$$

Bây giờ đưa các giá trị ẩn đó tới nơ-ron đầu ra:

$$s = 2h_1 - h_2 = 2(1) - 0.5 = 1.5$$

Nếu quy tắc là “dự đoán lớp 1 khi $s > 0$”, thì đầu vào này được phân loại là lớp 1.

Điểm quan trọng không nằm ở các con số cụ thể. Nó nằm ở cấu trúc:

1. lấy đầu vào
2. tạo các tổng có trọng số
3. áp dụng các hàm kích hoạt phi tuyến
4. lặp lại
5. đọc điểm số cuối cùng

Đó là một mạng nơ-ron đang thực hiện lan truyền xuôi.

Mạng Nơ-ron Học Như Thế Nào

Sử dụng một mạng là một vấn đề. Huấn luyện nó là một vấn đề khác.

Trong học có giám sát tiêu chuẩn, mạng trước tiên tạo ra một dự đoán. Sau đó, một hàm mất mát đo xem dự đoán đó cách mục tiêu bao xa. Việc huấn luyện dựa trên gradient tính xem hàm mất mát thay đổi như thế nào theo từng trọng số và bias, rồi cập nhật chúng để giảm mất mát.

Trong thực tế hiện đại, điều này thường có nghĩa là backpropagation kết hợp với gradient descent hoặc một bộ tối ưu liên quan. Cách thiết lập này dựa vào một mô hình và hàm mất mát khả vi, hoặc ít nhất là khả vi từng phần đủ để các phương pháp gradient hoạt động.

Phiên bản ngắn gọn là:

$$\text{prediction} \to \text{loss} \to \text{gradients} \to \text{parameter update}$$

Qua nhiều ví dụ, các trọng số dịch chuyển theo hướng những mẫu có ích cho nhiệm vụ.

Những Lỗi Thường Gặp

Nghĩ Rằng Nhiều Lớp Hơn Tự Động Cho Kết Quả Tốt Hơn

Không phải vậy. Nhiều lớp hơn làm tăng năng lực biểu diễn, nhưng cũng khiến việc tối ưu, yêu cầu dữ liệu và kiểm soát overfitting trở nên khó hơn.

Quên Mất Vì Sao Tính Phi Tuyến Quan Trọng

Nếu mọi lớp đều chỉ tuyến tính, toàn bộ mạng vẫn chỉ là một ánh xạ tuyến tính duy nhất. Chính các hàm kích hoạt mới cho phép mạng sâu biểu diễn những quan hệ phức tạp hơn.

Coi Đầu Ra Là Sự Chắc Chắn Được Đảm Bảo

Đầu ra của mạng chỉ hữu ích đến mức mà mô hình, dữ liệu và cách huấn luyện phía sau nó cho phép. Một điểm số cao không đồng nghĩa với một bằng chứng.

Bỏ Qua Cách Biểu Diễn Đầu Vào

Mạng không học từ ý nghĩa thô. Chúng học từ biểu diễn số mà chúng nhận được. Nếu đầu vào kém, không nhất quán hoặc thiếu cấu trúc quan trọng, hiệu năng của mạng thường sẽ bị ảnh hưởng.

Khi Nào Mạng Nơ-ron Được Sử Dụng

Mạng nơ-ron được dùng khi mối quan hệ giữa đầu vào và đầu ra đủ phức tạp đến mức các quy tắc viết tay trở nên mong manh hoặc không đầy đủ. Những bối cảnh phổ biến gồm nhận dạng hình ảnh, tiếng nói, mô hình ngôn ngữ, hệ gợi ý và một số bài toán dự báo.

Chúng không tự động là lựa chọn tốt nhất cho mọi bài toán. Với các tập dữ liệu nhỏ và có cấu trúc, những mô hình đơn giản hơn có thể dễ huấn luyện hơn, dễ diễn giải hơn và đôi khi hiệu quả tương đương.

Một Mô Hình Tư Duy Hữu Ích

Hãy nghĩ về mạng nơ-ron như một hàm nhiều lớp với rất nhiều núm điều chỉnh. Lan truyền xuôi biến một đầu vào thành một đầu ra. Huấn luyện thay đổi các núm đó để những đầu ra trong tương lai trở nên hữu ích hơn cho nhiệm vụ.

Đó là cách gọn gàng nhất để giữ cả hai ý tưởng cùng lúc: mạng nơ-ron tính toán bằng sự hợp thành, và chúng học bằng cách điều chỉnh tham số để giảm sai số.

Hãy Tự Thử Một Phiên Bản Của Bạn

Giữ nguyên mạng nhỏ đó, nhưng đổi đầu vào từ $(2, 1)$ thành $(0, 3)$. Tính lại $z_1$, $z_2$, $h_1$, $h_2$ và điểm cuối cùng $s$. Sau đó thay đổi một trọng số và xem phần nào của đầu ra thay đổi. Bài tập nhỏ đó khiến ý tưởng lan truyền xuôi trở nên cụ thể hơn nhiều so với chỉ ghi nhớ định nghĩa.