Viết bởi Đội ngũ Khoa học Qubic
Học viện Trí tuệ Neuraxon — Tập 4
Từ 'mạng' xuất hiện liên tục trong cả khoa học thần kinh và trí tuệ nhân tạo. Nhưng mặc dù chia sẻ cùng một nhãn, mạng nơ-ron sinh học và mạng nơ-ron nhân tạo là những hệ thống khác nhau về bản chất. Để hiểu mỗi hệ thống thực sự làm gì và cách một phương pháp thứ ba phù hợp, chúng ta cần xem xét kiến trúc và hành vi của các mạng ở mọi cấp độ.
Mạng nơ-ron Sinh học: Cách não bộ xử lý thông tin
Mạng lưới thần kinh sinh học là một hệ thống các tế bào thần kinh liên kết với nhau, có chức năng xử lý thông tin và tạo ra hành vi. Các mạng lưới này rất năng động. Chúng vẫn hoạt động theo thời gian, ngay cả khi chúng ta không chủ động thực hiện bất kỳ nhiệm vụ nào. Chúng tiêu tốn năng lượng, nhưng trong trường hợp não người, mức tiêu hao năng lượng này lại thấp một cách đáng kể so với độ phức tạp mà nó tạo ra.
Các mạng lưới sinh học tích hợp cả tín hiệu bên trong và bên ngoài bằng ngôn ngữ riêng của chúng: thời gian-tần số. Hãy tưởng tượng một ban nhạc với nhiều nhạc cụ chơi ở các nhịp điệu khác nhau. Trống bass giữ nhịp, bass chơi hai nốt mỗi phách, và chũm chọe lấp đầy các nốt móc kép. Giai điệu chuyển động tự do mà không mất nhịp. Các nhạc công kết hợp các bản nhạc của họ ở các nhịp điệu khác nhau sao cho khớp với nhau một cách hoàn hảo. Đây là các tần số lồng nhau, và đây chính xác là cách các mạng lưới não bộ hoạt động. Ngôn ngữ thời gian-tần số của các mạng lưới khác nhau lồng vào nhau, một khái niệm được gọi là ghép nối tần số chéo.
Từ các tế bào thần kinh đơn lẻ đến các mạng lưới khổng lồ
Mọi thứ bắt đầu từ tế bào thần kinh. Tế bào thần kinh đơn lẻ đó tạo ra điện thế hoạt động, một xung điện ngắn lan truyền dọc theo sợi trục. Tế bào thần kinh nhận tín hiệu thông qua các nhánh thần kinh, tích hợp chúng trong thân tế bào và truyền tín hiệu nếu nó vượt qua ngưỡng nhất định. Chúng ta đã đề cập chi tiết quá trình này trong NIA Tập 1: Tại sao trí thông minh không được tính toán theo từng bước mà theo thời gian và NIA Tập 2: Động lực học ba chiều như một mô hình của trí thông minh sống.
Các tế bào thần kinh kết nối với nhau thông qua các khớp thần kinh hóa học, nơi các chất dẫn truyền thần kinh được giải phóng (xem NIA Tập 3: Điều biến thần kinh và Trí tuệ nhân tạo lấy cảm hứng từ não bộ), hoặc thông qua các khớp thần kinh điện, nơi dòng điện truyền trực tiếp giữa các tế bào. Để hình thành mạng lưới, nhiều tế bào thần kinh kết nối với nhau và tạo ra các mạch hồi quy. Nhưng sự tích hợp này không tuyến tính, có nghĩa là phản ứng của toàn bộ không bằng tổng đơn giản của các phần cấu thành. Quy mô thật đáng kinh ngạc: não người chứa khoảng 86 tỷ tế bào thần kinh và khoảng từ 10¹⁴ đến 10¹⁵ khớp thần kinh (Azevedo và cộng sự, 2009).
Tính chất mạng lưới thế giới nhỏ và sự cân bằng kích thích-ức chế
Ở cấp độ cấu trúc liên kết, các mạng lưới này thể hiện đặc tính của mạng lưới thế giới nhỏ: mật độ kết nối cục bộ cao kết hợp với các kết nối toàn cầu ngắn. Kiến trúc này cho phép giao tiếp hiệu quả khắp não bộ trong khi vẫn duy trì khả năng xử lý cục bộ chuyên biệt.
Sự hoạt động của mạng lưới thần kinh sinh học phụ thuộc vào sự cân bằng giữa kích thích và ức chế. Nếu kích thích chiếm ưu thế, hoạt động sẽ mất ổn định. Nếu ức chế chiếm ưu thế, mạng lưới sẽ ngừng hoạt động. Sự ổn định động phát sinh từ sự cân bằng giữa hai lực này. Sự cân bằng này được duy trì thông qua tính dẻo dai của khớp thần kinh, cơ chế cho phép sức mạnh của các kết nối thay đổi dựa trên kinh nghiệm. Thêm vào đó, điều hòa thần kinh điều chỉnh độ khuếch đại của mạch, kiểm soát mức độ mạnh yếu của đầu vào tạo ra đầu ra (Marder, 2012). Ví dụ, trong tình huống đe dọa, noradrenaline làm tăng độ nhạy cảm giác và khả năng học tập nhanh chóng.
Nhiều thang thời gian và chức năng não bộ của vỏ não
Các mạng lưới thần kinh hoạt động đồng thời ở nhiều thang thời gian khác nhau. Ở cấp độ tế bào thần kinh, điện thế hoạt động được phát ra trong vài mili giây. Dao động thần kinh diễn ra trong vài giây. Thay đổi khớp thần kinh phát triển trong vài giờ hoặc vài ngày, và sự tái tổ chức cấu trúc diễn ra trong nhiều năm. Mọi thứ hoạt động theo một mô hình hài hòa, năng động và đan xen lẫn nhau.
Nhưng không phải mọi thứ đều giao tiếp với mọi thứ mà không cần cấu trúc. Chức năng não bộ được tổ chức thành các mạng lưới chuyên biệt. Quan trọng nhất bao gồm mạng lưới chế độ mặc định, liên quan đến việc tự tham chiếu và suy nghĩ về bản thân và người khác; mạng lưới điều hành trung tâm, liên quan đến việc thực hiện nhiệm vụ trực tiếp; mạng lưới nổi bật, giúp phát hiện những gì quan trọng tại mỗi thời điểm và cho phép chuyển đổi giữa các chế độ khác nhau; mạng lưới cảm giác vận động duy trì các chuyển động tự nguyện; và nhiều mạng lưới chú ý khác nhau. Con người cũng sở hữu một mạng lưới ngôn ngữ đặc biệt, cho phép cả việc hiểu và sản xuất ngôn ngữ.
Trong các mạng lưới sinh học, không một nốt nhạc riêng lẻ nào tạo nên một bản giao hưởng. Bản giao hưởng xuất hiện từ mô hình động của các mối quan hệ giữa các nốt nhạc. Não bộ không chứa đựng mọi thứ. Nó không lưu trữ ký ức theo cách mà ổ cứng lưu trữ các tập tin. Não bộ xây dựng các cấu hình động.
Nguồn tham khảo từ DOI: 10.3389/fnagi.2023.1204134
Mạng nơ-ron nhân tạo: Cách thức hoạt động của các mô hình học sâu
Mạng nơ-ron nhân tạo (ANN) là một mô hình toán học được thiết kế để xấp xỉ các hàm phức tạp từ dữ liệu. Nó lấy cảm hứng trừu tượng từ bộ não: nó sử dụng các đơn vị được kết nối với nhau gọi là "nơ-ron nhân tạo", nhưng đây không phải là tế bào. Chúng là các phép toán đại số. Gọi một phép toán đại số là nơ-ron có thể là một sự suy diễn quá mức, và gọi dự đoán ngôn ngữ là "trí tuệ" cũng có thể gây hiểu lầm tương tự. Nhưng vì đây là những thuật ngữ đã được thiết lập, điều quan trọng là phải hiểu chúng và phân biệt giữa nội dung thực chất và sự cường điệu.
Cơ chế hoạt động của nơ-ron nhân tạo
Mỗi nơ-ron nhân tạo thực hiện ba bước. Đầu tiên, nó nhận một tập hợp các đầu vào số. Sau đó, nó nhân mỗi đầu vào với một trọng số liên kết, là một tham số có thể điều chỉnh. Cuối cùng, nó cộng các kết quả lại và áp dụng một hàm kích hoạt tạo ra tính phi tuyến tính. Các hàm kích hoạt phổ biến bao gồm Sigmoid, nén các giá trị giữa 0 và 1, và ReLU (Rectified Linear Unit), triệt tiêu các giá trị âm và cho phép các giá trị dương đi qua.
Nếu không có tính phi tuyến tính, mạng nơ-ron nhân tạo sẽ chỉ thực hiện phép biến đổi tuyến tính, không có khả năng mô hình hóa các mẫu phức tạp. Mạng nơ-ron nhân tạo được tổ chức thành các lớp đầu vào, nơi dữ liệu được đưa vào; các lớp ẩn, nơi dữ liệu được biến đổi dần dần; và một lớp đầu ra, tạo ra dự đoán.
Từ Perceptron đến Học sâu
Tất cả các kiến trúc mạng nơ-ron hiện đại đều bắt nguồn từ perceptron (Rosenblatt, 1958), một nơ-ron tuyến tính đơn giản có ngưỡng. Các mạng nơ-ron học sâu hiện đại có thể chứa hàng trăm lớp và hàng tỷ tham số. Nhưng về bản chất, mạng nơ-ron nhân tạo (ANN) hoạt động giống như một bảng tính tự động khổng lồ điều chỉnh hàng triệu ô số cho đến khi đầu ra khớp với kết quả mong đợi.
Lan truyền ngược và thuật toán giảm độ dốc: Mạng nơ-ron nhân tạo học hỏi như thế nào
Quá trình học tập trong mạng lưới nhân tạo không hoạt động giống như quá trình học tập sinh học. Không có sự điều chỉnh các chất điều hòa thần kinh hay cường độ khớp thần kinh dựa trên kinh nghiệm sống. Thay vào đó, việc học tập dựa trên việc giảm thiểu một hàm lỗi định lượng sự khác biệt giữa dự đoán của mạng lưới và câu trả lời chính xác.
Hãy xem xét một ví dụ đơn giản: mô hình được yêu cầu hoàn thành câu "Paris là thủ đô của...". Nếu dự đoán là Ý, hàm lỗi sẽ đo khoảng cách giữa Ý và Pháp, sau đó điều chỉnh trọng số cho phù hợp. Cơ chế trung tâm đằng sau sự điều chỉnh này là lan truyền ngược (backpropagation) (Rumelhart et al., 1986). Thuật toán này tính toán lỗi ở đầu ra, lan truyền lỗi đó ngược trở lại từng lớp và điều chỉnh trọng số bằng cách sử dụng phương pháp giảm độ dốc (gradient descent), một phương pháp toán học sửa đổi các tham số theo hướng làm giảm lỗi.
Về mặt hình thức, học máy bao gồm việc tối ưu hóa một hàm khả vi trong không gian nhiều chiều. Nếu bạn nghĩ về không gian vật lý, các chiều là x, y và z. Nhưng trong ngôn ngữ, hãy tưởng tượng các chiều như số ít, số nhiều, giống cái, giống đực, động từ, chủ ngữ, thuộc tính, danh từ, tính từ, ngữ điệu và từ đồng nghĩa. Với hàng triệu chiều và đủ sức mạnh tính toán, một mô hình có thể học được rằng Paris là thủ đô của Pháp chỉ đơn giản bằng cách giảm thiểu lỗi dự đoán trong quá trình huấn luyện.
Kiến trúc của mạng nơ-ron nhân tạo
Mặc dù thuật ngữ này có sự trùng lặp với khoa học thần kinh, nhưng quá trình này không giống với cách một hệ thống sống học hỏi. Trong mạng nơ-ron nhân tạo (ANN), sự điều chỉnh phụ thuộc vào tính toán tổng thể và kiến thức rõ ràng về sai số cuối cùng. Mạng cần biết chính xác mức độ sai sót của nó.
Nếu một mạng nơ-ron học cách nhận dạng mèo, nó sẽ nhận được hàng nghìn hoặc hàng triệu hình ảnh được gắn nhãn. Mỗi lần thất bại, nó sẽ điều chỉnh nhẹ các trọng số. Sau hàng triệu lần lặp, mô hình nội bộ sẽ ổn định thành một cấu hình có khả năng phân biệt mèo với các đối tượng khác. Quá trình này hoàn toàn mang tính thống kê. Mạng nơ-ron không "hiểu" mèo là gì. Nó phát hiện các mối tương quan số học trong các pixel. Nó không nắm giữ "mô hình thế giới" về một con mèo, mà chỉ có các ma trận số trên quy mô khổng lồ. Để hiểu sâu hơn lý do tại sao điều này lại quan trọng, hãy đọc bài phân tích của chúng tôi về việc đánh giá hiệu suất học tập mô hình thế giới.
Có một số kiến trúc chính của mạng nơ-ron nhân tạo. Mạng tích chập (CNN) sử dụng các bộ lọc không gian để phát hiện các cạnh, kết cấu và các mẫu phân cấp, khiến chúng trở nên thiết yếu đối với thị giác máy tính. Mạng hồi quy (RNN, LSTM) tích hợp bộ nhớ thời gian để xử lý các chuỗi. Và Transformer hiện đang chiếm ưu thế sử dụng các cơ chế chú ý để tự động trọng số hóa các phần nào của đầu vào là quan trọng nhất (Vaswani et al., 2017). Transformer hiện đang cung cấp sức mạnh cho hầu hết các mô hình ngôn ngữ lớn trong xử lý ngôn ngữ tự nhiên.
Sự phát triển của các mạng lưới này không diễn ra một cách tự nhiên như trong các hệ thống sống. Nó diễn ra thông qua thiết kế rõ ràng và điều chỉnh tham số bằng cách huấn luyện quy mô lớn tại các trung tâm điện toán hiệu năng cao. Khả năng thích ứng bị giới hạn trong giai đoạn huấn luyện. Sau khi được huấn luyện, mạng lưới không tự động tổ chức lại kiến trúc của nó. Bất kỳ sự sửa đổi nào cũng đòi hỏi một quy trình tối ưu hóa mới. Như chúng ta đã tìm hiểu trong bài viết "Trí tuệ nhân tạo tĩnh là ngõ cụt", bản chất "đóng băng" này là một hạn chế cơ bản của các hệ thống trí tuệ nhân tạo hiện nay.
Mặc dù cùng mang tên "mạng lưới", sự tương đồng giữa mạng lưới thần kinh nhân tạo và sinh học là có giới hạn. Sự tương đồng nằm ở cấu trúc và tính trừu tượng: cả hai đều sử dụng các đơn vị kết nối với nhau và học hỏi thông qua việc điều chỉnh các kết nối. Nhưng bộ não là một hệ thống tiến hóa, có cơ thể và tự điều chỉnh. Mạng lưới thần kinh nhân tạo (ANN) là một công cụ tối ưu hóa hàm số trong không gian số.
Giữa mạng lưới sinh học và mạng lưới nhân tạo: Neuraxon Aigarth đã thu hẹp khoảng cách như thế nào
Các mạng lưới được mô phỏng trong Neuraxon Aigarth về mặt khái niệm nằm giữa mạng lưới sinh học và mạng lưới thần kinh nhân tạo thông thường. Chúng không phải là mô sống, nhưng cũng không chỉ đơn thuần là các hàm toán học được tối ưu hóa bằng gradient. Mục tiêu của chúng là mô phỏng động lực học điển hình của các hệ thống sinh học, bao gồm tính dẻo đa cấp, điều chỉnh phụ thuộc vào ngữ cảnh và tự tổ chức, tất cả đều nằm trong khuôn khổ tính toán được xây dựng cho cơ sở hạ tầng AI phi tập trung của Qubic.
Nếu như ở Tập 1 chúng ta đã mô tả các hệ thống trao đổi chất tự tổ chức và ở Tập 2 chúng ta đã khám phá các hàm tối ưu hóa khả vi, thì Neuraxon cố gắng kết hợp các thuộc tính động của hệ thống trước mà không từ bỏ hình thức toán học của hệ thống sau.
Trạng thái ba hóa trị: Nắm bắt sự cân bằng giữa kích thích và ức chế
Thay vì các kích hoạt liên tục thông thường (ví dụ: giá trị thực sau hàm ReLU), Neuraxon sử dụng các trạng thái ba giá trị: -1, 0 và +1. Ở đây, +1 biểu thị kích hoạt hưng phấn, -1 biểu thị kích hoạt ức chế, và 0 biểu thị trạng thái nghỉ hoặc không hoạt động.
Phương pháp này không cố gắng sao chép điện thế hoạt động sinh học. Thay vào đó, nó nắm bắt nguyên tắc chức năng của sự cân bằng kích thích-ức chế được mô tả trong phần mạng lưới sinh học ở trên. Trong não bộ, sự ổn định xuất hiện từ sự cân bằng giữa các lực này. Trong Neuraxon, không gian trạng thái rời rạc tạo ra một động lực gần giống với các hệ thống chuyển đổi trạng thái hơn là các biến đổi liên tục đơn giản.
Trái ngược với các mạng nhân tạo cổ điển, nơi mà sự kích hoạt là một số thực không có ý nghĩa sinh lý, hệ thống ba giá trị áp đặt các ràng buộc cấu trúc định hình cách hoạt động lan truyền trong mạng.
Tính dẻo dai kép về trọng lượng: Học nhanh và học chậm
Mạng lưới thần kinh sinh học thể hiện tính dẻo dai ở các thang thời gian khác nhau: những thay đổi nhanh chóng về hiệu quả khớp thần kinh và sự củng cố chậm hơn theo thời gian. Neuraxon giới thiệu ý tưởng này thông qua hai thành phần trọng lượng:
w_fast: những thay đổi nhanh chóng, nhạy cảm với môi trường xung quanh.
w_slow: những thay đổi chậm giúp ổn định các mô hình lặp đi lặp lại theo thời gian.
Điều này ngăn hệ thống phụ thuộc hoàn toàn vào việc cập nhật trọng số đồng nhất như thuật toán lan truyền ngược tiêu chuẩn. Một phần quá trình học có thể diễn ra tạm thời, trong khi phần khác được củng cố dần dần. Cơ chế này mang đến một khía cạnh mà hầu hết các mạng nơ-ron nhân tạo đều thiếu: tốc độ học không cố định, mà phụ thuộc vào trạng thái tổng thể của hệ thống.
Điều hòa thần kinh theo ngữ cảnh thông qua biến siêu cấp
Trong các mạng lưới sinh học, các chất điều hòa thần kinh như noradrenaline và dopamine không truyền tải nội dung thông tin cụ thể. Thay vào đó, chúng làm thay đổi độ nhạy và tính dẻo dai của các quần thể tế bào thần kinh rộng lớn. Chúng tôi đã nghiên cứu sâu vấn đề này trong NIA Tập 3: Điều hòa thần kinh và Trí tuệ nhân tạo lấy cảm hứng từ não bộ.
Trong Neuraxon, biến meta đóng vai trò tương tự về mặt chức năng. Nó không mã hóa thông tin cụ thể, mà điều chỉnh cường độ cập nhật khớp thần kinh. Điều này gần giống với nguyên tắc sinh học rằng học tập phụ thuộc vào bối cảnh động lực hoặc tầm quan trọng. Trong một mạng lưới nhân tạo thông thường, độ dốc được áp dụng đồng đều dựa trên lỗi. Trong Neuraxon, quá trình học tập có thể được tăng cường hoặc suy giảm tùy thuộc vào trạng thái bên trong hoặc tín hiệu bên ngoài toàn cục.
Sự khác biệt về mặt khái niệm là rất đáng kể. Trong các mạng học sâu cổ điển, lỗi thúc đẩy quá trình học. Trong Neuraxon, lỗi có thể cùng tồn tại với tín hiệu điều chỉnh theo ngữ cảnh, làm thay đổi mức độ học được tại bất kỳ thời điểm nào.
Tính tới hạn tự tổ chức và hành vi thích ứng
Các mạng lưới sinh học hoạt động gần một chế độ được gọi là trạng thái tới hạn tự tổ chức, nơi hệ thống duy trì sự cân bằng giữa trật tự và hỗn loạn. Chế độ này cho phép tính linh hoạt mà không làm mất đi sự ổn định.
Mô hình Neuraxon thể hiện đặc tính này bằng cách cho phép mạng lưới tiến hóa hướng tới các trạng thái động trung gian, trong đó những nhiễu loạn nhỏ có thể tạo ra sự tái cấu trúc rộng lớn mà không làm sụp đổ hệ thống.
Trong các mô hình như Trò chơi Sự sống được mở rộng với khả năng cảm nhận vị trí cơ thể mà nhóm nghiên cứu hiện đang phát triển, hệ thống có thể nhận tín hiệu bên ngoài (môi trường) và tín hiệu bên trong (trạng thái của chính nó, năng lượng, các va chạm trước đó). Nếu một tác nhân liên tục va chạm với chướng ngại vật, tín hiệu meta có thể tăng lên, tương tự như sự gia tăng hưng phấn. Tín hiệu đó tạm thời làm tăng tính dẻo dai, tạo điều kiện thuận lợi cho việc tái cấu trúc.
Ở đây, mạng lưới không chỉ học hỏi vì nó mắc lỗi. Nó học hỏi vì môi trường trở nên có tính thích ứng. Sự tương đồng với bộ não vẫn còn hạn chế: Neuraxon không có sinh học, quá trình trao đổi chất hay trải nghiệm chủ quan. Tuy nhiên, nó mang đến những chiều hướng năng động mà hầu hết các mạng nơ-ron nhân tạo thông thường không có, định vị nó như một cách tiếp cận thực sự mới mẻ đối với trí tuệ nhân tạo lấy cảm hứng từ bộ não trên cơ sở hạ tầng phi tập trung.
Sức mạnh tính toán cần thiết để chạy các mô phỏng Neuraxon được cung cấp bởi mạng lưới các thợ đào toàn cầu của Qubic thông qua cơ chế Bằng chứng Công việc Hữu ích (Useful Proof of Work), biến quá trình huấn luyện AI thành chính cơ chế đồng thuận.
Tài liệu tham khảo khoa học
#Azevedo, F. A. C., et al. (2009). Số lượng tế bào thần kinh và không phải thần kinh bằng nhau khiến não người trở thành não linh trưởng được phóng to theo tỷ lệ đẳng cự. Tạp chí Thần kinh học So sánh, 513(5), 532-541. DOI: 10.1002/cne.21974
#Marder, E. (2012). Điều biến thần kinh của các mạch thần kinh: Trở lại tương lai. Neuron, 76(1), 1-11. DOI: 10.1016/j.neuron.2012.09.010
#Rosenblatt, F. (1958). Perceptron: Một mô hình xác suất cho việc lưu trữ và tổ chức thông tin trong não. Tạp chí Tâm lý học, 65(6), 386-408. DOI: 10.1037/h0042519
#Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Học các biểu diễn bằng cách lan truyền ngược các lỗi. Nature, 323(6088), 533-536. DOI: 10.1038/323533a0
#Vaswani, A., et al. (2017). Chú ý là tất cả những gì bạn cần. Tiến bộ trong hệ thống xử lý thông tin thần kinh, 30. arXiv: 1706.03762
Hình ảnh mạng lưới não bộ được cung cấp bởi: DOI: 10.3389/fnagi.2023.1204134