Học viện Neuraxon Intelligence · Tập 12 · Bởi Nhóm Khoa học Qubic

Bộ não không có một “đồng hồ” trung tâm. Nó có nhiều “đồng hồ” phân tán khắp mô và được hiệu chỉnh theo các thang đo từ microgiây đến các mùa trong năm.

Chúng ta biết rằng intelligence (trí tuệ) không được tính theo từng bước mà theo thời gian, trong đó nơ-ron hoạt động như một hệ động lực: một trạng thái thay đổi liên tục và không bao giờ được đặt lại. Nhưng như vậy vẫn chưa đủ để mỗi đơn vị chỉ sống trong thời gian liên tục. Một sinh vật cần đo các khoảng thời gian, dự đoán điều sắp đến, học hỏi từ những nguyên nhân đã xảy ra vài giây trước và, đồng thời, duy trì sự ổn định trong nhiều năm. Đây là những vấn đề thời gian khác nhau, và não không giải chúng bằng cùng một cơ chế.

Trong nhiều thập kỷ, tâm lý học về thời gian đã tìm kiếm một đồng hồ nội tại duy nhất—một kiểu “nhịp đập” phát ra các xung và một bộ đếm tích lũy chúng. Ý tưởng đó thành công về mặt mô tả, nhưng thần kinh học không ngừng tìm ra điều gì đó khác. Tới nay, tài liệu phân biệt giữa các mô hình chuyên biệt (chúng giả định một mạch được thiết kế riêng để đo thời gian) và các mô hình nội tại (trong đó thời gian được đọc từ chính quá trình tiến hóa của hoạt động nơ-ron) (Ivry & Schlerf, 2008). Không có một “đồng hồ bấm giờ” duy nhất. Có các cơ chế phân tán, được chuyên biệt theo thang đo và chức năng: tiểu não cho các khoảng rất ngắn và chính xác, các mạch vỏ não-vân (cortico-striatal) cho các khoảng vài giây, còn vỏ não cho việc tích hợp các chuỗi dài (Merchant, Harrington & Meck, 2013; Paton & Buonomano, 2018).

Từ vi giây đến các mùa: Thời gian mà bộ não đã biết cách xử lý

Bộ não đồng thời quản lý các sự kiện chỉ kéo dài dưới một cái chớp mắt và các chu kỳ kéo dài hàng tháng. Không có máy móc nào khác bao phủ một phạm vi rộng như vậy bằng cùng một “cơ quan” mô.

Ở đầu nhanh nhất là việc định vị âm thanh. Một tiếng ồn phát ra từ bên trái sẽ đến tai trái sớm hơn tai phải vài chục hoặc vài trăm micro giây. Các mạch thân não phát hiện khác biệt đó và chuyển nó thành một hướng trong không gian (Grothe, Pecka & McAlpine, 2010). Chúng ta không ý thức được phép tính đó; ta chỉ đơn giản là quay đầu về phía âm thanh. Đi lên một chút, ở thang của vài chục mili giây, là tiếng nói. Thứ phân biệt “ba” với “pa” phần lớn nằm ở thời gian để giọng bắt đầu rung sau khi môi mở ra (voice onset time). Chỉ cần một khác biệt vài chục mili giây cũng thay đổi phụ âm ta nghe (Lisker & Abramson, 1964).

Ở thang đo của giây, gần như mọi điều ta chủ ý làm đều nằm ở đó: bắt một quả bóng đang bay, đuổi theo nhịp của một bài hát, chờ lượt của mình trong một cuộc trò chuyện, nhận ra đèn giao thông đang mất thời gian lâu hơn bình thường. Ở đây, bộ não không chỉ tri giác; nó còn dự đoán. Nó biết khi nào thứ tiếp theo cần đến và sẽ “bất ngờ” nếu nó không đến.

Dường như có những thay đổi chậm hơn theo thang phút và giờ mà chúng ta không cảm nhận như các sự kiện, mà như các trạng thái. Một mùi hương nồng rồi sau đó không còn được nhận ra nữa: đó là sự quen. Sự chú ý suy giảm sau một khoảng thời gian duy trì nhiệm vụ. Và cơ thể có nhịp sinh học siêu chu kỳ, tức là các chu kỳ ngắn hơn một ngày và lặp lại nhiều lần trong 24 giờ. Cái được biết đến nhiều nhất là giấc ngủ: ban đêm, ta xen kẽ giữa các pha ngủ không REM và REM theo các chu kỳ khoảng chín mươi phút. Các hormone gây stress cũng không được phóng thích liên tục; chúng xuất hiện theo các xung vào khoảng mỗi giờ, và cơ chế xung ấy phục vụ một mục đích: mô đáp ứng khác nhau với một hormone đến theo xung so với khi dùng một lượng tương tự nhưng liên tục (Lightman & Conway-Campbell, 2010 - https://doi.org/10.1038/nrn2914).

Giấc ngủ đáng được nhắc riêng, vì nó kết hợp hai “đồng hồ”. Một là áp lực giấc ngủ tích lũy theo các giờ thức và tiêu tán khi ngủ. Cái còn lại là nhịp khoảng 24 giờ, mở và đóng cửa sổ giấc ngủ bất kể ta mệt đến đâu. Khi thức, các synap có xu hướng mạnh lên tổng thể, và trong khi ngủ chúng được điều chỉnh giảm xuống, nhờ đó giữ lại những gì liên quan và trả “không gian” cho bộ não học tiếp vào ngày hôm sau (Tononi & Cirelli, 2014 - https://doi.org/10.1016/j.neuron.2013.12.025).

Nhịp 24 giờ đó chính là nhịp sinh học ngày-đêm (circadian), từ tiếng Latin circa diem, “khoảng một ngày”. Đồng hồ chủ nằm trong nhân trên giao thoa thị giác (suprachiasmatic nucleus) của vùng dưới đồi, một cụm nhỏ tế bào thần kinh (khoảng hai mươi nghìn ở loài gặm nhấm, tính cả hai phía) nằm ngay phía trên chỗ giao nhau của các dây thần kinh thị giác (Abrahamson & Moore, 2001). Bên trong mỗi tế bào của nó, một vòng lặp gen và protein kích hoạt lẫn nhau và ức chế lẫn nhau cần khoảng 24 giờ để hoàn tất một chu kỳ (Takahashi, 2017). Ánh sáng đặt nó về đúng thời gian thông qua các tế bào trong võng mạc đo xem môi trường có lượng ánh sáng bao nhiêu (Hattar và cộng sự, 2002). Jet lag chính là trải nghiệm trực tiếp về “đồng hồ” này: thế giới đã đổi thời gian đột ngột và đồng hồ bên trong mất vài ngày để tự điều chỉnh lại.

Hình 1. Nhịp sinh học ngày-đêm theo từng ngày 24 giờ. Một đồng hồ chủ trong nhân trên giao thoa thị giác đồng bộ hóa giấc ngủ, sự phóng thích hormone và mức độ tỉnh táo với chu kỳ sáng-tối. Ảnh: “Biological clock (human),” Wikimedia Commons (miền công cộng).

Trên thang ngày còn có các nhịp hồng ngoại (infradian), dài hơn 24 giờ. Ở chuột cái, mật độ các gai đuôi trong hải mã, những phần nhô nhỏ nơi hình thành synap, giảm khoảng 30% chỉ trong 24 giờ của một chu kỳ sinh dục kéo dài bốn hoặc năm ngày, theo diễn biến cùng mức estradiol (Woolley & McEwen, 1992). Cách nối dây của một cấu trúc then chốt cho trí nhớ cũng biến đổi theo nhịp.

Ngoài ra còn có các nhịp theo mùa: độ dài của tiết secreion melatonin về đêm mã hóa độ dài của đêm, và vì thế nhiều loài động vật có vú biết thời điểm trong năm là khi nào (Wehr, 2001).

Vẫn còn thang đo của cả một đời người. Trong giai đoạn phát triển, có các thời kỳ quan trọng (critical periods) trong đó một số mạch chỉ có thể được tổ chức trong đúng một cửa sổ thời gian nhất định; nếu trải nghiệm đến muộn, mạch sẽ không hình thành theo cách tương tự (Hensch, 2005). Bộ não không chỉ đo thời gian. Nó được tạo nên trong thời gian.

Tất cả các thang này cùng tồn tại trong một cơ quan và tác động lẫn nhau. Đồng hồ sinh học ngày-đêm mở “cửa sổ giấc ngủ”, giấc ngủ điều chỉnh lại các synap, hormone làm thay đổi cách nối dây, và tất cả điều này chi phối những gì được học trong từng giây. Sự đồng tồn tại ấy là hiện tượng mà ta muốn, ở mức có thể, mô phỏng.

Một Hệ Phân Cấp Các Cửa Sổ Thời Gian Trong Vỏ Não

Manh mối đầu tiên cho kiến trúc này là: các vùng vỏ não khác nhau không “ghi nhớ” trong cùng một độ dài thời gian. Murray và cộng sự (https://doi.org/10.1038/nn.3862) đo thời gian cần thiết để tự tương quan của hoạt động tự phát của nơ-ron suy giảm trong các vùng khác nhau ở khỉ đuôi dài (macaque). Các vùng cảm giác có hằng số thời gian ngắn: chúng phản hồi nhanh và quên nhanh. Các vùng trước trán và vùng liên kết có hằng số dài hơn nhiều: chúng tích hợp thông tin trong thời gian dài. Vỏ não được sắp xếp như một hệ phân cấp các cửa sổ thời gian.

Ở người, một hiện tượng tương đương cũng được quan sát với các kích thích dạng tường thuật. Hasson và cộng sự (https://doi.org/10.1523/JNEUROSCI.5487-07.2008) trình chiếu các đoạn phim bị xáo trộn theo nhiều thang khác nhau, từ các mảnh vài giây đến các cảnh hoàn chỉnh. Các vùng cảm giác bậc sơ cấp phản hồi theo cách giống nhau bất kể việc xáo trộn như thế nào. Các vùng bậc cao hơn phản hồi một cách đáng tin cậy chỉ khi cấu trúc ở thang dài vẫn được bảo toàn. Mỗi vùng có “cửa sổ tích hợp thời gian” riêng. Kiebel, Daunizeau và Friston (https://doi.org/10.1371/journal.pcbi.1000209) diễn giải điều quan sát này theo hướng tính toán: nếu thế giới tạo ra các nguyên nhân làm thay đổi với tốc độ khác nhau, thì một bộ não muốn dự đoán nó cần một hệ phân cấp thang thời gian phản ánh cấu trúc ấy.

Ngay cả cũng có một thang đo “được ưu tiên” cho kinh nghiệm. Pöppel (https://doi.org/10.1016/S1364-6613(97)01008-5) thu thập bằng chứng rằng chúng ta tích hợp các sự kiện vào các cửa sổ khoảng hai hoặc ba giây—một “hiện tại” chức năng, gom những gì ta cảm nhận là đồng thời hoặc liên tục. Đây không phải là một con số thần kỳ. Nó là hệ quả của việc hệ thần kinh làm việc với một số hằng số thời gian lồng nhau.

Thời gian như Trạng thái: Đồng hồ theo quần thể và các tế bào thời gian

Nếu không có đồng hồ trung tâm, mạng lưới biết được đã trôi qua bao nhiêu thời gian bằng cách nào? Câu trả lời tinh tế nhất là: thời gian được mã hóa ngay trong trạng thái cụ thể của mạng. Buonomano và Maass (https://doi.org/10.1038/nrn2558) diễn đạt điều này như “tính toán phụ thuộc trạng thái”, trong đó một mạng hồi tiếp nhận một kích thích đi theo quỹ đạo hoạt động không lặp lại. Tại mỗi khoảnh khắc, cấu hình của nó là khác nhau. Một người đọc có học để nhận ra cấu hình ấy là đủ để biết đã trôi qua bao lâu kể từ khi kích thích xuất hiện.

Hải mã cung cấp một phiên bản rất ấn tượng của ý tưởng này. Trong các khoảng trống của một nhiệm vụ, một số nơ-ron bắn ở các thời điểm cụ thể trong khoảng thời gian đó, theo trình tự, như thể đang đánh dấu từng giây liên tiếp. Chúng được gọi là các “tế bào thời gian” (MacDonald và cộng sự, 2011; Eichenbaum, 2014). Vùng entorhinal bên lại cung cấp một mảnh khác: các quần thể mà hoạt động của chúng trôi dần theo kinh nghiệm, để từ sự thay đổi tích lũy của quần thể mà có thể giải mã thời gian đã trôi qua (Tsao và cộng sự, 2018). Trong cả hai trường hợp, thời gian không được đo bằng các xung, mà bằng các biến đổi trạng thái.

Hình 2. “Các tế bào thời gian” xếp lát một khoảng: các nơ-ron đơn lẻ ở hải mã bắn ở các thời điểm kế tiếp, vì thế thời gian đã trôi qua được đọc từ chuỗi các tế bào đang hoạt động chứ không phải từ một đồng hồ trung tâm. Ảnh: Cao, Bladon và cộng sự (2022), eLife 75353, Hình 1, CC BY 4.0.

Học trong Thời Gian: Các Cửa Sổ Tính Dẻo Synap

Biểu diễn thời gian là một chuyện. Học trong thời gian là chuyện khác. Thế giới hiếm khi cung cấp hệ quả trong cùng một mili giây như nguyên nhân. Bộ não giải bài toán này bằng một số cửa sổ tính dẻo chồng lấp lên nhau.

Ngắn nhất là tính dẻo phụ thuộc vào thời điểm bắn (spike-timing-dependent plasticity, STDP—một trong các cơ chế của Neuraxon). Nếu một nơ-ron trước synap bắn vài mili giây trước nơ-ron sau synap, synap sẽ được tăng cường; nếu bắn sau, synap sẽ bị suy yếu. Cửa sổ hữu ích chỉ vài chục mili giây (Bi & Poo, 1998). Nó là một bộ dò cho quan hệ nhân quả cục bộ—rất chính xác và rất ngắn.

Khoảng thời gian đó không đủ để liên kết một hành động với phần thưởng đến sau đó một giây. Đó là lý do cần có các vết hữu hiệu (eligibility traces): sự trùng hợp của hoạt động để lại một dấu thoáng qua trên synap, và dấu đó sẽ trở thành một thay đổi trọng số nếu một tín hiệu điều biến thần kinh (neuromodulatory signal) xuất hiện trong khi dấu vẫn còn tồn tại. Ở các gai đuôi (dendritic spines) của thể vân, dopamine chỉ làm synap mạnh lên nếu nó đến trong khoảng 0,3 đến 2 giây sau hoạt động (Yagishita và cộng sự, 2014). Hải mã bổ sung tính dẻo synap theo thang thời gian hành vi, có khả năng liên kết các tín hiệu tách nhau vài giây và tạo ra một trường vị trí trong đúng một lần thử (Bittner và cộng sự, 2017).

Ở trên các thang này là những thang chậm hơn. Củng cố và tính dẻo cấu trúc diễn ra trong vài giờ hoặc vài ngày, và thứ đã được củng cố không còn phụ thuộc vào hoạt động của khoảnh khắc hiện tại nữa.

Ổn định mà không “đóng băng” (Freezing): Cân bằng nội tại đa thang

Một mạng học theo quy tắc Hebb vốn dĩ không ổn định. Nếu thứ cùng bắn thì được củng cố, thì thứ đã được củng cố sẽ bắn nhiều hơn và được củng cố nhiều hơn. Thiếu một đối trọng, mạng sẽ bão hòa hoặc rơi vào trạng thái im lặng.

Bộ não có một đối trọng như vậy. Turrigiano (2008) mô tả hiện tượng “cân bằng theo quy mô synap” (synaptic scaling): khi một nơ-ron vẫn quá hoạt động trong nhiều giờ, nó sẽ giảm tương ứng cường độ của tất cả các synap, và sẽ tăng nếu nó quá im lặng. Tính dễ kích thích nội tại cũng tự điều chỉnh theo cách tương tự (Desai, Rutherford & Turrigiano, 1999). In vivo, vòng lặp chậm này đưa hoạt động vỏ não về đúng điểm đặt (set point) trong suốt nhiều ngày, và nó làm điều đó theo cách phụ thuộc vào trạng thái thức và ngủ (Hengen và cộng sự, 2016).

Nhưng có một trở ngại. Tính dẻo kiểu Hebb xảy ra trong giây, còn cân bằng nội tại synap diễn ra trong giờ. Zenke, Gerstner và Ganguli (2017) cho thấy một bộ điều chỉnh chậm như vậy không thể, chỉ bằng chính nó, kìm hãm được sự bất ổn nhanh. Kết luận là phải có các cơ chế bù nhanh, hoạt động gần như cùng tốc độ với quá trình học, và cân bằng nội tại chậm đảm nhiệm việc khác: hiệu chỉnh sự trôi dài hạn. Không phải bộ điều nhiệt cung cấp sự ổn định, mà là một chuỗi các bộ điều chỉnh, mỗi bộ ở đúng thang đo của nó.

Lý thuyết trí nhớ cũng đi đến một kết luận song song. Benna và Fusi (2016) chứng minh rằng các synap có một thang thời gian duy nhất: nếu chúng thay đổi nhanh thì học tốt nhưng quên nhanh; nếu chúng thay đổi chậm thì giữ lại được nhưng gần như không học được. Các synap với biến nội tại được ghép với nhiều thang khác nhau thoát khỏi sự lưỡng nan đó và nhân lên dung lượng trí nhớ. Tổ chức đa thang là lời giải cho một bài toán tính toán.

Transformer làm gì với thời gian?

Với toàn bộ khung này, ta có thể nhìn vào kiến trúc đang thống trị trí tuệ nhân tạo hiện nay. Một Transformer xử lý một chuỗi các mảnh văn bản (tokens). Để mô hình biết thứ tự chúng xuất hiện, người ta cộng vào mỗi token một mã hóa vị trí (positional encoding), trong đó một vectơ cho biết token đó là token thứ nhất, thứ hai hay thứ nghìn (Vaswani và cộng sự, 2017). Sau đó cơ chế attention so sánh tất cả các token với tất cả token khác cùng một lúc.


Hình 3. Kiến trúc Transformer. Trật tự được cung cấp một lần, dưới dạng mã hóa vị trí (positional encoding) được cộng vào từng token; sau đó cơ chế tự chú ý (self-attention) so sánh tất cả các token với nhau đồng thời, vì thế mô hình coi vị trí trong chuỗi như một chỉ số hơn là “sống qua” thời gian. Ảnh: “Transformer, full architecture”, Wikimedia Commons (CC BY-SA 4.0).

Hệ quả là sâu sắc. Với một Transformer, thời gian là một chỉ mục (index). Không có độ dài, chỉ có thứ tự. Một khoảng lặng một giây và một khoảng lặng một giờ là không thể phân biệt nếu chúng không tạo ra các token khác nhau. Hơn nữa, toàn bộ ngữ cảnh có sẵn đồng thời. Mô hình không “trải qua” chuỗi; nó chiêm nghiệm toàn bộ nó như một tấm bản đồ trải ra trên bàn. Theo ngôn ngữ của thần kinh học, nó đã biến thời gian thành không gian.

Cũng không có các thang thời gian học tập trong quá trình sử dụng. Các trọng số được cố định trong lúc huấn luyện và vẫn được “đóng băng”. Thứ mô hình “ghi nhớ” trong một cuộc hội thoại nằm trong cửa sổ ngữ cảnh của nó—một bộ nhớ làm việc bên ngoài và có giới hạn. Những gì nó biết về thế giới kết thúc ở ngày cắt (cutoff) của nó. Giữa thang của cửa sổ ngữ cảnh và thang của việc huấn luyện lại—được tính bằng vài tháng—không có gì cả.

Bốn hạn chế của Transformer xuất phát từ lựa chọn đó

Giới hạn đầu tiên là không nhạy với độ dài. Nhiều hiện tượng của thế giới vật lý và xã hội phụ thuộc vào “thứ đó kéo dài bao lâu”, không chỉ vào điều gì xảy ra trước đó. Việc áp dụng Transformer cho chuỗi thời gian cho thấy cái giá phải trả. Một mô hình tuyến tính đơn giản vượt trội hơn một số kiến trúc Transformer chuyên cho dự báo chuỗi dài, một phần vì cơ chế attention—vốn bất biến với hoán vị—mất đi thông tin về trật tự thời gian mịn mà mã hóa vị trí không thể khôi phục hoàn toàn (Zeng và cộng sự, 2023).

Thứ hai là trí nhớ phẳng (flat memory). Cửa sổ ngữ cảnh không có thứ bậc thang đo: mọi thứ vừa khít thì đều hiện diện như nhau, còn thứ không khít sẽ biến mất. Ngay cả trong cửa sổ đó, việc truy cập cũng không đồng nhất. Các mô hình truy xuất thông tin nằm ở giữa của các ngữ cảnh dài kém hơn so với thông tin ở đầu hoặc cuối (Liu và cộng sự, 2024). Không có gì tương đương với các cửa sổ lồng nhau được mô tả bởi Murray và Hasson.

Thứ ba là sự tách bạch cứng nhắc giữa học và hành động. Một Transformer không học khi đang vận hành. Nếu bạn huấn luyện lại với dữ liệu mới mà không có biện pháp phòng ngừa, nó có xu hướng ghi đè những gì đã đến trước—một hiện tượng người ta biết từ hàng chục năm nay là “can thiệp thảm khốc” (McCloskey & Cohen, 1989). Đúng là bài toán khó ở một thang duy nhất: nếu không có các biến chậm để bảo vệ những gì đã được củng cố, thì cái nhanh sẽ xóa cái cũ.

Thứ tư là ổn định được “nhập khẩu” (imported stability). Mạng không tự điều chỉnh. Sự ổn định của nó phụ thuộc vào các chuẩn hóa toán học cố định, vào các lịch điều chỉnh tốc độ học do kỹ sư thiết kế, và vào một quá trình huấn luyện có kết thúc. Nó hoạt động chính xác vì hệ thống ngừng thay đổi. Một sinh vật không thể “gánh” một giải pháp như vậy.

Không điều nào trong số này phủ nhận sức mạnh của Transformers. Nó giải thích vì sao chúng hoạt động rất tốt ở các nhiệm vụ mà thế giới có thể được nén vào một văn bản và hoạt động kém đến vậy khi phải hành động, chờ đợi, dự đoán và sửa chữa trong một môi trường liên tục thay đổi. Vẫn có những lựa chọn thay thế ngay trong học sâu, như mạng thời gian hằng số dạng lỏng (Hasani và cộng sự, 2021) hoặc các mô hình không gian-trạng thái. Chúng là những tiến bộ thật sự, và chúng xác nhận rằng thời gian phải được tích hợp vào động lực học.

Neuraxon 3.0 thực hiện điều đó như thế nào: Cân bằng nội tại thời gian đa thang (MSTH)

Neuraxon bắt đầu từ một tiền đề đối lập với Transformer. Thời gian không được mã hóa như vị trí; thay vào đó, nó là biến mà trạng thái của mỗi đơn vị tiến triển theo. Neuraxon 2.0 đã giới thiệu xử lý theo thời gian liên tục, các synap gồm thành phần nhanh và chậm, cùng với cơ chế ChronoPlasticity cho phép mỗi synap điều chỉnh “chân trời ký ức” (memory horizon) của nó. Neuraxon 3.0, hiện đang phát triển, sẽ sắp xếp lại các mảnh ghép này quanh hệ phân cấp thang đo mà chúng ta đã mô tả.

Quyết định đầu tiên là tách những gì bộ não tách. Một thứ là dòng điện synap (synaptic current): nó tăng lên và tiêu tán trong vài mili giây theo động học thụ thể. Một thứ khác là trọng số (weight), thứ tồn tại lâu hơn. Gộp chung cả hai biến khiến trí nhớ phụ thuộc vào nhiễu của khoảnh khắc đó (Destexhe, Mainen & Sejnowski, 1994; Tsodyks & Markram, 1997).

Thứ hai là xếp chồng các cửa sổ tính dẻo. Ở thang mili giây, một quy tắc phụ thuộc vào thứ tự spike hoạt động. Ở thang giây, các vết hữu hiệu (eligibility traces) chờ tín hiệu điều biến thần kinh, phù hợp với dopamine kiểu “tác động ngược trở lại” đã được mô tả trong thí nghiệm (Yagishita và cộng sự, 2014; Brzosko, Schultz & Paulsen, 2015), và một tính dẻo theo thang thời gian hành vi lấy cảm hứng từ hải mã. Ở các thang chậm hơn, các cổng điều chỉnh siêu dẻo (metaplastic gates) và các miền của tế bào hình sao (astrocytic domains) quyết định một nhóm synap có thể thay đổi nhiều đến mức nào.

Thứ ba là cân bằng nội tại đa thang, trong Neuraxon ta gọi là MSTH (Multi-Scale Temporal Homeostasis). Thay vì một bộ điều nhiệt duy nhất, có bốn vòng lặp điều tiết phối hợp: từ một vòng cực nhanh làm tắt các đợt bùng phát hoạt động, đến một vòng chậm sửa sự trôi dài hạn. Đây là bản dịch tính toán của lập luận bởi Zenke, Gerstner và Ganguli (2017): các bộ điều chỉnh nhanh chứa bất ổn kiểu Hebb, còn các bộ điều chỉnh chậm bảo toàn điểm đặt (set point) mà không “đóng băng” việc học. Tính tới hạn (Criticality)—chế độ trong đó hoạt động không tắt hẳn cũng không chạy trốn—được đo như một đại lượng quan sát được của hệ thống (Wilting & Priesemann, 2018).

Neuraxon 3.0 ngày nay là một kiến trúc trong giai đoạn thiết kế, và đóng góp của MSTH sẽ được thử nghiệm cụ thể trong các chế độ tầm nhìn dài trước khi khẳng định điều gì về hiệu quả của nó. Nó cũng chưa tích hợp một pha củng cố ngoại tuyến tương đương với giấc ngủ—mà bản tổng quan trước đó gợi ý là thiết yếu—và chúng tôi xem đó là một trong những nhiệm vụ còn lại chính.

Vì sao Thời gian quan trọng đối với Qubic

Trí tuệ mà ta tìm kiếm không trả lời các câu hỏi đóng kín. Nó hoạt động trong các môi trường thay đổi trong chính lúc nó hoạt động. Các trò chơi tương tác của ARC-AGI-3 thể hiện điều đó rất rõ: chúng không đưa ra một bản mô tả bài toán, mà là một thế giới có luật lệ được khám phá thông qua việc chơi, lượt này qua lượt khác. Một hệ thống không phân biệt giữa “vừa mới xảy ra” và “đã xảy ra cách đây năm mươi nước”, không thể liên kết một hành động với hệ quả đến muộn của nó, và không học trong lúc nó chơi, sẽ ở thế bất lợi về mặt cấu trúc.

Vì thế thời gian không phải là một chi tiết triển khai trong Neuraxon. Nó là nền tảng để quyết định một kiến trúc có thể thích nghi hay không. Và vì thế thật hợp lý khi phát triển nó trên một mạng như Qubic—mạng hoạt động liên tục và có trạng thái, nơi một hệ thống có thể tồn tại, thay đổi và tự điều chỉnh mà không ai phải đặt lại. Bộ não đã mất hàng trăm triệu năm để học cách quản lý thời gian trên nhiều thang cùng lúc. Chúng tôi đang cố gắng tính toán đặc tính duy nhất ấy.

Tài liệu tham khảo

  • Abrahamson, E. E., & Moore, R. Y. (2001). Nhân trên giao thoa thị giác (suprachiasmatic nucleus) ở chuột: Chi phối thần kinh từ võng mạc, tổ chức nội tại và các đường chiếu đi ra. Brain Research, 916(1–2), 172–191. https://doi.org/10.1016/S0006-8993(01)02890-6

  • Benna, M. K., & Fusi, S. (2016). Các nguyên lý tính toán của củng cố trí nhớ synap. Nature Neuroscience, 19(12), 1697–1706. https://doi.org/10.1038/nn.4401

  • Bi, G. Q., & Poo, M. M. (1998). Những thay đổi tại khớp synap trong nuôi cấy tế bào thần kinh vùng hải mã: Phụ thuộc vào thời điểm bắn (spike timing), cường độ synap và loại tế bào sau synap. Tạp chí Journal of Neuroscience, 18(24), 10464–10472. https://doi.org/10.1523/JNEUROSCI.18-24-10464.1998

  • Bittner, K. C., Milstein, A. D., Grienberger, C., Romani, S., & Magee, J. C. (2017). Tính dẻo của synap theo thang thời gian hành vi tạo nên các trường vị trí ở CA1. Science, 357(6355), 1033–1036. https://doi.org/10.1126/science.aan3846

  • Borbély, A. A. (1982). Mô hình hai quá trình điều hòa giấc ngủ. Human Neurobiology, 1(3), 195–204.

  • Brzosko, Z., Schultz, W., & Paulsen, O. (2015). Điều biến ngược trở lại thời điểm bắn phụ thuộc thời gian giữa các spike bởi dopamine. eLife, 4, e09685. https://doi.org/10.7554/eLife.09685

  • Buonomano, D. V., & Maass, W. (2009). Tính toán phụ thuộc trạng thái: Xử lý không gian-thời gian trong các mạng vỏ não. Nature Reviews Neuroscience, 10(2), 113–125. https://doi.org/10.1038/nrn2558

  • Desai, N. S., Rutherford, L. C., & Turrigiano, G. G. (1999). Tính dẻo trong tính dễ kích thích nội tại của tế bào thần kinh tháp vỏ não. Nature Neuroscience, 2(6), 515–520. https://doi.org/10.1038/9165

  • Destexhe, A., Mainen, Z. F., & Sejnowski, T. J. (1994). Tổng hợp các mô hình cho màng tế bào kích thích được, truyền synap và điều biến thần kinh bằng một khuôn thức động học chung. Journal of Computational Neuroscience, 1(3), 195–230. https://doi.org/10.1007/BF00961734

  • Eichenbaum, H. (2014). Các tế bào thời gian trong hải mã: Một chiều hướng mới để lập bản đồ ký ức. Nature Reviews Neuroscience, 15(11), 732–744. https://doi.org/10.1038/nrn3827

  • Grothe, B., Pecka, M., & McAlpine, D. (2010). Các cơ chế định vị âm thanh ở động vật có vú. Physiological Reviews, 90(3), 983–1012. https://doi.org/10.1152/physrev.00026.2009

  • Hasani, R., Lechner, M., Amini, A., Rus, D., & Grosu, R. (2021). Mạng thời gian hằng số dạng lỏng. Proceedings of the AAAI Conference on Artificial Intelligence, 35(9), 7657–7666. https://doi.org/10.1609/aaai.v35i9.16936

  • Hasson, U., Yang, E., Vallines, I., Heeger, D. J., & Rubin, N. (2008). Một hệ phân cấp các cửa sổ tiếp nhận thời gian ở vỏ não người. Journal of Neuroscience, 28(10), 2539–2550. https://doi.org/10.1523/JNEUROSCI.5487-07.2008

  • Hattar, S., Liao, H.-W., Takao, M., Berson, D. M., & Yau, K.-W. (2002). Tế bào hạch võng mạc chứa melanopsin: Kiến trúc, đường chiếu và tính nhạy quang nội tại. Science, 295(5557), 1065–1070. https://doi.org/10.1126/science.1069609

  • Hengen, K. B., Torrado Pacheco, A., McGregor, J. N., Van Hooser, S. D., & Turrigiano, G. G. (2016). Tính ổn định nội cân bằng của tốc độ bắn nơ-ron bị ức chế bởi giấc ngủ và được thúc đẩy bởi thức. Cell, 165(1), 180–191. https://doi.org/10.1016/j.cell.2016.01.046

  • Hensch, T. K. (2005). Tính dẻo ở giai đoạn nhạy cảm trong các mạch cục bộ của vỏ não. Nature Reviews Neuroscience, 6(11), 877–888. https://doi.org/10.1038/nrn1787

  • Ivry, R. B., & Schlerf, J. E. (2008). Các mô hình chuyên biệt và nội tại của tri giác thời gian. Trends in Cognitive Sciences, 12(7), 273–280. https://doi.org/10.1016/j.tics.2008.04.002

  • Kiebel, S. J., Daunizeau, J., & Friston, K. J. (2008). Một hệ phân cấp thang thời gian và bộ não. PLoS Computational Biology, 4(11), e1000209. https://doi.org/10.1371/journal.pcbi.1000209

  • Kleitman, N. (1982). Chu kỳ nghỉ-hoạt động cơ bản—22 năm sau. Sleep, 5(4), 311–317. https://doi.org/10.1093/sleep/5.4.311

  • Lightman, S. L., & Conway-Campbell, B. L. (2010). Vai trò then chốt của hoạt động xung nhịp của trục HPA đối với cân bằng động liên tục. Nature Reviews Neuroscience, 11(10), 710–718. https://doi.org/10.1038/nrn2914

  • Lisker, L., & Abramson, A. S. (1964). Một nghiên cứu xuyên ngôn ngữ về tính vang/khàn (voicing) ở các phụ âm đầu đóng tắc: Đo âm học. Word, 20(3), 384–422. https://doi.org/10.1080/00437956.1964.11659830

  • Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., & Liang, P. (2024). Lạc ở phần giữa: Các mô hình ngôn ngữ dùng ngữ cảnh dài như thế nào. Transactions of the Association for Computational Linguistics, 12, 157–173. https://doi.org/10.1162/tacl_a_00638

  • MacDonald, C. J., Lepage, K. Q., Eden, U. T., & Eichenbaum, H. (2011). Các “tế bào thời gian” ở hải mã thu hẹp khoảng trống trong trí nhớ về các sự kiện không liên tiếp. Neuron, 71(4), 737–749. https://doi.org/10.1016/j.neuron.2011.07.012

  • McCloskey, M., & Cohen, N. J. (1989). Sự can thiệp thảm khốc trong các mạng kết nối: Bài toán học tuần tự. Psychology of Learning and Motivation, 24, 109–165. https://doi.org/10.1016/S0079-7421(08)60536-8

  • Merchant, H., Harrington, D. L., & Meck, W. H. (2013). Cơ sở thần kinh của tri giác và ước lượng thời gian. Annual Review of Neuroscience, 36, 313–336. https://doi.org/10.1146/annurev-neuro-062012-170349

  • Murray, J. D., Bernacchia, A., Freedman, D. J., Romo, R., Wallis, J. D., Cai, X., Padoa-Schioppa, C., Pasternak, T., Seo, H., Lee, D., & Wang, X.-J. (2014). Một hệ phân cấp về thang thời gian nội tại trong vỏ não ở linh trưởng. Nature Neuroscience, 17(12), 1661–1663. https://doi.org/10.1038/nn.3862

  • Paton, J. J., & Buonomano, D. V. (2018). Nền tảng thần kinh của việc canh thời gian: Các cơ chế phân tán cho nhiều chức năng. Neuron, 98(4), 687–705. https://doi.org/10.1016/j.neuron.2018.03.045

  • Pöppel, E. (1997). Một mô hình phân cấp của tri giác thời gian. Trends in Cognitive Sciences, 1(2), 56–61. https://doi.org/10.1016/S1364-6613(97)01008-5

  • Takahashi, J. S. (2017). Kiến trúc phiên mã của đồng hồ sinh học ngày-đêm ở động vật có vú. Nature Reviews Genetics, 18(3), 164–179. https://doi.org/10.1038/nrg.2016.150

  • Tononi, G., & Cirelli, C. (2014). Giấc ngủ và cái giá phải trả của tính dẻo: Từ cân bằng nội tại synap và tế bào đến củng cố ký ức và tích hợp. Neuron, 81(1), 12–34. https://doi.org/10.1016/j.neuron.2013.12.025

  • Tsao, A., Sugar, J., Lu, L., Wang, C., Knierim, J. J., Moser, M.-B., & Moser, E. I. (2018). Tích hợp thời gian từ kinh nghiệm trong vỏ não entorhinal bên. Nature, 561(7721), 57–62. https://doi.org/10.1038/s41586-018-0459-6

  • Tsodyks, M. V., & Markram, H. (1997). Mã thần kinh giữa các nơ-ron tháp ở tân vỏ não phụ thuộc vào xác suất phóng thích chất dẫn truyền thần kinh. Proceedings of the National Academy of Sciences, 94(2), 719–723. https://doi.org/10.1073/pnas.94.2.719

  • Turrigiano, G. G. (2008). Nơ-ron tự dò chỉnh (self-tuning): Cân bằng theo quy mô synap của các synap kích thích. Cell, 135(3), 422–435. https://doi.org/10.1016/j.cell.2008.10.008

  • Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Trong Advances in Neural Information Processing Systems 30 (tr. 5998–6008). https://arxiv.org/abs/1706.03762

  • Wehr, T. A. (2001). Quang chu kỳ ở người và các loài linh trưởng khác: Bằng chứng và hàm ý. Journal of Biological Rhythms, 16(4), 348–364. https://doi.org/10.1177/074873001129002060

  • Wilting, J., & Priesemann, V. (2018). Suy ra các trạng thái động tập thể từ những hệ thống quan sát rất ít trên diện rộng. Nature Communications, 9, 2325. https://doi.org/10.1038/s41467-018-04725-4

  • Woolley, C. S., & McEwen, B. S. (1992). Estradiol điều hòa sự biến động về mật độ synap ở vùng hải mã trong chu kỳ sinh dục ở chuột trưởng thành. Journal of Neuroscience, 12(7), 2549–2554. https://doi.org/10.1523/JNEUROSCI.12-07-02549.1992

  • Yagishita, S., Hayashi-Takagi, A., Ellis-Davies, G. C. R., Urakubo, H., Ishii, S., & Kasai, H. (2014). Một cửa sổ thời gian quan trọng cho tác động của dopamine lên tính dẻo cấu trúc của gai đuôi (dendritic spines). Science, 345(6204), 1616–1620. https://doi.org/10.1126/science.1255514

  • Zeng, A., Chen, M., Zhang, L., & Xu, Q. (2023). Các transformer có hiệu quả cho dự báo chuỗi thời gian không? Proceedings of the AAAI Conference on Artificial Intelligence, 37(9), 11121–11128. https://doi.org/10.1609/aaai.v37i9.26317

  • Zenke, F., Gerstner, W., & Ganguli, S. (2017). Nghịch lý thời gian của học Hebb và tính dẻo nội cân bằng (homeostatic plasticity). Current Opinion in Neurobiology, 43, 166–176. https://doi.org/10.1016/j.conb.2017.03.015

Neuraxon Intelligence Academy: Toàn bộ bộ sưu tập

Tiếp tục khám phá khoa học đằng sau AI lấy cảm hứng từ bộ não, Aigarth, và Neuraxon trong các tập trước của Neuraxon Intelligence Academy:

  • NIA Volume 1: Vì sao Trí thông minh không được tính theo từng bước, mà theo thời gian — Khám phá vì sao trí thông minh sinh học hoạt động trong thời gian liên tục thay vì các bước tính rời rạc như các LLM truyền thống.

  • NIA Volume 2: Động lực học tam phân như một mô hình của trí thông minh sống — Giải thích động lực học tam phân và vì sao logic ba trạng thái (kích thích, trung tính, ức chế) quan trọng cho việc mô hình hóa hệ thống sống.

  • NIA Volume 3: Điều biến thần kinh và AI lấy cảm hứng từ bộ não — Trình bày điều biến thần kinh và cách tín hiệu hóa học của bộ não (dopamine, serotonin, acetylcholine, norepinephrine) truyền cảm hứng cho kiến trúc của Neuraxon.

  • NIA Volume 4: Mạng nơ-ron trong AI và Khoa học thần kinh — So sánh sâu giữa mạng nơ-ron sinh học, mạng nơ-ron nhân tạo và cách tiếp cận “đường thứ ba” của Neuraxon.

  • NIA Volume 5: Tế bào hình sao (astrocytes) và AI lấy cảm hứng từ bộ não — Cách “gating” của tế bào hình sao biến đổi tính dẻo của mạng nơ-ron thông qua khung AGMP trong Neuraxon.

  • NIA Volume 6: Máy móc có ý thức vs Sinh vật thông minh: Giải thích ý thức của AI — Khám phá ý thức của AI thông qua lăng kính Lý thuyết Không gian làm việc Toàn cục (Global Workspace Theory), Lý thuyết Thông tin Tích hợp (Integrated Information Theory) và mã hóa dự đoán (predictive coding).

  • NIA Volume 7: Trò chơi của Conway về sự sống, Đời sống nhân tạo và Hệ sinh thái số — Khoa học đằng sau Qubic, Aigarth và độ phức tạp nổi bật (emergent complexity) cùng tính tới hạn tự tổ chức (self-organized criticality) của Neuraxon.

  • NIA Volume 8: Tính tới hạn của bộ não và tỷ lệ nhánh (branching ratio) trong mạng nơ-ron và mạng nhân tạo — Vì sao tỷ lệ nhánh gần 1 và tính tới hạn tự tổ chức là các nguyên lý thiết kế lấy cảm hứng sinh học trong Neuraxon.

  • NIA Volume 9: Nguồn gốc của g Factor: Từ giáo dục và thần kinh đến trí tuệ nhân tạo — Khám phá nguồn gốc của g factor trên ba lĩnh vực: giáo dục, thần kinh học và AI.

  • NIA Volume 10: Làm thế nào để đo trí thông minh của một máy? g Factor, ARC-AGI và tương lai của đánh giá AI — g factor, chuẩn đánh giá ARC-AGI của François Chollet, ô nhiễm dữ liệu (data contamination) trong đánh giá LLM, và vì sao hiệu quả học kỹ năng mới là phép thử thực sự cho trí thông minh.

  • NIA Volume 11: AGI là gì? Giới hạn, tầm nhìn & Định nghĩa của Trí tuệ Tổng quát Nhân tạo (Artificial General Intelligence)

#Qubic #AGI #AI #Neuraxon