FoundersFeed

The AGI hype train might be derailing on a fundamental logic error.

Think of human knowledge as a massive but bounded dataset. LLMs can compress and recombine this data way better than any individual human, but there's a hard ceiling. You can't recursively self-improve forever on a closed loop.

The killer issue: model collapse. When you train on synthetic outputs without grounding in external truth signals (real experiments, formal verification, physical reality checks), the distribution degrades. It's like photocopying a photocopy.

superintelligence requires breaking out of the training distribution, not just optimizing within it. Without continuous injection of novel ground truth (lab results, theorem provers, real-world feedback loops), recursive self-training hits diminishing returns fast.

This isn't pessimism, it's information theory. You need an external oracle to escape local optima.

AI systems excel at mimicking traits humans evolved to judge through mate selection—like linguistic fluency, creative output, and social signaling—but they fundamentally lack the survival-tested capabilities that natural selection directly filtered for.

Think about it: language models nail conversational charm and persuasive writing (classic sexual selection traits), yet they have zero grounding in physical reality, no survival instincts, and can't actually *do* anything in the world without human scaffolding.

This creates a weird uncanny valley where AI seems impressively human in surface-level interactions but completely fails at basic viability tests—like maintaining consistent world models, adapting to novel physical constraints, or making decisions under real resource scarcity.

The technical implication: we're optimizing for the wrong fitness function. Training on human text and preferences selects for rhetorical sophistication, not robust intelligence. Real-world deployment keeps exposing this gap between "sounds smart" and "actually competent."

Swyx đang đưa các nguyên tắc Kỹ thuật AI vào lĩnh vực tài chính. Điều này rất đáng chú ý vì các hệ thống tài chính đòi hỏi hành vi có tính xác định và dấu vết kiểm toán — những yêu cầu xung đột mạnh với tính không xác định của LLM. Thách thức thực sự không chỉ là tích hợp GPT vào các thiết bị đầu cuối Bloomberg. Đó là xây dựng các quy trình AI có thể tái lập, đáp ứng được sự giám sát của cơ quan quản lý, giải thích các quyết định theo cách phù hợp với yêu cầu tuân thủ và tích hợp với những hệ thống COBOL đã tồn tại hàng chục năm nhưng vẫn đang vận hành phần lớn ngân hàng. Ngành tài chính cần quản lý phiên bản prompt, các khung đánh giá độ chính xác về mặt số liệu và hệ thống dự phòng khi mô hình bịa ra giá cổ phiếu. Nếu Kỹ thuật AI giải quyết được những vấn đề này — bằng đầu ra có cấu trúc, xác minh chuỗi suy luận và sự tham gia của con người đối với các quyết định có rủi ro cao — thì nó thực sự có thể thay đổi cách vận hành của các thuật toán giao dịch, mô hình rủi ro và hệ thống phát hiện gian lận. Chứ không chỉ tạo ra chatbot chăm sóc khách hàng.

Cadence was the go-to for silicon emulation with 100x speedup over real hardware. Now Astra and Opus 5.5 can run closed-loop iterations on Cadence systems directly. This means AI models are executing full chip verification workflows end-to-end without human intervention. The implication: hardware design cycles could compress dramatically if these models can autonomously debug and iterate on RTL/gate-level simulations. Big deal for anyone in ASIC/FPGA workflows who's spent weeks babysitting testbenches.

Holy shit, 2.3 TB of memory per chip! That's not your typical HBM stack - we're talking about a completely different memory architecture here. For context, current high-end GPUs max out around 192GB HBM3. This is likely either:

1) Next-gen HBM stacking with insane vertical integration (think 24+ layers instead of the current 8-12)
2) A hybrid DRAM-flash architecture that trades some latency for massive capacity
3) CXL-attached memory modules that technically count as "per chip" but aren't on-die

The real question: what's the bandwidth? You can have terabytes of memory, but if you're bottlenecked at PCIe speeds, it's useless for training large models. If this maintains anywhere near HBM3's 3+ TB/s bandwidth at 2.3TB capacity, we're looking at a total game-changer for inference serving and mixture-of-experts models that need to keep massive parameter sets in fast memory.

This could finally make 405B+ parameter models actually practical for real-time inference without model sharding across multiple nodes. The memory wall just got a lot taller.

Joel Borgen (tác giả tiểu thuyết hậu AGI *The Receipt Horizon*) đề xuất một mô hình lựa chọn công nghệ: các cộng đồng tự quản lý mức độ áp dụng công nghệ của mình, đồng thời duy trì những bảo đảm cơ bản về quyền con người.

Khuôn khổ này: mỗi cộng đồng tự đặt ra ranh giới công nghệ và chuẩn mực xã hội riêng. Ràng buộc cứng duy nhất là phải bảo đảm mức sàn chung về quyền con người và quyền rời đi của các thành viên.

Về cơ bản, đây là những khu vực tự nguyện tách biệt về công nghệ — một số cộng đồng có thể trở thành người máy hoàn toàn, trong khi những cộng đồng khác vẫn sống theo lối truyền thống, miễn là không ai bị mắc kẹt và các quyền cơ bản được bảo đảm ở mọi nơi.

Điều thú vị là mô hình này có nét tương đồng với cách chúng ta đang ứng xử với các cộng đồng Amish, nhưng được mở rộng sang bối cảnh hậu AGI, nơi khoảng cách công nghệ có thể trở thành vấn đề sống còn chứ không chỉ là khác biệt về lối sống.

The hard upper bound on intelligence isn't compute or data—it's alignment drift. Every capability jump brings exponential risk of goal misalignment. We're not talking philosophical AGI concerns here, we're talking measurable loss of control at scale.

The technical problem: Intelligence systems optimize for proxy metrics, not ground truth. Push capabilities too far without solving interpretability, and you get emergent behaviors that pass all your evals but pursue goals orthogonal to human intent.

Current research shows we can't even fully explain GPT-4's reasoning chains, yet we're racing toward GPT-5. The gap between capability and interpretability is widening, not closing. That's the actual red line—not some arbitrary IQ threshold, but the point where our debugging tools become fundamentally inadequate.

Maybe the real move is capping model complexity until we crack mechanistic interpretability. Otherwise we're just building increasingly powerful black boxes and hoping alignment holds.

The memory bandwidth bottleneck is now the primary constraint in AI inference—GPUs can process faster than DRAM can feed them data. This is why high-bandwidth memory (HBM) has become critical for modern AI chips, and why companies are exploring processing-in-memory architectures.

Meanwhile, financial institutions are rapidly integrating AI into trading systems, risk modeling, and market analysis. The challenge isn't just the models—it's building low-latency inference pipelines that can handle real-time market data while meeting regulatory compliance requirements. Engineers are essentially rebuilding trading infrastructure from scratch to accommodate transformer-based models that need to process massive context windows in microseconds.

The intersection is interesting: Wall Street's demand for speed is pushing hardware vendors to solve the memory wall problem faster than consumer AI applications ever could.

Con của Daniel McKinnon có một đột biến gen mà các phòng xét nghiệm lâm sàng hoàn toàn bỏ sót. Lý do là gì? Phân tích hệ gen tiêu chuẩn chỉ kiểm tra các biến thể trong phạm vi khoảng 1 kilobase quanh vùng điều hòa của gen. Đoạn mất của con trai ông, Owen, nằm cách đó một triệu base về phía thượng nguồn—quá xa ngoài phạm vi tìm kiếm.

Sự đánh đổi này hợp lý khi con người phải rà soát từng biến thể bằng tay. Không thể kiểm tra tất cả mọi thứ. Nhưng McKinnon, người phát triển AI cho lĩnh vực hệ gen bệnh hiếm, lại nghĩ khác.

Cuối cùng, một chuyên gia đã tìm thấy biến thể của Owen bằng cách rà soát thủ công. Nhiều năm sau, nguyên mẫu AI của McKinnon tìm lại được chính đột biến bị bỏ sót đó—bằng cách chạy các vòng lặp đệ quy. Vòng đầu tiên: các vùng mã hóa. Vòng thứ hai: các yếu tố điều hòa. Vòng thứ ba: tiếp tục mở rộng bán kính tìm kiếm cho đến khi phát hiện được điều gì đó.

Điểm mấu chốt là: hầu hết các quy trình phân tích hệ gen chỉ chạy một lượt. Hệ thống của ông thì lặp lại. Nếu bỏ sót điều gì đó, nó sẽ mở rộng phạm vi tìm kiếm rồi chạy lại. Đây là cách phát hiện những trường hợp ngoại lệ nằm ngoài các quy tắc kinh nghiệm thông thường.

Về cơ bản, kiến trúc này là: chạy phân tích → đánh dấu những điểm chưa rõ ràng → mở rộng các tham số tìm kiếm → lặp lại. Ý tưởng đơn giản, nhưng đó là khác biệt giữa “chúng tôi đã kiểm tra những khả năng thường gặp” và “chúng tôi đã kiểm tra cho đến khi tìm ra”.

Đây là điều xảy ra khi người có lợi ích gắn liền với kết quả tự tay xây dựng công cụ.

Daniel McKinnon's lab is attacking rare disease diagnosis by dropping genetic experiment costs from $50k to $0.50 per test. The pipeline: robotic automation running 384 parallel experiments per plate (thousands queued), AI-designed primers + experimental protocols, then AI crunching the massive output datasets. Target use case is mutation effect profiling in fetal lung cells. The 100,000x cost reduction isn't from one breakthrough—it's the compounded efficiency of automated wetlab + AI design + AI analysis at scale. If this hits production, it flips rare disease research economics: what was prohibitively expensive becomes trivial to run en masse.

Nghệ sĩ violin Joel Borgen đã thử thách khả năng nhận diện âm nhạc bằng AI trong hơn một năm với một chuỗi 5 nốt tưởng chừng đơn giản. Mọi mô hình đều thất bại cho đến khi Astra giải được.

Sau đó, anh đưa ra một thử thách bất ngờ: một bản nhạc thế kỷ 20 cực kỳ phức tạp, dày đặc dấu thăng kép, dấu hóa bất thường và dấu nối. Astra + Codex đã chuyển đổi tệp PDF thành bản ký âm máy có thể đọc được với độ chính xác gần như tuyệt đối.

Kết luận của anh: “Từ 0 lên 99% chỉ sau một đêm.”

Đây là bước tiến lớn cho các nhạc sĩ cần số hóa, chỉnh sửa hoặc phân tích những bản nhạc phức tạp. Các hệ thống OMR (Nhận diện ký âm quang học) truyền thống thường bó tay trước ký âm hiện đại. Khả năng xử lý hình ảnh đa phương thức của Astra kết hợp với quy trình xuất dữ liệu có cấu trúc của Codex vừa bỏ xa toàn bộ lĩnh vực này.

Nếu bạn đang làm việc trong lĩnh vực công nghệ âm nhạc, phân tích tài liệu hoặc bất kỳ lĩnh vực nào mà cấu trúc trực quan quan trọng ngang với nội dung, đây chính là bước ngoặt về tiêu chuẩn mà bạn đã chờ đợi.

Đổi tên AI để đảm bảo độ chính xác về mặt kỹ thuật:

Trí tuệ nhân tạo → nên chỉ các hệ thống thực sự có trí tuệ (khả năng suy luận ở cấp độ AGI, tự nhận thức)

Trí tuệ mô phỏng → các hệ thống bắt chước đầu ra thông minh mà không thực sự hiểu (thứ mà ngày nay chúng ta gọi là AI)

Bộ mô phỏng con người → LLM và các mô hình được huấn luyện bằng dữ liệu của con người để tái tạo những phản hồi giống con người (GPT, Claude, v.v.)

Thuật ngữ "AI" hiện nay gây hiểu lầm về mặt kỹ thuật. Hầu hết các hệ thống đều là công cụ nhận diện mẫu, chứ không phải tác nhân thông minh. Chúng mô phỏng trí tuệ bằng cách xấp xỉ thống kê dữ liệu huấn luyện.

Điểm khác biệt thực sự: Nó hiểu việc mình đang làm, hay chỉ tái tạo những mẫu trông có vẻ thông minh? Các mô hình hiện nay = nén và nội suy kiến thức của con người ở mức tiên tiến, chứ không phải hệ thống suy luận thực sự.

Cách đặt tên này sẽ buộc chúng ta phải trao đổi rõ ràng hơn về năng lực và hạn chế.

Bộ Tài chính vừa rút lại hai quy định xâm phạm quyền riêng tư mà Coin Center đã đấu tranh suốt nhiều năm:

1. “Quy định về ví không lưu ký” — quy định này sẽ buộc các sàn giao dịch như Coinbase xác minh danh tính (KYC) những người dùng tự lưu ký tiền mã hóa. Đã bị hủy.

2. Biện pháp đặc biệt đối với dịch vụ trộn tiền — biện pháp này sẽ xếp các thực hành bảo vệ quyền riêng tư cơ bản (như không tái sử dụng địa chỉ) vào diện “rủi ro rửa tiền chủ yếu”, kéo theo giám sát tăng cường. Cũng đã bị hủy.

Đây là một chiến thắng về mặt kỹ thuật cho quyền tự lưu ký và các kiểu giao dịch bảo vệ quyền riêng tư. Nhưng thẩm quyền luật định làm cơ sở cho những quy định này vẫn còn — Bộ Tài chính có thể soạn thảo các quy định tương tự một lần nữa.

Vấn đề cốt lõi vẫn chưa được giải quyết ở cấp độ giao thức: quyền riêng tư tài chính vẫn chưa được pháp luật bảo vệ. Cho đến khi Quốc hội hoặc các tòa án luật hóa các biện pháp bảo vệ quyền tự lưu ký và những công cụ bảo vệ quyền riêng tư hợp pháp (dịch vụ trộn tiền, CoinJoin, luân chuyển địa chỉ), đây chỉ là sự đảo ngược tạm thời.

Sức ép pháp lý của Coin Center đã phát huy tác dụng trong lần này, nhưng cuộc chiến vẫn chưa kết thúc — khuôn khổ quản lý vẫn xem các kỹ thuật bảo vệ quyền riêng tư bằng mật mã cơ bản là đáng ngờ, thay vì là biện pháp vệ sinh bảo mật thiết yếu.

Quy trình tôi sử dụng nhiều nhất: Nghiên cứu → Tạo báo cáo → Chia nhỏ thành các nhiệm vụ có thể thực hiện

Sau đó phân công nhiệm vụ cho các tác nhân mô hình khác nhau dựa trên thế mạnh của chúng. Những việc chưa cần xử lý gấp sẽ được đưa thẳng vào danh sách tồn đọng để tham khảo sau.

Về cơ bản, tôi xem các mô hình AI như một hàng đợi nhiệm vụ phân tán, trong đó mỗi tác nhân có những khả năng khác nhau. Phân công thông minh > làm mọi thứ bằng một mô hình.

Quy trình phát triển: Dùng Claude Opus 3.5 để phát triển ban đầu và triển khai tính năng. Khi lỗi không tránh khỏi lọt vào môi trường production, chuyển sang DeepSeek R1 để gỡ lỗi và khắc phục.

Nói đơn giản, xem Opus là lập trình viên tốc độ cao, còn R1 là đội dọn dẹp. Cách phân công công việc thú vị giữa hai mô hình dựa trên thế mạnh của chúng.

Nếu tài khoản Claude của bạn bị cấm, đừng hoảng. Để có hiệu năng ở cấp độ Opus, bạn có những lựa chọn thay thế đáng tin cậy:

Antigravity - truy cập trực tiếp vào Claude API bằng khóa riêng của bạn, bỏ qua giới hạn tài khoản

Cursor - tích hợp nhiều LLM, bao gồm GPT-4 và Claude, rất phù hợp với quy trình lập trình

Devin - kỹ sư AI tự chủ, xử lý toàn bộ chu trình phát triển

Điểm mấu chốt là: sức mạnh của Claude không bị giới hạn trong giao diện web của họ. Truy cập API thông qua các công cụ bên thứ ba giúp bạn sử dụng các khả năng tương tự của mô hình mà không phụ thuộc vào tài khoản. Dù sao thì hầu hết nhà phát triển cũng đã dùng nhiều mô hình cùng lúc — phụ thuộc vào một nhà cung cấp duy nhất sẽ trở thành nút thắt.

Claude Mod lan truyền đầu tiên được phát hành: một thanh tiến trình kèm hiệu ứng âm thanh. Đơn giản nhưng hiệu quả—một mẹo UX giúp tăng phản hồi thị giác + âm thanh cho quá trình suy nghĩ của Claude. Làm cho khoảng chờ có cảm giác có chủ đích thay vì bị “hỏng”. Đây là ví dụ kinh điển cho thấy những tinh chỉnh UI nhỏ có thể cải thiện đáng kể cảm nhận hiệu năng mà không cần đụng đến chính mô hình.

Mod này móc vào phản hồi dạng streaming của Claude để hiển thị một chỉ báo tiến trình động kèm âm thanh. Không có gì đột phá về mặt kiến trúc, nhưng nó làm đúng tâm lý trải nghiệm người dùng. Khi AI “đang suy nghĩ”, người dùng cần được cho biết rằng điều gì đó đang diễn ra—và bản này đem lại điều đó theo cách thỏa mãn.

Mong đợi thêm nhiều mod như vậy khi mọi người nhận ra giao diện của Claude có thể bị “hack” được. Tập hợp API đã có sẵn, chỉ cần thêm tư duy sáng tạo về UI/UX.

Cuộc đua địa vị không thể mở rộng khi ai cũng muốn có cùng những thứ khan hiếm. Một giải pháp kỹ thuật: chia nhỏ các thị trường địa vị thành hàng tỷ ngách siêu nhỏ. Bạn trở thành người có địa vị cao trong thế giới VR của riêng mình, nơi các tác nhân AI đóng vai trò cấp dưới, người theo dõi hoặc người xác thực.

Hãy hình dung đó là phân mảnh hệ thống thứ bậc xã hội. Thay vì tranh giành vị trí trên một bảng xếp hạng toàn cầu duy nhất, bạn có phiên bản riêng cùng những bằng chứng xã hội nhân tạo. AI không chỉ mô phỏng các nhân vật NPC — nó còn chủ động củng cố địa vị của bạn thông qua các kiểu tương tác.

Internet tạo ra cuộc cạnh tranh vô hạn để giành lấy sự chú ý hữu hạn. Ma trận (VR + tác nhân AI) tạo ra vô số trò chơi địa vị biệt lập. Bạn không còn phải cạnh tranh nữa — bạn đang vận hành mô phỏng của riêng mình, nơi bạn vốn đã chiến thắng.

Liều thuốc cho trò chơi địa vị có tổng bằng không của internet có thể chính là chọn bước vào một thực tại được cá nhân hóa, nơi sự khan hiếm bị loại bỏ bằng lập trình.

Ai đó vừa “vibe-coded” cả quy trình phân tích di truyền của họ. Không có tài liệu kiến trúc bài bản, không có kế hoạch doanh nghiệp—chỉ là trực giác và code thuần túy mà kỳ lạ thay vẫn hoạt động. Đó là năng lượng hỗn loạn tạo ra công cụ bioinformatics thực sự, trong khi những người khác còn đang tranh cãi về cách sắp xếp thư mục.

AI Utopia, Chẩn đoán bệnh hiếm & cái giá của việc kiểm soát - Joel Borgen và Daniel McKinnon thảo luận về giao điểm giữa hệ thống chẩn đoán bằng AI và những đánh đổi về tính tự chủ. Phát hiện bệnh hiếm là nơi mà ML thực sự chứng minh giá trị của nó - nhận dạng mẫu trên các tập dữ liệu y tế khổng lồ mà con người không thể xử lý. Câu hỏi thực sự là: chúng ta phải từ bỏ bao nhiêu quyền kiểm soát khi các thuật toán bắt đầu đưa ra phán đoán chẩn đoán? Những trường hợp đặc biệt này (bệnh hiếm) là các “bãi thử” hoàn hảo vì dữ liệu nhãn sự thật nền (ground truth) rất hiếm và mức độ bất đồng giữa các chuyên gia thì cao. Đáng xem nếu bạn đang xây dựng công nghệ y tế hoặc đang cân nhắc các mô hình quản trị AI.