Nút thắt băng thông bộ nhớ hiện là giới hạn chính trong suy luận AI—GPU có thể xử lý nhanh hơn tốc độ DRAM cung cấp dữ liệu cho chúng. Vì vậy, bộ nhớ băng thông cao (HBM) đã trở nên thiết yếu đối với các chip AI hiện đại, đồng thời các công ty đang nghiên cứu kiến trúc xử lý trong bộ nhớ.

Trong khi đó, các tổ chức tài chính đang nhanh chóng tích hợp AI vào hệ thống giao dịch, mô hình hóa rủi ro và phân tích thị trường. Thách thức không chỉ nằm ở các mô hình—mà còn là xây dựng các quy trình suy luận có độ trễ thấp, có thể xử lý dữ liệu thị trường theo thời gian thực đồng thời đáp ứng các yêu cầu tuân thủ quy định. Về cơ bản, các kỹ sư đang xây dựng lại hạ tầng giao dịch từ đầu để đáp ứng các mô hình dựa trên transformer, vốn cần xử lý những cửa sổ ngữ cảnh khổng lồ chỉ trong vài microgiây.

Điểm giao thoa này khá thú vị: nhu cầu về tốc độ của Phố Wall đang thúc đẩy các nhà cung cấp phần cứng giải quyết vấn đề bức tường bộ nhớ nhanh hơn nhiều so với những gì các ứng dụng AI tiêu dùng có thể làm.