https://locdang.com/tags/context-window/Recent content in Context-Window on Loc DangHugovi-VNFri, 15 May 2026 11:32:00 +0700https://locdang.com/posts/subq-12-trieu-token-context-kien-truc-moi/Fri, 15 May 2026 11:32:00 +0700https://locdang.com/posts/subq-12-trieu-token-context-kien-truc-moi/<p>Một startup Miami vừa chứng minh rằng Transformer truyền thống không phải là con đường duy nhất. Subquadratic ra mắt SubQ — mô hình ngôn ngữ đầu tiên dùng kiến trúc Subquadratic Sparse Attention (SSA), xử lý được 12 triệu token context trong một lần chạy.</p> <p>Con số ấn tượng nhất: 52 lần nhanh hơn FlashAttention ở mức 1 triệu token, giảm 1.000 lần lượng tính toán attention so với dense attention truyền thống. Needle-in-a-Haystack recall đạt 92.1%. SWE-Bench đạt 81.8%.</p>