https://locdang.com/tags/architecture/Recent content in Architecture on Lộc ĐặngHugovi-VNSat, 16 May 2026 14:30:00 +0700https://locdang.com/posts/ket-thuc-era-transformer-model-moi-xu-ly-12-trieu-token/Sat, 16 May 2026 14:30:00 +0700https://locdang.com/posts/ket-thuc-era-transformer-model-moi-xu-ly-12-trieu-token/<p>KẾT THÚC ERA TRANSFORMER? MODEL MỚI XỬ LÝ 12 TRIỆU TOKEN KHÔNG GIỚI HẠN</p> <p>Một startup tên Subquadratic vừa ra mắt mô hình thương mại đầu tiên dùng kiến trúc hoàn toàn khác Transformer — và nó xử lý được context window 12 triệu token.</p> <p>Transformer truyền thống có một điểm yếu chí mạng: chi phí tính toán tăng theo cấp số nhân khi mở rộng context. Nghĩa là gấp đôi context = gấp bốn chi phí. SubQ 1M-Preview dùng cơ chế attention mới, bỏ qua giới hạn này. Kết quả: xử lý tương đương toàn bộ Wikipedia tiếng Việt trong một lần, với chi phí không tăng exponentially.</p>