Kết thúc era Transformer? Model mới xử lý 12 triệu token không giới hạn
KẾT THÚC ERA TRANSFORMER? MODEL MỚI XỬ LÝ 12 TRIỆU TOKEN KHÔNG GIỚI HẠN Một startup tên Subquadratic vừa ra mắt mô hình thương mại đầu tiên dùng kiến trúc hoàn toàn khác Transformer — và nó xử lý được context window 12 triệu token. Transformer truyền thống có một điểm yếu chí mạng: chi phí tính toán tăng theo cấp số nhân khi mở rộng context. Nghĩa là gấp đôi context = gấp bốn chi phí. SubQ 1M-Preview dùng cơ chế attention mới, bỏ qua giới hạn này. Kết quả: xử lý tương đương toàn bộ Wikipedia tiếng Việt trong một lần, với chi phí không tăng exponentially. ...