Research

KẾT THÚC ERA TRANSFORMER? MODEL MỚI XỬ LÝ 12 TRIỆU TOKEN KHÔNG GIỚI HẠN Một startup tên Subquadratic vừa ra mắt mô hình thương mại đầu tiên dùng kiến trúc hoàn toàn khác Transformer — và nó xử lý được context window 12 triệu token. Transformer truyền thống có một điểm yếu chí mạng: chi phí tính toán tăng theo cấp số nhân khi mở rộng context. Nghĩa là gấp đôi context = gấp bốn chi phí. SubQ 1M-Preview dùng cơ chế attention mới, bỏ qua giới hạn này. Kết quả: xử lý tương đương toàn bộ Wikipedia tiếng Việt trong một lần, với chi phí không tăng exponentially. ...

Một nhóm nghiên cứu từ UC San Diego, Princeton, UW, và UC Berkeley vừa chứng minh một điều trái trực giác: bạn không cần training thêm, không cần verifier, vẫn cải thiện reasoning đáng kể. OpenDeepThink dùng Bradley-Terry aggregation để xếp hạng kết quả reasoning theo hướng breadth thay vì depth. Thay vì để model suy nghĩ sâu hơn một đường duy nhất, OpenDeepThink tạo nhiều đường reasoning song song, rồi dùng pairwise comparison để tìm ra đường tốt nhất. Kết quả: tăng 405 Elo trên Gemini 3.1 Pro ở benchmark Codeforces, chỉ trong 8 vòng (~27 phút xử lý). ...