Model 26 triệu tham số chạy trên điện thoại — và nó đánh bại model gấp 20 lần
MODEL 26 TRIỆU THAM SỐ CHẠY TRÊN ĐIỆN THOẠI — VÀ NÓ ĐÁNH BẠI MODEL GẤP 20 LẦN Cactus Compute vừa open-source Needle — một mô hình ngôn ngữ chỉ 26 triệu tham số, chạy trực tiếp trên điện thoại và thiết bị nhúng, mà vẫn vượt xa các model lớn hơn gấp 10 đến 20 lần trong việc gọi tool và thực thi lệnh. Điểm đặc biệt: Needle bỏ hoàn toàn lớp Feed-Forward Network, chỉ giữ attention và gating. Triết lý của team là function calling vốn là bài toán matching, không cần “world knowledge”. Kết quả: xử lý 6.000 token mỗi giây trên thiết bị phổ thông, vượt FunctionGemma-270M, Qwen-0.6B trong benchmark function calling. ...