Trí tuệ nhân tạo 26/10/2026 7 phút đọc

AI chạy trên máy cá nhân và điện thoại: mô hình nhỏ, chip NPU, ưu và nhược

Dịch ảnh khi đang trên máy bay, tóm tắt cuộc họp mà dữ liệu không rời máy. AI trên thiết bị chạy nhờ đâu, và khi nào nó thật sự có ích.

Ảnh: Wikideas1 · CC0 · Wikimedia Commons

Bạn đang ở trên máy bay, chế độ máy bay bật, không mạng. Bạn mở ảnh chụp tấm biển tiếng Nhật hôm qua, chạm vào, và điện thoại vẫn dịch ra tiếng Việt. Bạn ghi âm một cuộc họp, điện thoại tự chép thành văn bản và tóm tắt mấy ý chính. Không có dữ liệu nào rời khỏi máy. Vài năm trước, những việc này cần gửi lên máy chủ khổng lồ ở đâu đó. Giờ một phần đã nằm gọn trong túi quần bạn.

Đó là xu hướng mà giới công nghệ gọi là AI trên thiết bị (on-device AI). Các hãng điện thoại và máy tính đang quảng cáo nó rất rầm rộ, với những cái tên như "AI PC", "điện thoại AI". Bài này giải thích nó là gì, chạy được nhờ đâu, và khi nào thì nó thật sự có ích cho bạn.

Chatbot bạn quen dùng sống ở trung tâm dữ liệu

Khi bạn gõ câu hỏi vào một chatbot AI phổ biến, câu hỏi đó được gửi qua internet đến trung tâm dữ liệu của nhà cung cấp. Ở đó, một mô hình ngôn ngữ cực lớn chạy trên hàng loạt chip chuyên dụng đắt tiền, tạo câu trả lời, rồi gửi ngược về máy bạn. Mô hình lớn cỡ đó cần lượng bộ nhớ gấp nhiều lần một chiếc điện thoại, và tiêu thụ điện như một nhà máy nhỏ khi phục vụ hàng triệu người.

Cách này cho kết quả tốt, nhưng có những cái giá: phải có mạng, có độ trễ, nhà cung cấp tốn tiền cho mỗi câu hỏi (và cuối cùng bạn trả bằng cách này hay cách khác), và quan trọng nhất là dữ liệu của bạn phải đi ra ngoài. Ảnh, tin nhắn, giọng nói, tài liệu công việc đều đi qua máy chủ của người khác.

AI trên thiết bị là lời đáp cho câu hỏi: liệu có thể làm một phần việc đó ngay tại chỗ không?

Mô hình nhỏ: học ít hơn nhưng gọn hơn

Mô hình AI về bản chất là một tập hợp khổng lồ các con số, gọi là tham số, được điều chỉnh qua quá trình huấn luyện. Mô hình lớn có hàng trăm tỷ tham số. Để chạy trên điện thoại, người ta cần mô hình nhỏ hơn nhiều, thường chỉ vài tỷ tham số hoặc ít hơn. Có mấy kỹ thuật chính để làm gọn.

Chưng cất (distillation): dùng mô hình lớn làm "thầy", dạy cho một mô hình nhỏ làm "trò" bắt chước cách trả lời. Trò không giỏi bằng thầy, nhưng giữ được khá nhiều kỹ năng với kích thước nhỏ hơn hẳn.

Lượng tử hoá (quantization): giảm độ chính xác của từng con số. Thay vì lưu mỗi tham số bằng một số có nhiều chữ số thập phân, người ta làm tròn bớt. Giống như nén ảnh: file nhỏ đi nhiều lần, chất lượng giảm một chút, nhưng mắt thường khó nhận ra trong phần lớn trường hợp.

Chuyên môn hoá: thay vì một mô hình biết mọi thứ, làm những mô hình nhỏ chỉ giỏi một việc như nhận dạng giọng nói, xoá phông ảnh, gợi ý từ khi gõ phím, tóm tắt thông báo. Một mô hình chỉ biết làm một việc có thể rất nhỏ mà vẫn làm tốt.

Thực ra AI trên thiết bị không mới. Điện thoại của bạn đã dùng nó nhiều năm nay: mở khoá bằng khuôn mặt, chụp ảnh đêm, nhận diện khuôn mặt để gom ảnh theo người, bàn phím đoán chữ. Cái mới là các mô hình ngôn ngữ và tạo ảnh, vốn trước đây chỉ chạy được trên máy chủ, giờ đã có phiên bản thu nhỏ đủ để chạy trên máy cá nhân.

NPU: con chip chuyên làm toán cho AI

Bên trong điện thoại hay máy tính có bộ xử lý trung tâm (CPU), giỏi làm đủ thứ việc một cách linh hoạt, và bộ xử lý đồ hoạ (GPU), giỏi làm rất nhiều phép tính đơn giản cùng lúc. Mô hình AI chủ yếu là nhân và cộng ma trận số liệu khổng lồ, lặp đi lặp lại. CPU làm được nhưng chậm và tốn pin. GPU làm tốt hơn nhưng vẫn ngốn điện.

NPU (neural processing unit, bộ xử lý thần kinh) là một khối mạch được thiết kế riêng cho đúng loại phép tính đó. Nó không linh hoạt bằng CPU, nhưng làm phép tính AI nhanh hơn và tốn ít điện hơn nhiều. Hãy hình dung CPU như một đầu bếp giỏi nấu mọi món, còn NPU là cái máy thái rau: chỉ làm một việc, nhưng làm nhanh và đều.

Ngày nay, phần lớn chip điện thoại tầm trung trở lên đã có NPU, dù mỗi hãng gọi một tên khác nhau. Máy tính xách tay đời mới cũng bắt đầu tích hợp NPU, và các hãng dùng sức mạnh của nó (thường đo bằng TOPS, số nghìn tỷ phép tính mỗi giây) làm điểm quảng cáo. Con số đó có ý nghĩa tham khảo, nhưng đừng xem nó là tất cả: dung lượng bộ nhớ RAM, phần mềm có tận dụng được NPU hay không, và mô hình được tối ưu ra sao cũng quan trọng không kém.

Thật ra RAM thường mới là nút thắt. Mô hình phải được nạp vào bộ nhớ để chạy, nên máy có ít RAM thì chỉ chạy được mô hình rất nhỏ, hoặc phải tắt bớt ứng dụng khác.

Ưu điểm: riêng tư, nhanh, chạy không cần mạng

Lợi ích lớn nhất là quyền riêng tư. Khi điện thoại tự tóm tắt tin nhắn hay tìm ảnh theo nội dung ngay trên máy, dữ liệu không đi đâu cả. Với những việc nhạy cảm như ghi chú sức khoẻ, tài liệu công ty, ảnh gia đình, đây là khác biệt thật.

Thứ hai là tốc độ phản hồi. Không phải chờ gửi đi và nhận về, nên những tác vụ như phụ đề trực tiếp, dịch giọng nói, chỉnh ảnh có thể diễn ra gần như tức thời.

Thứ ba là chạy được khi mất mạng: trên máy bay, ở vùng sóng yếu, khi đi nước ngoài không có gói dữ liệu.

Thứ tư, với người dùng có kỹ thuật, có thể tải về các mô hình mở và chạy trên máy tính của mình qua những phần mềm miễn phí, không cần trả phí thuê bao hằng tháng. Một máy tính đủ mạnh có thể có một trợ lý AI riêng, hoạt động hoàn toàn ngoại tuyến.

Nhược điểm: nhỏ thì kém hơn, và không phải lúc nào cũng "trên máy"

Mô hình nhỏ thì kiến thức ít hơn và lập luận kém hơn. Nó làm tốt những việc hẹp như tóm tắt một đoạn, sửa chính tả, viết lại câu, nhưng hỏi những câu cần hiểu biết rộng hay suy luận nhiều bước thì dễ sai, dễ "bịa" hơn mô hình lớn trên máy chủ. Với tiếng Việt, mô hình nhỏ thường yếu hơn rõ rệt so với tiếng Anh, vì dữ liệu huấn luyện tiếng Việt ít hơn.

Chạy AI nặng trên máy cũng làm nóng máy và tốn pin, dù NPU đã giúp giảm đáng kể. Và nó chiếm dung lượng lưu trữ: mỗi mô hình có thể nặng vài GB.

Một điểm hay bị bỏ qua: nhiều tính năng được quảng cáo là "AI" trên điện thoại thật ra là kết hợp. Việc đơn giản chạy trên máy, việc phức tạp vẫn gửi lên máy chủ. Một số hãng nói rõ khi nào dữ liệu rời máy, một số thì không. Nếu quyền riêng tư là lý do bạn quan tâm, hãy đọc phần cài đặt và chính sách của tính năng đó, đừng mặc định mọi thứ đều xử lý tại chỗ.

Cuối cùng, mức hỗ trợ không đồng đều. Có tính năng chỉ chạy trên dòng máy mới, có tính năng chưa hỗ trợ tiếng Việt, có tính năng chỉ mở ở một số nước. Nhãn "AI" trên hộp máy không đảm bảo bạn sẽ dùng được những gì thấy trong quảng cáo.

Khi chọn mua máy, nên hỏi gì

Nếu bạn đang cân nhắc một chiếc điện thoại hay máy tính "có AI", thay vì nhìn con số TOPS, hãy hỏi mấy câu cụ thể: tính năng nào thật sự chạy ngoại tuyến? Có hỗ trợ tiếng Việt không? Máy có đủ RAM để tính năng đó chạy mượt không, hay phải tắt hết ứng dụng khác? Và quan trọng nhất: bạn có thật sự cần những tính năng đó không?

Thử một việc nhỏ ngay hôm nay: bật chế độ máy bay, rồi thử dùng các tính năng AI trên điện thoại bạn đang có. Cái nào vẫn chạy, cái đó nằm thật trong máy. Cái nào báo lỗi, cái đó vẫn đang sống trên đám mây. Kết quả có khi khiến bạn bất ngờ.

Bình luận (0)

Chưa có bình luận nào. Hãy là người đầu tiên!