Trải Nghiệm AI Đa Phương Thức Và Local LLM Năm 2024: Bước Chuyển Dịch Thực Tế

Năm 2024 thực sự đánh dấu một bước chuyển dịch lớn của công nghệ trí tuệ nhân tạo mà mình thấy rất rõ trong công việc hàng ngày. Nếu như năm trước chúng ta còn trầm trồ với những dòng văn bản sinh ra từ chatbot trên mây, thì đến nay, AI đa phương thức và các mô hình ngôn ngữ lớn chạy cục bộ đã len lỏi vào từng ngóc ngách. Nói thật là mình thích sự thay đổi này. Khả năng AI đồng thời xử lý âm thanh, hình ảnh và ngữ cảnh với độ trễ thấp đã thay đổi cách mình làm việc. Thay vì phải gõ từng câu lệnh dài ngoằng, việc tải lên sơ đồ kiến trúc, tài liệu kỹ thuật hoặc trực tiếp chia sẻ luồng hình ảnh để AI phân tích đã trở thành thói quen thường nhật. Nhưng có một điểm khiến mình dịch chuyển hẳn sự quan tâm sang hướng khác, đó là làn sóng Local LLM và bài toán bảo mật dữ liệu. Làm việc với các tài liệu nhạy cảm khiến mình không dám đẩy mọi thứ lên đám mây của bên thứ ba nữa. Sự trỗi dậy của các mô hình nguồn mở nhẹ, chạy mượt mà ngay trên máy cá nhân với phần cứng phổ thông, đã giải quyết bài toán đó.

# Chạy mô hình mã nguồn mở cục bộ thông qua Ollama
ollama run llama3:8b

Chạy thử cái này trên máy thấy tốc độ phản hồi khá ổn, lại chủ động hoàn toàn dữ liệu không sợ lộ lọt gì sất. Mà thôi, nói vậy hơi cực đoan chứ dùng đám mây vẫn có cái tiện của nó, chỉ là khi cần sự riêng tư tuyệt đối thì con số 8B chạy local là quá đủ dùng cho các tác vụ tóm tắt hay viết code cơ bản. Công nghệ mạnh nhất không nhất thiết phải là cỗ máy khổng lồ trên đám mây, mà là công cụ nằm gọn trong tầm tay, phục vụ đúng nhu cầu mà không xâm phạm quyền riêng tư của mình. Anh em đang cài mô hình nào chạy local để làm việc hàng ngày vậy?