Local LLM Năm 2024: Tự Dựng Trợ Lý AI Phân Tích Dữ Liệu Và Lọc Tạp Âm Số

Nói thẳng là cái trào lưu tự dựng Local LLM để làm trợ lý số năm 2024 nghe thì oai và bảo mật đấy, nhưng lúc lôi ra vần vạc thực tế mới thấy lắm lúc bực mình muốn đập máy. Mình cũng đú đởn theo phong trào, tự cài Ollama rồi kéo con Llama 3 8B về máy để hy vọng có một bộ não nhân tạo độc lập, không phụ thuộc cloud, chẳng sợ lộ dữ liệu dự án. Công nhận là mấy bước cài đặt đầu tiên qua terminal khá nhanh gọn. Chỉ cần gõ vài dòng lệnh là hệ thống đã sẵn sàng ngốn RAM. Thậm chí với những máy eo hẹp tài nguyên hơn, kéo con Phi-3 mini chạy cũng khá nhẹ nhàng ở các tác vụ đọc file Markdown hay CSV. Nhưng mà, điểm chê lớn nhất nằm ở hiệu năng thực tế khi đem ra áp dụng vào đời sống. Mình viết hẳn một script Python nhỏ để nối trực tiếp với Ollama, với mục đích phân tích hộp thư đến và lọc sạch lũ bot lừa đảo, tin nhắn rác mồi chài tài chính hay mấy lời mời gọi vớ vẩn trên các nhóm mạng xã hội. Prompt thì thiết kế cực kỳ chặt chẽ để nhận diện ý định giao tiếp, gắn cờ cảnh báo và tóm tắt nhanh gọn. Thế nhưng, khổ cái là khi gặp đoạn hội thoại dài ngoằn ngoèo hoặc dính nhiều ký tự lạ, model chạy local bắt đầu đuối. Context length có giới hạn khiến nó hay bị quên mất ngữ cảnh trước đó. Máy thì hú quạt liên tục, pin sụt nhanh như cách người yêu cũ trở mặt, thỉnh thoảng đang xử lý dở thì đứng hình mất vài giây. Nói chung là nó chưa mượt mà hay khôn ngoan được như mấy con hàng đám mây trả phí. Được cái là đổi lại sự giật cục đó thì hòm thư sạch sẽ hẳn, đỡ phải nhìn mấy thứ tào lao làm loãng không gian làm việc. Thời gian dăm ba phút đợi máy suy nghĩ, thà mình gấp máy lại đi ra ngoài làm ly cà phê với đứa bạn thân còn thấy sảng khoái hơn là cứ cắm mặt vào tối ưu hóa mấy cái thông số vớ vẩn này. Mọi người đang chạy model nào mà không bị giật lag trên mấy con máy phổ thông thế?