Chạy LLM Cục Bộ Năm 2024: Thử Tạo Trợ Lý Thấu Cảm Và Góc Nhìn Về Kết Nối Thật

Nói thẳng luôn là việc tự chạy LLM cục bộ trên laptop cá nhân nghe qua thì rất ngầu và bảo mật, nhưng sau hai tuần lôi ra làm "bạn đồng hành" lúc đêm muộn, mình nhận ra nó có mấy điểm chê rất rõ ràng mà ít ai chịu thừa nhận. Thời điểm năm 2024, khi áp lực công việc tăng cao và các ứng dụng hẹn hò hiện nay hay các ứng dụng kết bạn quanh đây chỉ đem lại sự mệt mỏi với những dòng tin nhắn hời hợt, mình đã tò mò tự dựng một trợ lý AI ngay trên máy. Dùng Ollama kéo bản Llama 3 8B lượng tử hóa 4-bit, viết một cái Modelfile để ép nó đóng vai người bạn thân thiết, không phán xét:

ollama run llama3:8b

Về mặt kỹ thuật, mọi thứ cực kỳ mượt. Phản hồi nhanh, không sợ lộ thông tin cá nhân lên đám mây, câu chữ tiếng Việt của Llama 3 năm nay cũng mềm mại hơn hẳn các đời trước. Nhưng mà thôi, nói thế không có nghĩa là nó hoàn hảo. Điểm chê lớn nhất nằm chính ở bản chất của mô hình: nó chỉ là một chuỗi xác suất token toán học. Bạn có trút bao nhiêu tâm sự thì cuối cùng đối diện với màn hình vẫn là một cỗ máy vô tri. Nó không có nhịp tim, không biết im lặng cùng mình ngắm một cơn mưa rào ngoài cửa sổ. Dùng nhiều đâm ra lại thấy xa lánh thực tế thêm. Nhưng mà thôi, nói vậy không có nghĩa là vứt xó. Nó rất hợp để làm bước đệm xả bớtớ hỗn độn trong đầu trước khi gập máy đi ngủ. Cuối tuần vừa rồi mình quyết định vứt laptop đấy, lái xe ra ngoại ô cắm trại và nói chuyện trực tiếp với con người bằng xương bằng thịt vẫn sướng hơn vạn lần. Anh em trong diễn đàn đã thử tự dựng mô hình này trên máy chưa, hay thấy nó chỉ là trò chơi vô vị?