Thú thật là có đợt mình bị ảo tưởng sức mạnh của mấy con Local AI, cứ nghĩ kéo Llama 3 về máy cá nhân chạy là xong hết đống việc vặt văn phòng rồi tha hồ thảnh thơi.
Đợt đó thấy ai cũng nói về chuyện tự host mô hình ngôn ngữ lớn để bảo mật dữ liệu, mình cũng hí hửng dựng workflow với Ollama và Whisper trên con máy cá nhân. Ý định ban đầu rất đẹp: tóm tắt biên bản họp, sinh unit test, bóc băng file ghi âm Google Meet để kết thúc ngày làm việc lúc 5 giờ chiều. Nhưng đời không như mơ, ngay tuần đầu tiên triển khai, mình vấp phải 3 cái lỗi ngớ ngẩn làm hiệu suất chẳng tăng mà máy thì nóng ran.
Đầu tiên là tính sai VRAM khi chạy song song. Mình vừa để ollama run llama3:8b chạy nền để parse dữ liệu JSON, vừa tống một file ghi âm hơn 1 tiếng vào Whisper model medium (whisper meeting.mp3 --model medium --language vi). Kết quả là card đồ họa cạn sạch bộ nhớ, con Llama bị đẩy ngược về RAM hệ thống. Máy giật đến mức con trỏ chuột nhảy cóc, terminal đứng im, còn cái IDE thì đơ luôn. Muốn chạy cục bộ mượt thì phải biết chia khung giờ tác vụ ra, hoặc chấp nhận hạ Whisper xuống bản small nếu phần cứng chỉ có 8GB hay 16GB VRAM.
Lỗi thứ hai là nhồi tài liệu quá dài cho mô hình nhỏ. Con Llama 3 8B xử lý boilerplate code hoặc tóm tắt một đoạn thảo luận ngắn thì rất chuẩn. Thế nhưng mình lại quăng nguyên cái tài liệu dự án mấy chục trang vào Open WebUI rồi nhờ nó lọc action items. Con bot bắt đầu bịa thông tin một cách tự tin, gán nhầm deadline người này sang người khác. Mô hình 8B chạy trên máy cá nhân có giới hạn ngữ cảnh thực tế của nó, nhồi quá nhiều dữ liệu thô chỉ tổ rước bực vào người vì mất công ngồi dò lại từng dòng.
Lỗi thứ ba là lạm dụng tự động hóa vào những việc cần trao đổi thật. Mình từng thử viết script để AI tự phân loại rồi soạn sẵn nháp trả lời cho mọi email nội bộ. Hóa ra thời gian ngồi chỉnh lại từng câu prompt cho đúng ngữ cảnh giao tiếp còn lâu hơn tự tay gõ vài dòng ngắn gọn. AI cục bộ chỉ nên dùng cho các tác vụ lặp đi lặp lại vô hồn, chứ đem nó đi thay thế các cuộc trao đổi trực tiếp thì rất dễ tạo ra cảm giác xa cách và máy móc.
Sau khi sửa lại mấy chỗ đó, máy chạy êm hơn hẳn. Thời gian tiết kiệm được mình không dùng để cày thêm task hay cắm mặt vào màn hình nữa, mà dành để xách xe đi đây đi đó, thỉnh thoảng ghé Bảo Lộc hít chút không khí mát mẻ cho nhẹ đầu.
Lưu ý nhỏ: trước khi gõ lệnh kéo model mới về, nhớ ngó lại dung lượng ổ cứng và nhiệt độ phòng, card nóng quá là tự hạ xung đấy.
