Chạy AI Cục Bộ Năm 2024: Trợ Lý Riêng Tự Động Hóa Và 'Bộ Lọc Rác' Bảo Vệ Cuộc Sống Số

Nói thẳng ra thì không gian mạng năm nay quá ngập ngụa thông tin rác và mấy cái bẫy lừa đảo tinh vi, từ app chat tào lao cho đến đủ kiểu dụ dỗ hẹn hò mạng. Mà thôi, nếu cứ để mấy con bot của bên thứ ba cào xới hòm thư hay tin nhắn của mình thì sớm muộn gì cũng phiền phức. Thế nên đợt này mình quyết định tự dựng một con AI agent chạy cục bộ trên máy tính để làm màng lọc riêng. Thật ra cấu hình bây giờ không còn quá khó nhằn. Chỉ cần một chiếc máy dùng chip Apple Silicon hoặc card đồ họa tầm trung như RTX 3060 trở lên là đã đủ sức gánh mấy mô hình mã nguồn mở ngon lành. Mình chọn Ollama vì nó gọn nhẹ kiểu như Docker, gõ vài lệnh là xong. Để tải và chạy mô hình Llama 3 8B phục vụ việc đọc tài liệu, mình mở Terminal lên gõ:

# Tải và chạy mô hình Llama 3 phiên bản 8 tỷ tham số
ollama run llama3:8b

Sau khi mô hình chạy ở cổng local

http://localhost:11434

, mình viết thêm một đoạn script Python nhỏ để nó quét tin nhắn đến. Con agent này sẽ nhận diện nội dung rác, quảng cáo cờ bạc hay link độc hại rồi gắn cờ cách ly trước khi mình kịp nhìn thấy. Cấu hình prompt hệ thống cho nó đơn giản thế này:

system_prompt = """
Bạn là trợ lý lọc thông tin cá nhân. Hãy phân tích đoạn văn bản đầu vào.
Nếu phát hiện dấu hiệu lừa đảo tình cảm, spam cờ bạc, nội dung môi giới đồi trụy hoặc mời gọi nhóm chat đáng ngờ, hãy trả về mã [SPAM] kèm lý do ngắn gọn. 
Nếu là email công việc, học tập hoặc tin nhắn từ người thân, trả về [SAFE].
"""

Hiệu quả thực tế khá ổn áp. Mỗi văn bản xử lý chỉ mất khoảng 0.3 giây, lọc sạch phần lớn tin nhắn làm phiền mà dữ liệu hoàn toàn ở lại trên máy mình chứ không bị đẩy đi đâu cả. Tiết kiệm được kha khá thời gian bực mình mỗi ngày để dắt xe ra ngoài hít thở khí trời. Không biết hiện tại anh em ZolaChat đã thử cài đặt mô hình ngôn ngữ lớn nào trên máy tính cá nhân chưa?