RAG Cá Nhân Hóa 2024: Xây Dựng Trợ Lý Riêng Để Giải Phóng Bản Thân Và Sống Trọn Vẹn

Có những ngày mình mở máy tính lên và phát hoảng với 65 tab trình duyệt đang mở dang dở, mấy chục file ghi chú rải rác từ desktop đến ổ D mà chẳng nhớ cái nào quan trọng. Giữa năm nay, sau đợt sóng tái cơ cấu nhân sự và áp lực phải cập nhật công nghệ liên tục, mình quyết định dừng lại hẳn. Thay vì tiếp tục cắm mặt vào việc thu thập thông tin, mình tự dựng một hệ thống RAG cá nhân cục bộ trên máy để làm bộ não thứ hai. Nói đến RAG thì năm ngoái nghe rất phức tạp, cứ phải dây dưa với Vector Database đắt đỏ như Pinecone hay Weaviate rồi cấu hình API lằng nhằng. Mà thôi, nói vậy hơi cực đoan, thực ra công nghệ đến năm nay đã nhẹ nhàng hơn rất nhiều. Nhờ có các mô hình mã nguồn mở như Llama 3 8B kết hợp cùng Ollama, Khoj hay AnythingLLM, việc chạy một trợ lý thông minh ngay trên laptop cá nhân mà không sợ rò rỉ dữ liệu đã trở nên trong tầm tay. Cách mình làm cực kỳ gọn, mất đúng ba mươi phút trong một buổi tối cuối tuần: Toàn bộ dữ liệu từ nhật ký công việc cho đến tài liệu đọc sách đều được gom về các thư mục Markdown trên Obsidian. Phần nhúng văn bản thì mình dùng nomic-embed-text hoàn toàn miễn phí chạy cục bộ, không tốn một xu tiền gọi API nào. Còn để xử lý ngôn ngữ, mình kéo model Llama 3 về máy thông qua câu lệnh quen thuộc:

ollama run llama3:8b
ollama pull nomic-embed-text

Chạy xong là xong, khỏi cần cấu hình phức tạp. Giờ thì mỗi lần cần tìm lại một ý tưởng viết bài từ mấy tháng trước, mình chỉ việc gõ câu hỏi bằng ngôn ngữ tự nhiên. Trợ lý này khôn ở chỗ nó chỉ moi móc thông tin từ chính đống tài liệu mình đã nạp vào, tuyệt đối không bịa đặt linh tinh. Nhờ hệ thống này tự động gánh vác khâu tìm kiếm và tổng hợp, mỗi ngày mình tiết kiệm được xấp xỉ hai tiếng đồng hồ. Thời gian rảnh đó mình không dùng để cày thêm việc mà sạc đầy chiếc xe điện, ra ngoài hít thở không khí và gặp gỡ bạn bè thực tế. Công nghệ suy cho cùng chỉ là công cụ quản lý tri thức, chứ nó không thể sống thay hay cảm nhận thay mình được. Anh em trong diễn đàn đã thử ứng dụng RAG hay mô hình ngôn ngữ nào vào công việc thường nhật của mình chưa?