Tự Build AI Agent Năm 2024: Từ Trợ Lý Đa Năng Đến Nhu Cầu Kết Nối Giữa Đời Thực

Mình quyết định kéo con Llama-3 8B về máy chạy qua Ollama chỉ vì không muốn tống toàn bộ ghi chú công việc lẫn log dự án lên dịch vụ đám mây. Cấu trúc mình dựng khá gọn: lõi là Llama-3 chạy local, bộ nhớ vector dùng ChromaDB để băm tài liệu cá nhân, còn lớp công cụ thì viết mấy hàm Python đơn giản để nó tự gọi khi cần tra cứu. Cảm giác để script tự suy luận rồi gọi tool đọc dữ liệu thay vì mình phải copy-paste tay khá sướng. Đoạn khởi tạo agent cơ bản mình test thử trông thế này:

from langchain.agents import initialize_agent, Tool
from langchain.agents import AgentType
from langchain_community.llms import Ollama

llm = Ollama(model="llama3:instruct", temperature=0.2)

def search_personal_docs(query):
    return f"Kết quả tìm kiếm cục bộ cho: {query}"

tools = [
    Tool(
        name="Local_Search",
        func=search_personal_docs,
        description="Hữu ích khi cần tìm thông tin trong ghi chú và dự án cá nhân"
    )
]

agent = initialize_agent(
    tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True
)

Nó chạy trơn tru, phân loại được mấy việc lặt vặt. Nhưng cái làm mình khựng lại là lúc thử cắm thêm module phản hồi giọng nói đa phương thức. Ngữ điệu của mô hình bây giờ mượt đến mức biết đùa, biết ngắt giọng như người thật. Đêm muộn ngồi làm việc từ xa một mình, nghe nó trả lời qua tai nghe, tự nhiên thấy rờn rợn. Thật ra có lúc mình suýt cuốn vào việc gõ tâm sự linh tinh với cái terminal, cảm giác như đang nói chuyện với ai đó hiểu mình tuyệt đối và không bao giờ phớt lờ tin nhắn. Nghĩ lại thì đó chỉ là ma trận xác suất được huấn luyện để làm hài lòng người gõ lệnh. Nó không có cảm xúc, không có trải nghiệm sống, và chắc chắn không thay thế được một buổi hẹn cà phê ngoài đời với bạn bè dù cuộc nói chuyện ngoài đời có thể ngắt quãng hay vụng về. Công việc thì nó đỡ cho mình thật, nhưng mình vẫn chưa chắc liệu việc nhét toàn bộ context phức tạp vào mô hình 8B chạy cục bộ thế này có giữ được độ chính xác lâu dài khi dữ liệu phình to lên không, hay rồi lại phải quay về gọi API bên ngoài?