AI tạo sinh và trợ lý ảo 2024: Đưa nội dung và kết nối xã hội lên tầm cao mới

"Cứ giao cho agent nó tự chạy là xong hết việc mà" – tuần trước một người bạn làm dev đã bảo mình như thế khi thấy mình ngồi lọc từng trạm dừng cho chuyến đi Đà Lạt. Nghe thì bùi tai thật, và đúng là đợt này ai cũng bàn tán về việc ứng dụng AI agents để giải phóng sức lao động. Nhưng khi bắt tay vào dựng thử một luồng tự động nhỏ, mình mới thấy thực tế nó không hề mượt mà như mấy bài demo trên mạng. Bối cảnh là mình muốn làm một kịch bản nhỏ bằng Python, kết nối với mô hình ngôn ngữ lớn để làm hai việc: thứ nhất là tự quét thông tin các điểm sạc EV dọc tuyến đường từ Sài Gòn lên Đà Lạt, thứ hai là tóm tắt lịch trình theo khung giờ hợp lý cho chuyến đi 3 ngày. Bình thường nếu chỉ gọi prompt đơn giản thì khá dễ:

import requests, json

api_url = "https://api.example.com/v1/generate"
payload = {
    "prompt": "Tổng hợp các điểm dừng có trạm sạc EV phù hợp cho xe gia đình trên tuyến đi Đà Lạt, kèm thời gian nghỉ dự kiến",
    "max_tokens": 250
}
headers = {"Authorization": "Bearer YOUR_API_KEY"}

response = requests.post(api_url, headers=headers, json=payload)
print(json.loads(response.text)["text"])

Đoạn code trên chạy thì trả về câu chữ rất mượt, đọc qua tưởng chừng hoàn hảo. Nhưng khi để mô hình tự làm việc như một agent độc lập – nghĩa là tự tìm nguồn, tự so sánh khoảng cách giữa các trạm rồi tự sắp xếp lịch trình – thì vấn đề bắt đầu lộ ra. Thứ nhất là hiện tượng ảo giác thông tin. Mô hình tự tin liệt kê ra vài điểm sạc ở những quán dừng chân vốn đã dẹp tiệm từ năm ngoái, hoặc gắn nhầm công suất sạc của trạm này sang vị trí khác. Thứ hai là vấn đề vòng lặp suy luận. Khi mình yêu cầu agent kiểm tra chéo dữ liệu thời tiết thực tế để điều chỉnh giờ xuất phát, nó chạy tốn một lượng token khá lớn nhưng cuối cùng lại đưa ra một kết luận huề vốn kiểu "nếu trời mưa thì nên đi chậm lại". Mà thôi, nói đi cũng phải nói lại, có thể do cách mình thiết kế prompt chain và schema dữ liệu đầu vào còn sơ sài quá. Hôm trước trên ZolaChat cũng có vài bạn chia sẻ về việc dùng LLM để phân loại nội dung cộng đồng hoặc lọc tin rác tự động, nghe bảo chạy khá ổn định nhờ có lớp kiểm duyệt trung gian chặn lại trước khi xuất kết quả. Hiện tại mình vẫn đang loay hoay chưa biết nên dùng thêm framework nào như LangChain hay viết logic kiểm tra bằng code cứng bên ngoài để ép agent trả về đúng cấu trúc json định sẵn...