AI Đa Phương Thức & Agentic Tự Động Năm 2024: Trải Nghiệm Và Sự Dịch Chuyển

Nói thật với anh em, nếu năm ngoái mình còn cặm cụi gõ từng dòng prompt dài dằng dặc cho mấy con bot văn bản, thì nửa năm nay mọi thứ đổi khác hẳn. Khi xắn tay vào dùng song song Claude 3.5 Sonnet, GPT-4o và Gemini 1.5 Pro cho công việc thực tế, mình mới thấy cụm từ AI đa phương thức không phải thuật ngữ quảng cáo. Điểm đáng tiền nhất của năm nay không nằm ở việc máy trả lời mượt hơn, mà là nó đã biết nhìn, biết nghe và hành động theo chuỗi. Ngày trước, bắt nó đọc một file PDF đặc xịt mấy trăm trang là xác định ngồi cắt nhỏ từng đoạn muốn stress. Giờ thì ném thẳng sơ đồ hệ thống hoặc chụp màn hình lỗi giao diện, mô hình nó soi ra đúng chỗ sai trong code. Mình có thử dựng một flow agent đơn giản bằng Python dùng API của Gemini để lọc ảnh spam và phân loại dữ liệu thay cho team:

import google.generativeai as genai

genai.configure(api_key="YOUR_API_KEY")
model = genai.GenerativeModel('gemini-1.5-flash')

def analyze_ticket(image_path, user_text):
    img = genai.upload_file(image_path)
    prompt = f"Phân tích lỗi từ hình ảnh và đối chiếu với mô tả sau: '{user_text}'. Tóm tắt giải pháp trong 3 gạch đầu dòng."
    response = model.generate_content([img, prompt])
    return response.text

Chỉ với đoạn code ngắn ngủi đó, một Agent đã tự động đọc log lẫn ảnh khách chụp gửi về để đưa ra hướng xử lý. Nó cắt giảm được kha khá thời gian trực ca mệt mỏi. Nhưng mà thôi, nói vậy không có nghĩa là mình phó mặc mọi thứ cho máy. Đợt này thấy nhiều bạn cứ phụ thuộc hoàn toàn vào LLM đến mức lười tư duy, hoặc ngược lại là sợ hãi quá mức. Bản thân mình tự rút ra vài nguyên tắc xương máu: xem AI là co-pilot thôi chứ mình vẫn phải là cơ trưởng để kiểm tra fact-check, luôn phân rã bài toán lớn thành các bước nhỏ, và cực kỳ cẩn trọng với dữ liệu nội bộ khi ném lên bản thử nghiệm. Anh em ZolaChat đã ứng dụng mô hình AI đa phương thức hay workflow tự động nào tâm đắc nhất trong công việc năm nay chưa?