Làm Chủ Multimodal AI 2024: Tối Ưu Workflow Và Tìm Lại Khoảng Lặng Cuộc Sống

Nhiều người đang tung hô multimodal AI như vị cứu tinh giải phóng sức lao động cho dân kỹ thuật, nhưng nói thẳng ra là dùng thực tế còn bực mình chán. Sau mấy tháng đưa thử các tác vụ thị giác và âm thanh vào nhịp làm việc, mình thấy các mô hình kiểu Gemini 1.5 Pro đúng là có bước tiến lớn so với thời chỉ gõ văn bản thuần túy. Khả năng đọc lướt qua tài liệu dài hay trích xuất nhanh thông tin từ một bảng biểu rõ ràng là điểm cộng không thể chối cãi. Có những hôm lười đọc spec, mình quăng luôn ảnh sơ đồ hệ thống vào script Python để nó tóm tắt luồng xử lý:

import google.generativeai as genai

model = genai.GenerativeModel('gemini-1.5-pro-latest')
response = model.generate_content([
    "Phân tích lỗi kiến trúc từ sơ đồ hệ thống đính kèm và đề xuất giải pháp cache: ",
    image_data
])
print(response.text)

Chế độ Voice Mode trên điện thoại cũng khá hữu ích cho trò 'rubber duck debugging'. Những chiều bí ý tưởng, bật mic lên vừa đi lại vừa lẩm bẩm giải thích lỗi logic, nghe phản hồi giọng nói tự nhiên dưới vài trăm mili-giây cũng đỡ cảm giác đơn độc, não tự sắp xếp lại mạch nghĩ nhanh hơn. Nhưng điểm trừ thì nhiều người lại lờ đi. Khả năng bóc tách thị giác hiện tại chỉ ngon lành khi ảnh chụp đầu vào sắc nét, tài liệu ngay ngắn. Cứ thử ném một cái sơ đồ kiến trúc vẽ tay ngoằn ngoèo trên bảng trắng hay ảnh chụp màn hình bug giao diện kèm log CSS rối rắm xem, nó bắt đầu đoán mò ngay. Có bận nó tự bịa ra một thẻ cha không hề tồn tại trong code để giải thích cho lỗi hiển thị, hoặc đọc sót trường dữ liệu quan trọng khi chuyển hóa ảnh hóa đơn thành JSON. Nếu anh em lơ là không rà soát lại từng dòng, tin sái cổ vào kết quả trả về thì thời gian đi sửa hậu quả còn mệt hơn tự làm bằng tay. Thành ra công cụ đa phương thức hiện tại tiện thì có tiện, nhưng bảo làm chủ hoàn toàn để vứt hết việc cho nó thì chưa đến lúc. Mà thật ra cũng có thể do kỹ năng prompt hình ảnh của mình chưa đủ khéo nên nó mới trả kết quả chập chờn như vậy. Anh em ở đây khi dùng multimodal AI có gặp tình trạng nó 'chém gió' xuyên tạc sơ đồ kỹ thuật như mình không?