Prompt không quan trọng, Context mới quyết định chất lượng AI Agent

Sally-Ann Delucia, Head of Product tại Arise, chia sẻ những bài học xương máu sau gần một năm xây dựng AI Agent tên Alex — một hệ thống giúp các đội nhóm phát triển ứng dụng AI. Trọng tâm của buổi chia sẻ là bài toán quản lý context window: làm thế nào để agent nhớ đúng thứ cần nhớ và quên đúng thứ cần quên.

Sally-Ann lập luận rằng context engineering — tức là lựa chọn chiến lược những gì model được nhìn thấy — mới là yếu tố quyết định thành bại của một AI agent, vượt xa tầm quan trọng của prompt engineering. Thay vì nhồi nhét tối đa dữ liệu vào token limit, đội ngũ Arise phải đối mặt với thực tế: một trace duy nhất đã chứa hàng nghìn tín hiệu, nhân lên nhiều lần khi người dùng muốn phân tích patterns trên toàn bộ hệ thống. Bà cũng nhấn mạnh đây không chỉ là vấn đề kỹ thuật mà còn là bài toán sản phẩm và UX — vì agent thiếu context đúng sẽ cho ra câu trả lời sai, và không ai muốn dùng một sản phẩm như vậy.

Bạn đang xây dựng AI agent hoặc gặp khó khăn với context management? Hãy chia sẻ trải nghiệm của bạn ở phần bình luận bên dưới!

#KhoiNghiepThoiAI #NXTPodcast #AIAgent #ContextEngineering #TuDuyKinhDoanh #XayDungSanPham #AIEngineering #LLM

📝 Blog
https://nguyenxuantai.com/tai-viet/ai-agent-that-bai-vi-context-khong-phai-prompt

🔗 Website: https://nguyenxuantai.com

00:00 - Mở đầu & Giới thiệu: Tại sao AI Agent thất bại dù prompt đã tốt?
01:45 - Vấn đề “nhồi càng nhiều thông tin càng tốt” – Dữ liệu traces quá tải tại Arise
03:30 - Context Engineering vs Prompt Engineering: Yếu tố quyết định thành bại
05:00 - Giải pháp 1: Truncation & Summarization – Tại sao thất bại?
06:45 - Giải pháp then chốt: Smart Truncation Memory (giữ đầu + cuối, lưu phần giữa)
08:30 - Long Session Evaluations – Phát hiện lỗi muộn nguy hiểm như thế nào?
10:15 - Multi-Agent Architecture: Tách main agent & sub-agent để giữ context sạch
11:45 - Những thách thức chưa giải quyết: Long-term memory & Context Selection
13:00 - Kết luận & Bài học thực tế cho ai đang xây dựng AI Agent

Видео Prompt không quan trọng, Context mới quyết định chất lượng AI Agent канала Khởi Nghiệp Thời AI