Xây ứng dụng AI với LLM và AI Agent

Dành cho: Đã xong Khóa 4 hoặc biết Python và gọi API LLM cơ bản.

Bạn sẽ làm được gì

• Data pipeline cho RAG: ingest tài liệu tiếng Việt, chunking, index tăng dần, đóng gói thành job định kỳ trong docker compose.
• Retrieval production: index vào pgvector hay Qdrant, hybrid search, rerank, và đo chất lượng câu trả lời bằng RAGAS trên tập câu hỏi vàng.
• Gọi LLM như kỹ sư: structured output, context engineering, chi phí và độ trễ tính trước cho mỗi lời gọi, đổi model không phải sửa code.
• Agents: tool calling, planning (ReAct, plan-and-execute, reflection), memory, multi-agent với LangGraph và OpenAI Agents SDK, có điểm dừng cho người duyệt.
• MCP và evals: nối agent vào hệ thống qua MCP server tự viết; tập test 50 câu, LLM-as-judge, tracing Langfuse, guardrails PII tiếng Việt.
• Deploy production: FastAPI streaming có auth, Docker và CI/CD, self-host vLLM và LoRA/QLoRA, hoặc qua Azure OpenAI, AWS Bedrock, Vertex AI.

Project 5: Ứng dụng AI chạy thật, đo được. Bạn chọn một trong hai hướng: trợ lý RAG cho một tổ chức thật trên bộ tài liệu tự xin, hoặc agent nghiệp vụ có tool ghi và bước duyệt tay. Bắt buộc với cả hai: tập test tối thiểu 50 câu kèm báo cáo evals, trace từng request, deploy công khai có auth, và README ghi chi phí vận hành. Chấm theo rubric 25 điểm: đúng chức năng 8, evals và trace 7, deploy và vận hành 5, code và tài liệu 5.