แผนการเรียนรู้
/

Week 14: AI Agents in
Data Engineering

Self-Healing Pipelines & Autonomous Data Operations

Project Milestone

Build a Basic AI Agent for Pipeline Monitoring

"From reactive alerts to proactive, self-healing data infrastructure."

Learning Outcomes

1
Explain what an AI agent is and how it differs from a simple script
2
Design agent workflows for monitoring and error handling in pipelines
3
Implement a self-healing loop using LLM + tools + metadata
4
Evaluate AI agents for cost, safety, and auditability in production

AI Agent คืออะไร?

AI Agent คือระบบที่ใช้ LLM เป็น "สมอง" ในการคิด วางแผน แล้วเรียกใช้ เครื่องมือ (Tools) เพื่อทำงานให้สำเร็จ — ต่างจากสคริปต์ที่ทำตามกฎตายตัว

🧠 Reason

วิเคราะห์บริบทและวางแผน

🔧 Use Tools

เรียก SQL/API/สคริปต์

🔄 Iterate

ตรวจผลและปรับจนสำเร็จ

⚙️ Agentic Loop: Perceive → Decide → Act → Observe → (Repeat)

Script vs AI Agent

สคริปต์ (Script)

  • • 📝 ทำตาม Rule ที่เขียนตายตัว
  • • ⚠️ ล้มเหลวเมื่อเจอสถานการณ์ไม่คาดคิด
  • • 🧑‍💻 ต้องมีคนมาแก้เมื่อ schema เปลี่ยน

AI Agent

  • • 🤖 เข้าใจบริบทและปรับตัวได้
  • • 🛠️ เรียกเครื่องมือและเขียน fix เอง
  • • 🔁 เรียนรู้จาก metadata / ประวัติ
  • • ⚡ แต่ต้องมี "ขอบเขตและเฝ้าดู" เสมอ

Self-Healing Pipelines

ท่อส่งข้อมูลที่ตรวจจับปัญหา กู้คืน และรายงานผลเองได้โดยไม่ต้องรอคน

1
Detect: Monitoring Agent ตรวจพบ schema drift / พื้นที่เต็ม / ข้อมูลสูญหาย
2
Diagnose: LLM วิเคราะห์สาเหตุจาก Log และ Metadata
3
Heal: Agent สร้าง/ใช้ SQL fix, เรียก retry, หรือแจ้ง escalate เมื่อทำเองไม่ได้

สถาปัตยกรรม Pipeline Agent

Monitoring
Agentตรวจจับผิดปกติ
→
LLM Plannerวางแผนแก้ไข
→
Tool Executorรัน SQL/API
→
Metadata
Repositoryบันทึก lineage
  • • Metadata: ข้อมูลอธิบาย schema, lineage, คุณภาพ — "หน่วยความจำ" ของ Agent
  • • Tools: SQL runner, API client, alert notifier — "มือ" ของ Agent
  • • Guardrails: จำกัดสิทธิ์และสโคปที่ Agent กระทำได้
Workshop (25 นาที)

ออกแบบ Self-Healing Agent

"ระหว่างรัน ELT ตอนเที่ยงคืน ไฟล์ CSV ที่ส่งมาจากทีมขายมีคอลัมน์ใหม่เพิ่มเข้ามา — pipeline ล้มเหลว"

1. Agent จะ "ตรวจจับ" ปัญหานี้ได้จากอะไร?
2. ควรให้ Agent แก้เองหรือไม่? ต้องมีขอบเขตอะไร?
3. ออกแบบลำดับขั้นตอนของ Agent แบบ Step-by-step

เฉลย: Schema Drift Handling

  1. ✅ Detect: เปรียบเทียบ schema ของไฟล์ขาเข้ากับ Data Contract / Metadata → พบคอลัมน์ใหม่ loyalty_tier
  2. ✅ Classify: LLM ตรวจว่าเป็นโคลัมน์ "เพิ่ม" (Additive) หรือ "เปลี่ยน" (Breaking)
  3. ✅ Act: Agent รัน ALTER TABLE หรืออัปเดต transformation แล้ว retry
  4. ✅ Audit: บันทึกการเปลี่ยนแปลงใน lineage + แจ้งเตือนทีม
    ❌ Escalate: ถ้าคอลัมน์ตั้งชื่อไม่ชัดหรือลบฟิลด์เดิม → ยกให้มนุษย์ตัดสิน
"กฎเหล็ก: ให้ Agent แก้ไขได้เฉพาะงาน ย้อนกลับได้ (reversible) และอยู่ในสโคปที่ตกลง"

Part 2: Building & Safeguarding Agents

"Autonomy with guardrails"

สร้าง Agent ให้ทำงานเองได้ แต่ต้องปลอดภัย ตรวจสอบได้ และควบคุมต้นทุนได้

เครื่องมือสร้าง Agent

LangChain / LangGraph

สร้าง Agentic workflow เชื่อม LLM กับเครื่องมือ จัดการ State และ Loop

CrewAI / AutoGen

สร้างทีม Agent หลายตัวทำงานร่วมกัน (Orchestration)

dbt + Great Expectations

คู่มือคุณภาพข้อมูลที ่Agent ใช้ตรวจ/แก้ไข transformation

อ่านเพิ่มเติม: LangChain Documentation

Guardrails & Safety

Constraints

  • • จำกัดสโคปการแก้ที่ Agent ทำได้
  • • ไม่อนุญาต DROP / DELETE โดยไม่ได้รับอนุมัติ

Observability

  • • บันทึกทุกการกระทำ (Audit Trail)
  • • แสดง lineage และเหตุผลการตัดสินใจ

Cost Control

  • • ตั้งวงเงิน / จำนวน iteration สูงสุด
  • • จำกัดขนาด context และ expense ต่อ task

Human-in-the-loop

  • • งานเสี่ยงสูง → รออนุมัติมนุษย์
  • • มี Kill-switch และ Rollback เสมอ
กิจกรรมกลุ่ม (20 นาที)

ประเมิน Agent ของคุณ

ทีมของคุณสร้าง Agent ตรวจจับข้อผิดพลาด pipeline ให้โครงการ E-Commerce จงตรวจสอบ:

1. Agent ตรวจพบข้อผิดพลาดใดบ้าง? (เซฟวงจรไหน?)
2. มีความเสี่ยงอะไรที่ Agent "เผลอทำ" หากตั้งค่าไม่ดี?
3. กำหนด Human-in-the-loop ตรงจุดใดบ้าง?
4. จะพิสูจน์ว่า Agent "คุ้มค่าต้นทุน" ได้อย่างไร?

แนวทางประเมิน Agent

Maturity Level

  • • L1: Alert (แจ้งเตือนคน)
  • • L2: Auto-diagnose (วินิจฉัยเอง)
  • • L3: Auto-heal ลำดับต่ำ (retry, fix เล็ก)
  • • L4: Auto-heal อัตโนมัติเต็มรูปแบบ

Metrics

  • • MTTR (เวลากู้คืนเฉลี่ย) ลดลงแค่ไหน
  • • % Success ของการแก้ที่ Agent ทำสำเร็จ
  • • False Repair ที่ Agent แก้แล้วแย่ลง
  • • Cost per Incident เทียบกับค่าใช้จ่ายเดิม
🚀 Project (Phase): พัฒนา AI Agent พื้นฐานที่ตรวจจับและรายงานข้อผิดพลาด pipeline ของคุณ (เริ่มจาก L1/L2 ก่อน)

Week 14 Summary

1. AI Agent = LLM + Tools + Metadata ที่ทำงานแบบวนรอบ (Agentic Loop)
2. Self-Healing Pipeline ตรวจจับ → วินิจฉัย → กู้คืนเองได้
3. ต้องมี Guardrails, Observability และ Human-in-the-loop
4. เริ่มจากระดับง่าย (Alert) ค่อยพัฒนาเป็น Auto-heal
Next Week: Production Agentic AI & Final Project!