แผนการเรียนรู้
/

สัปดาห์ที่ 7: สถาปัตยกรรมคลังข้อมูล
และยุคสมัยของ Lakehouse

การวางโครงสร้างระบบข้อมูลองค์กรจากอดีตสู่แนวคิด Data Mesh และ AI-Native

หัวใจสำคัญของสัปดาห์นี้

"สถาปัตยกรรมที่ดีย่อมรองรับทั้งความแม่นยำของมนุษย์และความฉลาดของ AI"

Phase 2: Global Architecture Design

ผลลัพธ์การเรียนรู้

1
จำแนกประเภทสถาปัตยกรรม (Centralized, Data Marts, Federated) ได้
2
วิเคราะห์วิวัฒนาการจาก Data Warehouse สู่ Data Lakehouse ได้
3
เปรียบเทียบแนวคิด **Data Mesh** และ **Data Fabric** ในระดับองค์กรได้
4
ออกแบบ Semantic Layer เพื่อรองรับ Agentic AI ในโครงการได้

หลักการสถาปัตยกรรมพื้นฐาน

Centralized DW

ฐานข้อมูลเดียวรวมศูนย์ ข้อมูลมีความถูกต้องสูงสุด (Integrity)

Independent Marts

แยกตามแผนก รวดเร็วแต่เสี่ยงข้อมูลไม่ตรงกัน (Data Silos)

Federated DW

เชื่อมโยงระบบเดิมที่กระจัดกระจายเข้าด้วยกันอย่างหลวมๆ

"สถาปัตยกรรมแบบดั้งเดิมมักเน้น 'การเก็บข้อมูล' แต่ยุคใหม่เน้น 'การเปิดเผยข้อมูล' (Publish Assets)"

ยักษ์ใหญ่ในอดีตสู่รากฐานปัจจุบัน

SAP BW

โดดเด่นเรื่องการรวมแอปพลิเคชันธุรกิจและ Metadata

Teradata

ต้นแบบระบบประมวลผลขนานขนาดใหญ่ (MPP)

Hadoop/Hive

การจัดเก็บระดับ Petabytes บนฮาร์ดแวร์ทั่วไป (Commodity Hardware)

"ปัจจุบันแนวคิดเหล่านี้ถูกรวมร่างใหม่ในรูปแบบ **Lakehouse** บน Cloud"

การรวมร่าง: Data Lakehouse

Lakehouse คือการรวมข้อดีของ 2 โลกเข้าด้วยกัน :

Data Warehouse

รองรับ ACID Transactions, Schema Enforcement และ Performance สูง

Data Lake

รองรับข้อมูลทุกประเภท (Unstructured), ราคาประหยัด และ Open Format

"Lakehouse คือสมองที่วิเคราะห์ได้ทั้ง BI และ AI ในที่เดียว"

กิจกรรมกลุ่ม (20 นาที)

เก่าปะทะใหม่: Architecture Mapping

ภารกิจ: จับคู่คุณสมบัติกับสถาปัตยกรรมที่เหมาะสม

1. รองรับการเทรน Model ML โดยตรง
2. เน้นความถูกต้องของรายงานการเงินองค์กร
3. วิเคราะห์คลิกบนเว็บไซต์ (Clickstream) ดิบๆ
A. Data Warehouse (3NF/Traditional)
B. Data Lake (Bronze Layer)
C. Data Lakehouse

เฉลยขั้นตอนที่ 1: การเลือกสถาปัตยกรรม

1 ➞ C

**Lakehouse:** เพราะรวม Engine ประมวลผล ML และ SQL ไว้บนข้อมูลชุดเดียวกัน

2 ➞ A

**Traditional DW:** เหมาะกับงานที่ต้องการ Schema Enforcement สูงและตรวจสอบย้อนกลับได้ง่าย

3 ➞ B

**Data Lake:** พื้นที่พักข้อมูลดิบ (Landing Zone) ก่อนทำความสะอาด

อนาคตของระบบกระจายศูนย์

Data Mesh

"การเปลี่ยนโครงสร้างองค์กร"

  • • แบ่งความเป็นเจ้าของตามโดเมน (Domain Ownership)
  • • ข้อมูลคือผลิตภัณฑ์ (Data as a Product)
  • • เน้นการกระจายอำนาจการตัดสินใจ

Data Fabric

"การใช้ AI เชื่อมโยงทางเทคนิค"

  • • รวมศูนย์ด้วย Metadata อัจฉริยะ
  • • ใช้ AI/ML ในการค้นหาและเชื่อมโยงข้อมูลอัตโนมัติ
  • • สร้าง Unified Access Layer เหนือทุกระบบ

Semantic Layer & Agentic AI

ทำไม AI ต้องการ Semantic Layer?

ความหมาย
นิยามธุรกิจที่เป็นมาตรฐาน (เช่น Net Sales) ทำให้ AI ไม่สับสนเมื่อเขียน SQL
ความปลอดภัย
กำหนดสิทธิ์เข้าถึง (RBAC/ABAC) ที่ AI ต้องปฏิบัติตามอย่างเคร่งครัด

"AI Agent ที่เก่ง ต้องอยู่บนคลังข้อมูลที่มีระเบียบ (Headless Warehouse)"

เวิร์กชอป: สถาปนิกข้อมูล (30 นาที)

ออกแบบ Agentic Architecture

โจทย์: โครงการ Agentic E-Commerce Platform

**Step 1:** ระบุแหล่งข้อมูล (Source Systems) ที่ต้องเข้าถึง [Kaggle]
**Step 2:** วางโครงสร้าง 3 ชั้นของ Medallion (Bronze/Silver/Gold)
**Step 3:** ระบุจุดที่ **AI Agent** จะเข้ามาช่วยในระบบนี้

เฉลยขั้นตอนที่ 2: ผังโครงการสมัยใหม่

BRONZE (Raw)

เก็บ JSON คลิกเกมนักเขียน และ CSV ยอดขายดิบๆ จาก Olist Dataset

SILVER (Cleansed)

สร้าง **dim_customer** และ **fact_order** ที่สะอาดแล้ว พร้อมทำ SCD Type 2

GOLD (Aggregated)

สรุปยอดขายรายเดือนแยกตามหมวดหมู่ พร้อมส่งต่อให้ AI เอเจนต์วิเคราะห์เทรนด์

💡 AI Role: ใช้ **AV-SQL Agent** ทำ Question Rewriting แปลงคำถามผู้ใช้เป็น SQL เหนือชั้น Gold

บทสรุปสัปดาห์ที่ 7

1. สถาปัตยกรรมวิวัฒนาการจากระบบศูนย์กลาง (Centralized) สู่ระบบกระจายศูนย์ (Mesh/Fabric)
2. **Data Lakehouse** คือมาตรฐานใหม่ที่คุ้มค่าและรองรับงานทั้ง BI และ AI ในแพลตฟอร์มเดียว
3. **Semantic Layer** เป็นกุญแจสำคัญที่ทำให้ AI เข้าใจข้อมูลธุรกิจได้อย่างถูกต้อง
Next Week: Mid-term Exam (Weeks 1-7 Review)!