แผนการเรียนรู้
/

Week 10: Data Quality
& Data Governance

Trusting Your Data: From Profiling to Master Data Management

Project Milestone

Automated Data Quality Checks

"Garbage in, garbage out — quality is the only metric that matters for AI-driven insight."

Learning Outcomes

1
Explain the core dimensions of data quality (accuracy, completeness, timeliness & more)
2
Analyze a dataset using Data Profiling to discover anomalies and patterns
3
Design automated data quality checks within a data pipeline
4
Apply Master Data Management (MDM) and Data Governance principles

ทำไมข้อมูลคุณภาพจึงสำคัญ?

ข้อมูลที่ไม่มีคุณภาพส่งผลต่อองค์กรในหลายระดับ ตั้งแต่ความเชื่อมั่นของผู้บริหาร ไปจนถึงความแม่นยำของโมเดล AI

💸 ค่าใช้จ่ายมหาศาลจากการตัดสินใจที่ผิดพลาดบนข้อมูลที่ผิด
🤖 โมเดล AI/ML ให้ผลลัพธ์ที่เอนเอียงหรือผิดพลาด (Garbage in, Garbage out)
⚖️ ความเสี่ยงด้านกฎระเบียบ ค่าปรับ และการถูกจำกัดการใช้งานข้อมูล

Dimensions of Data Quality

ความถูกต้อง (Accuracy)

ข้อมูลสะท้อนความเป็นจริงของโลกธุรกิจ พร้อมขจัดความผิดพลาดจากการบันทึก

ความครบถ้วน (Completeness)

ไม่มีค่า NULL หรือช่องว่างที่ทำให้การวิเคราะห์คลาดเคลื่อน

ความทันเวลา (Timeliness)

ข้อมูลต้องพร้อมใช้ในเวลาที่ต้องการตัดสินใจ (Freshness)

ความสอดคล้อง (Consistency)

ข้อมูลต้องตรงกันข้ามระบบ สกุลเงิน หรือหน่วยวัดต่างๆ

+

ยังมีมิติอื่นๆ อีก เช่น Validity (ถูกตามรูปแบบ), Uniqueness (ไม่ซ้ำซ้อน) และ Integrity (ความสัมพันธ์สมบูรณ์)

Data Profiling: รู้จักข้อมูลก่อนไว้ใจ

กระบวนการสำรวจและวิเคราะห์ข้อมูล เพื่อค้นหาโครงสร้าง คุณภาพ และความสัมพันธ์ภายใน

Column Profiling

  • • ค่านับ (Count), ค่า NULL
  • • ค่าที่ซ้ำกัน (Distinct)
  • • ค่า Min/Max/Mean/Median

Cross-Column

  • • ความสัมพันธ์ระหว่างคอลัมน์
  • • Functional Dependencies
  • • การล้ำค่าจากกฎเกณฑ์

Data Rule

  • • รูปแบบ (Regex / Pattern)
  • • โดเมนของค่า (Domain)
  • • ข้อกำหนดทางธุรกิจ
เครื่องมือแนะนำ: Great Expectations, Whylogs, Talend Data Profiler
Workshop (25 นาที)

Data Profiling Challenge

สถานการณ์:

ทีมของคุณพึ่งรับข้อมูลลูกค้าจากทีมการตลาดเป็นไฟล์ CSV โดยมีคอลัมน์: customer_id, email, phone, region, joined_date, total_spend

Step 1: ระบุคอลัมน์ใดบ้างที่อาจมีค่า NULL (missing) มากที่สุด?
Step 2: แนวทางตรวจสอบว่า email อยู่ในรูปแบบที่ถูกต้องอย่างไร?
Step 3: เขียน "expectation" (ข้อกำหนด) ง่ายๆ สำหรับคอลัมน์ total_spend

เฉลย: Profiling Findings

Step 1: Missing Data

คอลัมน์ phone และ region มักมี NULL สูง เนื่องจากไม่ได้บังคับตอนกรอกแบบฟอร์ม

Step 2: Email Validation

ใช้ Regular Expression ที่ต้องมี @ และ domain ที่ถูกต้อง เช่น ^[^@]+@[^@]+\.[a-z]{2,}$

Step 3: Expectation

กำหนดว่า total_spend ต้อง มากกว่า 0 และเป็นตัวเลข — ถ้าพบค่าลบแสดงว่ามีการส่งคืนสินค้าหรือข้อผิดพลาดทางการเงิน

💡 กฎข้อ 1: ความต้องการด้านคุณภาพควรมาจาก ผู้ใช้ข้อมูล (Business = Truth) ไม่ใช่แค่นักวิเคราะห์

Automated Data Quality Checks

ฝังการตรวจสอบคุณภาพเข้าไปในท่อส่งข้อมูล (Pipeline) เพื่อตรวจจับปัญหาแบบเรียลไทม์

F
Fail Fast & Alert
SL
Skip Load (รายงานข้าม)
P
Prevent / Block
  • • Freshness Check: ตรวจว่าข้อมูลอัปเดตถึงล่าสุดเมื่อไหร่
  • • Volume / Row Count: จำนวนแถวเปลี่ยนแปลงผิดปกติหรือไม่
  • • Null / Duplicate Check: ตรวจจับข้อมูลหายและซ้ำซ้อน
  • • Schema Drift Detection: ตารางต้นทางเพิ่ม/เปลี่ยนคอลัมน์โดยไม่แจ้ง
อ่านเพิ่มเติม: OpenMetadata - Data Quality & Lineage

Part 2: MDM & Data Governance

"One version of the truth"

การสร้างโครงสร้างธรรมาภิบาลข้อมูล เพื่อให้ทุกหน่วยงานใช้ข้อมูลชุดเดียวกันถูกต้องและปลอดภัย

Slowly Changing Dimensions (SCD)

จาก Kimball — The Data Warehouse Toolkit Ch. 4: จัดการการเปลี่ยนแปลงของ Dimension attributes ตามเวลา

Type 1: Overwrite

  • • เขียนทับค่าเก่าด้วยค่าใหม่
  • • ใช้เมื่อการแก้ไขข้อผิดพลาด
  • • ❌ สูญเสียประวัติศาสตร์

Type 2: Add Row

  • • สร้างแถวใหม่พร้อม Surrogate Key ใหม่
  • • แยกประวัติได้ชัดเจน (Partition history)
  • • ✅ เทคนิคหลักสำหรับ SCD

Type 3: Add Column

  • • เพิ่มคอลัมน์เก็บค่าเก่าและค่าใหม่
  • • ใช้ได้เมื่อต้องการเปรียบเทียบ "ก่อน-หลัง"
  • • จำกัดเพียง 1 รอบการเปลี่ยนแปลง
💡 Kimball Tip: "We can't simply jump to the conclusion that the business doesn't care about dimension changes... it is obviously better to receive the message sooner rather than later." — Ch. 4, p. 94

Master Data Management (MDM)

การจัดการ "ข้อมูลหลัก" (Master Data) — เช่น ลูกค้า สินค้า องค์กร — ให้เป็นมาตรฐานเดียวทั้งองค์กร

Master Data

  • • ลูกค้า (Customer) — หนึ่ง ID สำหรับทุกช่องทาง
  • • สินค้า (Product) — รหัสเดียวกันทั่วระบบ
  • • Supplier / Location

Golden Record

  • • รวมข้อมูลจากหลายระบบมากำหนดเป็น "บันทึกทอง"
  • • ระบุตัวตนและรวมเรกคอร์ดซ้ำ (Entity Resolution)
  • • ใช้เป็นแหล่งอ้างอิงเดียว (Single Source of Truth)
🎯 เป้าหมาย: ให้ "Customer 101" ที่อยู่ทั้งใน CRM, E-commerce และช่องทางการเงินอ้างถึงบุคคลเดียวกัน

Conformed Dimensions = MDM Foundation

จาก Kimball Ch. 3: Conformed dimensions คือรากฐานของ MDM และ Enterprise DW

คุณสมบัติ Conformed Dimension

• Dimension keys, attribute names, definitions, values ต้องเหมือนกันทุก Data Mart

• "Revenue, profit, standard prices, KPIs are facts that must be conformed" — Kimball Ch. 3, p. 86

Roll-up Dimensions

• Brand dimension เป็น subset ของ Product dimension (strict mathematical subset)

• Attributes ที่ซ้ำกันต้อง label/define/value เหมือนกันทุกตาราง

Dimension Authority

• กลุ่มที่รับผิดชอบ define, maintain, publish conformed dimensions

• "The willingness to seek a common definition... is a major litmus test for an organization" — Kimball Ch. 3, p. 86

เทคนิคการจับคู่ข้อมูล (Matching)

Deterministic

จับคู่ด้วยค่า Exact Match เช่น เลขบัตรประชาชน หรือ Email ที่ตรงกันทุกตัวอักษร

Probabilistic

ให้คะแนนความน่าจะเป็นของการเป็นบุคคลเดียวกันจากหลายฟิลด์ เช่น ชื่อ+ที่อยู่+เบอร์โทร

Fuzzy Matching

ใช้เทคนิคเช่น Levenshtein / Soundex จับคู่ "Wichit" กับ "Wichid" ที่สะกดต่างกันเล็กน้อย

AI / ML Matching

ใช้โมเดล Embedding เพื่อตรวจจับความคล้ายคลึงเชิงความหมายของเรกคอร์ด

Data Governance Framework

ธรรมาภิบาลข้อมูล = ใคร ใช้อะไร เมื่อไหร่ และอย่างไรอย่างเป็นระบบและปลอดภัย

Data Owners

เจ้าของข้อมูลและผู้รับผิดชอบคุณภาพ

Data Lineage

ติดตามที่มา-การแปลง-ปลายทางของข้อมูล

Data Catalog

พจนานุกรมอธิบายความหมายเมตาดาต้า

Access & Security

สิทธิ์เข้าถึง RBAC + การกำกับดูแล (Audit)

🎭 Project Tie-in:

ในโครงการ Agentic E-Commerce ของคุณ แม้ AI จะช่วยสร้างคำตอบ แต่ต้องมั่นใจว่าข้อมูลที่ให้ AI ใช้อยู่ภายใต้ นโยบายธรรมาภิบาล และสามารถตรวจสอบที่มาได้

Data Contracts

"สัญญาข้อมูล" คือข้อตกลงระหว่างผู้ผลิต (Producer) และผู้บริโภค (Consumer) ข้อมูล ว่าข้อมูลต้องเป็นไปตามรูปแบบและคุณภาพที่ตกลงกัน

Schema

โครงสร้างฟิลด์, ชนิดข้อมูล, ค่าบังคับ

Semantics

ความหมายและหน่วยของแต่ละฟิลด์

Quality SLOs

ระดับ Freshness / Volume ที่ต้องรักษา

SLA

เวลาตอบสนองและการแจ้งเตือนเมื่อผิดพลาด

กิจกรรมกลุ่ม (20 นาที)

ออกแบบ Data Governance ขั้นต่ำ

"บริษัทอีคอมเมิร์ซของคุณเพิ่งเปิดตัวแพลตฟอร์ม AI ที่ตอบคำถามลูกค้าโดยใช้ข้อมูลคลังข้อมูล (DW)"

1. ข้อมูลประเภทใดที่ ต้องห้าม เอาไปให้ AI ตอบ (เช่น ข้อมูลส่วนตัว, บัตรเครดิต)?
2. ออกแบบ Data Lineage ค่าสั้นๆ สำหรับชุดข้อมูล "ยอดขาย AI ที่ตอบได้"
3. ใครควรเป็น Data Owner ของตารางลูกค้า (Customer)?

เฉลย: Governance Design

1. ข้อมูลต้องห้ามสำหรับ AI

ข้อมูลส่วนบุคคล (PII), หมายเลขบัตรเครดิต, ข้อมูลสุขภาพ และข้อมูลที่เป็นความลับทางธุรกิจ — ต้อง Mask หรือ Filter ก่อน

2. ตัวอย่าง Data Lineage

Olist CSV → Bronze (Raw) → Silver (Cleaned) → Gold (Aggregated) → AI Agent Query

3. Data Owner ของตารางลูกค้า

ฝ่าย การตลาด/CRM ควรเป็นเจ้าของ (Business Owner) ร่วมกับ วิศวกรข้อมูล (Technical Owner) ตามที่ตกลงกัน

🔐 คำสำคัญ: Governance ไม่ใช่แค่เรื่อง IT แต่เป็นความรับผิดชอบร่วมของทั้งองค์กร (Data as a Product)

Week 10 Summary

1. คุณภาพข้อมูลคือรากฐานของทุกการวิเคราะห์และโมเดล AI
2. Data Profiling เป็นขั้นตอนแรกในการค้นหาปัญหาและกำหนดข้อกำหนด
3. MDM และ Data Governance สร้างความน่าเชื่อถือและความปลอดภัยในการใช้ข้อมูล
4. ระบบ Data Quality Checks แบบอัตโนมัติทำให้ Pipeline "เชื่อใจได้"
Next Week: The Semantic Layer — a shared language for humans & AI!