การสร้างคลังข้อมูล¶
สัปดาห์ที่ |
หัวข้อและรายละเอียดกิจกรรม |
กิจกรรมโครงการ (Project Phase) |
แหล่งข้อมูลและลิงก์ |
|---|---|---|---|
1 |
บทนำสู่ DW/BI และทบทวนฐานข้อมูล ภารกิจของคลังข้อมูลเพื่อการตัดสินใจ และรูปแบบปกติที่ 3 (3NF) |
Phase 1: กำหนดขอบเขตธุรกิจและรวบรวมความต้องการสำหรับ "แพลตฟอร์มอีคอมเมิร์ซอัจฉริยะ" |
|
2 |
ระเบียบวิธีออกแบบ: การเปรียบเทียบแนวทางของ Inmon (Top-down) และ Kimball (Bottom-up) |
วิเคราะห์ระบบต้นทาง (Source Systems) และเลือกวิธีออกแบบที่เหมาะสมกับโครงการ |
|
3 |
Dimensional Modeling I: การสร้าง Star Schema, ตารางข้อเท็จจริง (Fact) และตารางมิติ (Dimension) |
ออกแบบ Star Schema เบื้องต้นสำหรับยอดขาย (Sales Analysis) |
|
4 |
Dimensional Modeling II: การจัดการมิติที่เปลี่ยนแปลงช้า (SCD) และ Junk Dimensions |
Phase 1 (ต่อ): ออกแบบ SCD Type 2 เพื่อติดตามประวัติลูกค้าในโครงการ |
|
5 |
การรวบรวมความต้องการ: การใช้ Information Packages เพื่อกำหนดตัวชี้วัดและลำดับชั้น (Hierarchies) |
สรุปแผนภาพ Information Package สำหรับโครงการส่งอาจารย์ |
|
6 |
วิวัฒนาการสู่คลาวด์: การแยกส่วน Storage และ Compute บนแพลตฟอร์มอย่าง Snowflake หรือ BigQuery |
Phase 2: เริ่มต้นตั้งค่าสภาพแวดล้อมบนคลาวด์เพื่อเตรียมรับข้อมูลโครงการ |
|
7 |
Data Lakehouse: การใช้ Medallion Architecture (Bronze, Silver, Gold Layers) |
ออกแบบการจัดเก็บข้อมูลโครงการตามเลเยอร์ Medallion |
|
8 |
การออกแบบทางกายภาพ: กลยุทธ์การทำ Indexing และ Partitioning รวมถึงการสอบกลางภาค |
ปรับแต่งประสิทธิภาพ (Physical Tuning) ของตารางในโครงการ |
|
9 |
ท่อส่งข้อมูล (ETL vs. ELT): การเปลี่ยนผ่านสู่ ELT และการใช้ Change Data Capture (CDC) |
Phase 3: สร้างท่อส่งข้อมูลจากไฟล์ Raw (Bronze) ไปยังตาราง Silver |
|
10 |
คุณภาพและธรรมาภิบาล: การทำ Data Profiling และ Master Data Management (MDM) |
สร้างการตรวจสอบคุณภาพข้อมูล (Data Quality Checks) อัตโนมัติในท่อส่งข้อมูล |
|
11 |
เลเยอร์ความหมาย (Semantic Layer): การรวมตรรกะธุรกิจเพื่อให้ AI และผู้ใช้เห็นข้อมูลตรงกัน |
พัฒนา Semantic Layer (เช่น dbt หรือ Looker) สำหรับโครงการ |
|
12 |
การวิเคราะห์หลายมิติ (OLAP): การทำ Slicing, Dicing และ Drilling down บนชุดข้อมูล |
สร้างแดชบอร์ดเบื้องต้นเพื่อทดสอบการวิเคราะห์แบบ OLAP |
|
13 |
การเพิ่มประสิทธิภาพด้วย AI: การใช้ ML สำหรับ Query Optimization และพยากรณ์ปริมาณงาน |
Phase 4: นำผลพยากรณ์จาก ML มาช่วยปรับขนาดทรัพยากรคลาวด์ในโครงการ |
|
14 |
AI เอเจนต์ในวิศวกรรมข้อมูล: การสร้างท่อส่งข้อมูลที่เยียวยาตัวเองได้ (Self-healing Pipelines) |
พัฒนา AI เอเจนต์พื้นฐานเพื่อตรวจจับข้อผิดพลาดใน Pipeline ของโครงการ |
|
15 |
เวิร์กโฟลว์ AI ระดับการผลิต: การใช้ Agentic Views และการนำเสนอโครงการสุดท้าย |
นำเสนอ "The Agentic E-Commerce Platform" ที่สามารถตอบคำถามภาษาธรรมชาติได้ |