Tổng Quan Data Wrangling & Big Data | MinAI Learning

Tổng quan

1/15•30 phút

Đang tải...

Tổng Quan Data Wrangling & Big Data

Giới thiệu về xử lý dữ liệu quy mô lớn và công cụ Big Data

Tổng Quan Data Wrangling & Big Data

🎯 Tổng quan khóa học

TB5 min

Sau bài học này, bạn sẽ:

✅ Hiểu Data Wrangling là gì và tại sao chiếm 60-80% thời gian của Data Scientist

✅ Phân biệt khi nào dùng Pandas vs PySpark vs Spark SQL

✅ Nắm được lộ trình 14 bài học và dự án cuối khóa

✅ Hiểu 5V's của Big Data và ngưỡng chuyển sang Big Data tools

📖 Bảng Thuật Ngữ Quan Trọng

Thuật ngữ	Tiếng Việt	Giải thích đơn giản
Data Wrangling	Xử lý dữ liệu	Chuyển data thô → sạch, sẵn sàng phân tích
ETL	Trích xuất - Chuyển đổi - Nạp	Pipeline tự động hóa xử lý dữ liệu

Task 0

Tiếp: SQL Nâng cao

📊 Data Wrangling là gì?

TB5 min

1. Data Wrangling là gì?

Data Wrangling (hay Data Munging) là quá trình chuyển đổi và làm sạch dữ liệu thô thành dạng có thể phân tích được.

💡 Tại Sao Data Wrangling Quan Trọng?

Ví dụ

1Thực tế Data Scientist dành thời gian:
2 
3  Thu thập & làm sạch dữ liệu:  ████████████████████████  60-80%
4  Phân tích & xây dựng model:   ████████                  20-30%
5  Trình bày kết quả:            ██                        5-10%
6 
7Ví dụ: Bạn nhận 5 file CSV từ 5 phòng ban:
8  - HR:       employee_id, Name, DEPT, salary  (1,200 rows, 15 nulls)
9  - Finance:  emp_id, full_name, department    (980 rows, format khác!)
10  - Sales:    ID, name, team, commission       (2,500 rows, 200 duplicates)
11  → Trước khi phân tích: PHẢI merge, chuẩn hóa tên cột, xử lý null/dup!

1.1 Chu trình Data Wrangling

7 Bước Data Wrangling

📥Raw Data

🔍Discovery

🏗️Structuring

🧹Cleaning

➕Enriching

✅Validating

🎯Analysis-Ready

Bước	Làm gì	Ví dụ cụ thể
Discovery	Khám phá data: shape, dtypes, null%	`df.info()`, `df.describe()`
Structuring	Chuẩn hóa schema, đặt tên cột	Rename `Name` → `full_name`
Cleaning	Xử lý null, duplicates, outliers	Drop 200 duplicates, fill 15 nulls
Enriching	Thêm features, merge sources	Tính `tenure = today - hire_date`
Validating	Kiểm tra rules & constraints	`salary > 0`, `age ∈ [18, 65]`

1.2 Tại sao Data Wrangling quan trọng?

Thách thức	Giải pháp
Dữ liệu bẩn (missing, duplicates, outliers)	Cleaning & validation
Nhiều nguồn khác nhau (APIs, DBs, files)	ETL pipelines
Định dạng không nhất quán	Standardization
Quy mô lớn (>GB data)	Big Data tools (Spark)

Task 1

V	Ý nghĩa	Ví dụ
Volume	Khối lượng lớn	Terabytes, Petabytes
Velocity	Tốc độ sinh ra	Streaming data, IoT sensors
Variety	Đa dạng định dạng	Text, images, videos, logs
Veracity	Độ tin cậy	Noisy data, inconsistencies
Value	Giá trị kinh doanh	Insights, predictions

Python

1# Pandas - Dữ liệu vừa (<5GB RAM)
2import pandas as pd
3df = pd.read_csv("small_data.csv")  # OK với 1-2GB
4
5# PySpark - Big Data (>10GB)
6from pyspark.sql import SparkSession
7spark = SparkSession.builder.appName("BigData").getOrCreate()
8df = spark.read.csv("huge_data.csv")  # Xử lý 100GB+

Công cụ	Mục đích	Khi nào dùng
Pandas	Xử lý dữ liệu	Dữ liệu <5GB
Polars	Pandas nhanh hơn	Dữ liệu 5-50GB
Apache Spark	Tính toán phân tán	Dữ liệu >50GB
SQL	Truy vấn cơ sở dữ liệu	Dữ liệu có cấu trúc
Dask	Tính toán song song	Thay thế cho Spark

Python

1# Kiểm tra chất lượng dữ liệu
2import great_expectations  # Kiểm thử chất lượng dữ liệu
3import pandera  # Xác thực schema
4
5# ETL
6import airflow  # Điều phối workflow
7import luigi  # Quản lý pipeline
8
9# Luồng dữ liệu
10import kafka  # Trung gian tin nhắn
11import flink  # Xử lý luồng

Ví dụ

11. Thu thập dữ liệu (Twitter API/Web scraping)
22. Làm sạch & tiền xử lý (loại bỏ URL, hashtag)
33. Xử lý văn bản (tokenization, lemmatization)
44. Trích xuất đặc trưng (TF-IDF, word embeddings)
55. Huấn luyện mô hình (Logistic Regression, LSTM)
66. Dự đoán thời gian thực với Spark Streaming
77. Dashboard trực quan hóa (Streamlit)

Bash

1# Python environment
2conda create -n bigdata python=3.10
3conda activate bigdata
4 
5# Core libraries
6pip install pandas polars numpy
7 
8# Spark
9pip install pyspark
10 
11# NLP
12pip install nltk spacy textblob
13 
14# Visualization
15pip install plotly streamlit
16 
17# Data quality
18pip install great-expectations pandera

Ví dụ

1Cột: order_id, customer_name, product, price, quantity, order_date
2Vấn đề phát hiện:
3  - 12,000 dòng trùng order_id  (duplicates)
4  - 3% giá trị price bị null
5  - 50 dòng có price < 0        (invalid)
6  - order_date có 3 format khác nhau: "2024-01-15", "15/01/2024", "Jan 15, 2024"

Trục	Câu hỏi	Mục tiêu
Data Quality	Có rule kiểm tra completeness/validity/consistency chưa?	Giảm lỗi downstream
Pipeline Reliability	Có retry, idempotency và alert khi fail không?	Chạy ổn định định kỳ
Scalability	Khi data tăng 10x, kiến trúc còn đáp ứng không?	Không nghẽn hiệu năng
Observability	Có log + metrics theo từng stage ETL không?	Debug nhanh, rõ nguyên nhân

Nguồn	Nội dung	Link
pandas	Thư viện data wrangling chính trong Python	pandas Documentation
Great Expectations	Framework kiểm tra chất lượng dữ liệu	Great Expectations Docs
Apache Spark	Engine xử lý dữ liệu lớn phân tán	Apache Spark Documentation
Google Dataflow	Dịch vụ ETL serverless từ Google	Dataflow Documentation
AWS Glue	Dịch vụ ETL quản lý từ AWS	AWS Glue Documentation
Databricks	Nền tảng data engineering & analytics	Databricks Documentation

Tổng Quan Data Wrangling & Big Data

🎯 Tổng quan khóa học

📖 Bảng Thuật Ngữ Quan Trọng

📊 Data Wrangling là gì?

1. Data Wrangling là gì?

💡 Tại Sao Data Wrangling Quan Trọng?

1.1 Chu trình Data Wrangling

7 Bước Data Wrangling

1.2 Tại sao Data Wrangling quan trọng?

2. Big Data là gì?

2.1 Đặc điểm Big Data (5 V's)

2.2 Khi nào cần Big Data?

3. Roadmap Khóa học

Module 1: Data Wrangling Nâng cao (Tuần 1-3)

Module 2: Apache Spark & PySpark (Tuần 4-5)

Module 3: Streaming & Real-time Data (Tuần 6)

Module 4: Dự án & Chủ đề nâng cao (Tuần 7-8)

4. Công cụ sử dụng

4.1 Core Tools

Chọn Công cụ Theo Quy Mô Dữ Liệu

4.2 Công cụ hỗ trợ

5. Dự án Thực hành

🎯 Sentiment Analysis Mạng Xã Hội

Checkpoint

6. Yêu cầu đầu vào

6.1 Kiến thức cần có

6.2 Cài đặt môi trường

7. Lộ trình học tập

Tuần 1-3: Xử lý Dữ liệu

Tuần 4-5: Apache Spark

Tuần 6: Luồng dữ liệu

Tuần 7-8: Project

8. Tài nguyên học tập

8.1 Documentation

8.2 Books

9. Bài Tập Tự Đánh Giá

8.3 Online Courses

9. Đánh giá & Certification

9.1 Điểm số

9.2 Tiêu chí pass

Bắt đầu học ngay!

🧠 Góc Nhìn Chuyên Gia: Data Engineering Readiness

Maturity checklist cho data wrangling pipeline

Nguyên tắc triển khai thực chiến

📚 Tài liệu tham khảo