pd.get_dummies pandas: one-hot cho model tuyến tính
Bài 5/10 · Chương 4
Hồi quy
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
pd.get_dummies() của pandas biến một cột chữ thành nhiều cột 0/1, mỗi nhóm một cột, để model tuyến tính dùng được; cách mã hóa này gọi là one-hot. Bài này mã hóa cột tình trạng pháp lý của bảng giá nhà, xem vì sao model có hệ số chặn cần bớt một cột (drop_first=True), và cách mã hóa dữ liệu mới cho cột khớp đúng bảng train.
Cần biết trước: các loại dữ liệu, value_counts() và hồi quy đa biến.
Công thức: mỗi nhóm một cột 0/1
Cột phap_ly ghi giấy tờ của căn nhà: Sổ hồng, Hợp đồng mua bán, Đang chờ sổ. Model chỉ nhân hệ số với số. Gán 1, 2, 3 cho ba tình trạng thì model hiểu Đang chờ sổ "gấp ba" Sổ hồng và hai bước cách nhau bằng nhau, một điều dữ liệu không hề nói. Cách đúng là cho mỗi nhóm k một cột riêng:
Trong đó:
k (một giá trị của
phap_ly): một nhóm, như Sổ hồng.x với chỉ số k (cột
phap_ly_Sổ hồng): cột 0/1 của nhóm đó.
Mỗi căn thuộc đúng một nhóm, nên trên mỗi hàng, các cột 0/1 của cùng một biến có đúng một ô bằng 1.
Mã hóa bằng tay rồi bằng get_dummies
Bốn căn nhà có pháp lý Sổ hồng, Đang chờ sổ, Hợp đồng mua bán, Sổ hồng. Mã hóa bằng tay:
Căn | phap_ly | Hợp đồng mua bán | Sổ hồng | Đang chờ sổ |
|---|---|---|---|---|
0 | Sổ hồng | 0 | 1 | 0 |
1 | Đang chờ sổ | 0 | 0 | 1 |
2 | Hợp đồng mua bán | 1 | 0 | 0 |
3 | Sổ hồng | 0 | 1 | 0 |
pd.get_dummies() cho đúng bảng đó. Tham số columns= liệt kê các cột chữ cần đổi; cột số giữ nguyên:
import pandas as pd
bang = pd.DataFrame({"dien_tich_m2": [45, 70, 60, 95],
"phap_ly": ["Sổ hồng", "Đang chờ sổ",
"Hợp đồng mua bán", "Sổ hồng"]})
print(pd.get_dummies(bang, columns=["phap_ly"]))KẾT QUẢ
dien_tich_m2 phap_ly_Hợp đồng mua bán phap_ly_Sổ hồng \
0 45 False True
1 70 False False
2 60 True False
3 95 False True
phap_ly_Đang chờ sổ
0 False
1 True
2 False
3 False Tên cột mới ghép tên cột gốc với tên nhóm, và các nhóm xếp theo thứ tự sắp xếp chuỗi của Python: chữ Đ có mã sau chữ S, nên Đang chờ sổ đứng cuối. Ô là True/False; thêm dtype=int để có 0 và 1. Đổi columns=["phap_ly"] thành columns=["phap_ly"], drop_first=True, dtype=int rồi chạy lại: dòng đầu in dien_tich_m2 phap_ly_Sổ hồng phap_ly_Đang chờ sổ. Cột Hợp đồng mua bán, cột đứng đầu, không còn nữa.
Vì sao bớt một cột: bẫy biến giả
Hệ số chặn b là hệ số của một cột ẩn toàn số 1. Ba cột 0/1 của phap_ly cũng cộng lại thành toàn số 1 ở mọi hàng, nên chúng lặp lại đúng thông tin của cột ẩn đó. Tình huống này gọi là bẫy biến giả (dummy variable trap), trường hợp cực đoan của đa cộng tuyến ở bài hồi quy đa biến: có vô số cách chia phần giá giữa b và ba hệ số mà giá đoán không đổi. Fit giá theo diện tích và pháp lý, có và không có drop_first:
import pandas as pd
from sklearn.linear_model import LinearRegression
nha = pd.read_csv("gia_nha.csv")
bang, y = nha[["dien_tich_m2", "phap_ly"]], nha["gia_ty"]
for bo in [False, True]:
X = pd.get_dummies(bang, columns=["phap_ly"], drop_first=bo, dtype=int)
model = LinearRegression().fit(X, y)
print(bo, model.coef_.round(3), round(model.intercept_, 3))KẾT QUẢ
False [ 0.112 -0.083 0.33 -0.247] -1.913
True [ 0.112 0.413 -0.165] -1.996Không có drop_first, scikit-learn vẫn fit mà không báo gì, và chọn trong vô số cách chia đó cách có hệ số nhỏ nhất: ba hệ số pháp lý cộng lại bằng 0. Không còn đọc riêng được từng hệ số: −0,083 không có nghĩa căn có hợp đồng mua bán rẻ hơn thứ gì cụ thể. Hiệu giữa hai hệ số thì vẫn có nghĩa: 0,33 − (−0,083) = 0,413 tỷ.
Có drop_first, cột Hợp đồng mua bán biến mất, và chính nhóm đó thành chuẩn để so: căn có sổ hồng được đoán đắt hơn căn chỉ có hợp đồng mua bán cùng diện tích 0,413 tỷ, căn đang chờ sổ rẻ hơn 0,165 tỷ. Con số 0,413 trùng với hiệu vừa tính ở dòng trên: hai model là một, chỉ khác cách viết hệ số.
Trước khi mã hóa, đếm mỗi nhóm có bao nhiêu căn, vì hệ số của một nhóm vài căn rất kém chắc chắn:
import pandas as pd
nha = pd.read_csv("gia_nha.csv")
print(nha["phap_ly"].value_counts())
print(nha["quan"].nunique(), "quận")KẾT QUẢ
phap_ly
Sổ hồng 1793
Đang chờ sổ 369
Hợp đồng mua bán 338
Name: count, dtype: int64
15 quậnNhóm nhỏ nhất vẫn có 338 căn. Cột quan có 15 nhóm, nên sau drop_first=True thành 14 cột 0/1.
Dữ liệu mới thiếu nhóm thì cột lệch
get_dummies() không nhớ gì về bảng train: nó chỉ tạo cột cho các nhóm có trong bảng nó đang nhận. Hai căn mới đều có sổ hồng, nên mã hóa riêng hai căn này chỉ ra một cột pháp lý, còn có drop_first=True thì không ra cột nào. Đưa thẳng bảng đó vào predict() thì scikit-learn báo ValueError vì thiếu cột; bài lỗi feature names mismatch đọc thông báo đó. Lỗi đó còn dễ thấy. Khó thấy là lúc cột đã được bù cho đủ mà nội dung lại sai.
reindex(columns=...) đưa bảng mới về đúng danh sách cột của train: cột của nhóm train không biết bị bỏ, cột của nhóm bảng mới thiếu được thêm với giá trị điền vào, và thứ tự cột theo đúng lúc fit. Khi tiền xử lý có nhiều bước, OneHotEncoder của scikit-learn ghi nhớ các nhóm lúc fit và làm việc này thay bạn; xem bài OneHotEncoder.
Kiểm tra nhanh
Sau
import pandas as pd,print(pd.get_dummies(pd.Series(["a", "b", "a"]), drop_first=True, dtype=int).columns.tolist())in ra gì?['a', 'b']['b']['a']
Model có hệ số
0.413cho cộtphap_ly_Sổ hồng, và cột Hợp đồng mua bán đã bị bỏ. Hệ số đó nghĩa là gì?- Một căn có sổ hồng có giá 0,413 tỷ
- Căn có sổ hồng được đoán đắt hơn căn có hợp đồng mua bán cùng diện tích 0,413 tỷ
- Sổ hồng làm giá đoán tăng 41,3%
Những câu nào đúng về bẫy biến giả?
- Đủ mọi cột 0/1 của một biến thì chúng lặp lại thông tin của hệ số chặn
drop_first=Truethoát bẫy bằng cách bớt cột của một nhóm- LinearRegression báo lỗi khi rơi vào bẫy
- Rơi vào bẫy thì giá đoán của model bị sai
Bảng mới chỉ có căn đang chờ sổ. Cách nào cho cột khớp đúng model đã fit với
drop_first=Truetrên train?pd.get_dummies(moi, columns=["phap_ly"], drop_first=True, dtype=int)pd.get_dummies(moi, columns=["phap_ly"], dtype=int).reindex(columns=X.columns, fill_value=0)pd.get_dummies(moi, columns=["phap_ly"], dtype=int)
Bài tập
Mã hóa bảng mới cho khớp cột của train
bang_train và bang_moi là hai DataFrame có cùng các cột, cac_cot_nhom là list tên các cột chữ. Model đã fit trên pd.get_dummies(bang_train, columns=cac_cot_nhom, drop_first=True, dtype=int). Viết thân hàm ma_hoa_bang_moi(bang_train, bang_moi, cac_cot_nhom): mã hóa bang_moi sao cho có đúng các cột, đúng thứ tự cột của bảng train đã mã hóa, mỗi ô 0/1 là số nguyên, cột nhóm mà bang_moi không có thì toàn 0.
Hàm không sửa hai bảng của nơi gọi.
Trả về: bảng mới đã mã hóa, một DataFrame.
Ví dụ với cac_cot_nhom = ["phap_ly"], train có đủ ba tình trạng pháp lý và bang_moi là hai căn có sổ hồng 65 m², 90 m², kết quả có ba cột dien_tich_m2, phap_ly_Sổ hồng toàn 1, phap_ly_Đang chờ sổ toàn 0.
import pandas as pd
def ma_hoa_bang_moi(bang_train, bang_moi, cac_cot_nhom):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
pd.get_dummies(bang, columns=[...])biến mỗi nhóm của cột chữ thành một cột 0/1;dtype=intcho số thay cho True/False.Đủ mọi cột 0/1 cùng hệ số chặn là bẫy biến giả;
drop_first=Truebớt cột của nhóm đứng đầu, và nhóm đó thành chuẩn so sánh.Hệ số của một cột 0/1 là chênh lệch giá đoán so với nhóm chuẩn, khi các feature khác giữ nguyên.
Dữ liệu mới thiếu nhóm thì thiếu cột; mã hóa không drop_first rồi
reindex(columns=cột_train, fill_value=0).drop_firsttrên dữ liệu mới có thể bỏ nhầm nhóm và cho giá đoán sai mà không báo lỗi.
Câu hỏi thường gặp
get_dummies khác OneHotEncoder thế nào?
get_dummies là hàm pandas, mã hóa bảng nó nhận và không nhớ gì. OneHotEncoder là bước của scikit-learn: học các nhóm lúc fit trên train rồi áp đúng các nhóm đó lên dữ liệu mới, nên đặt được trong pipeline. Bài OneHotEncoder dạy cách dùng.
Có nên luôn dùng drop_first=True không?
Với model tuyến tính có hệ số chặn thì nên, để hệ số đọc được. Model cây như random forest không bị bẫy biến giả và thường giữ đủ các cột. Ridge, Lasso cũng chịu được đủ cột vì phần phạt chọn giúp một cách chia.
Muốn chọn nhóm chuẩn so sánh thì làm thế nào?
drop_first bỏ nhóm đứng đầu theo thứ tự. Với phap_ly, nhóm đông nhất là Sổ hồng, so các nhóm khác với nó dễ đọc hơn. Đổi cột sang kiểu category với Sổ hồng đứng đầu, như bài category trong pandas, rồi mới gọi get_dummies.
Cột có quá nhiều nhóm thì sao?
Mỗi nhóm thêm một cột, nên 500 mã sản phẩm thành 499 cột, phần lớn nhóm chỉ vài dòng và hệ số rất kém chắc chắn. Gộp các nhóm hiếm thành một nhóm "khác" trước khi mã hóa.
Chủ đề
Dữ liệu của bài
- Tải xuống
gia_nha.csv
CSV · 155.53 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.