Bỏ qua đến nội dung chính
Mục lục

Feature engineering: đo một cột mới đáng bao nhiêu điểm

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 1/11 · Chương 9

Feature engineering và Pipeline

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Feature engineering là việc biến các cột thô của bảng thành những cột mà model dùng được dễ hơn, dựa trên điều bạn hiểu về nghiệp vụ: một tỉ lệ, một hiệu, một phép đếm. Bạn làm việc này khi model đã chạy đúng quy trình mà điểm vẫn dừng ở một mức, và bạn nghi rằng dữ liệu còn điều chưa được nói ra.

Cần biết trước: thêm cột trong pandas, cross validation và sklearn pipeline.

Tự gia hạn có tác dụng như nhau với mọi gói không?

Bảng hội viên Sóc Vàng (số giả lập của AIDev, 3.000 hội viên của chuỗi Sóc Nhanh) có cột tu_dong_gia_han và cột goi. Người làm chăm sóc khách hàng sẽ nói ngay: bật tự gia hạn chỉ giữ chân được người đã mua gói dài. Bảng chéo dưới đây kiểm câu đó:

python
import pandas as pd

hv = pd.read_csv("hoi_vien.csv")
bang = pd.crosstab(hv["goi"], hv["tu_dong_gia_han"],
                   values=hv["roi_bo"], aggfunc="mean")
print(bang.round(2))

KẾT QUẢ

tu_dong_gia_han     0     1
goi                        
Năm              0.23  0.12
Quý              0.19  0.16
Tháng            0.24  0.21

Với gói Năm, bật tự gia hạn kéo tỉ lệ rời bỏ từ 23% xuống 12%; với gói Tháng chỉ từ 24% xuống 21%. Tác dụng của tự gia hạn đổi theo gói. Logistic regression gán cho mỗi cột một hệ số dùng chung cho mọi dòng, nên với hai cột rời nó chỉ học được một hệ số chung cho tự gia hạn, dùng cho cả ba gói. Ghép hai cột thành một cột mới, như cột khoa_dai_han ở phần sau, là cách đưa sự khác biệt theo gói vào bảng.

Tỉ lệ, hiệu và đếm

Phần lớn feature từ nghiệp vụ thuộc ba dạng. Tỉ lệ đặt một con số cạnh quy mô của nó: số đơn trên số lần vào app. Hiệu đo khoảng cách tới một mốc có nghĩa: số ngày đã quá một quý chưa mua. Đếm gom nhiều dấu hiệu nhỏ thành một con số. assign() tạo các cột này và trả về một bảng mới:

python
import pandas as pd

hv = pd.read_csv("hoi_vien.csv")
hv = hv.assign(
    khoa_dai_han=((hv["tu_dong_gia_han"] == 1)
                  & (hv["goi"] != "Tháng")).astype(int),
    don_moi_lan_vao=hv["so_don_90_ngay"]
    / (hv["so_lan_dang_nhap_30_ngay"] + 1),
    ngay_qua_quy=(hv["so_ngay_tu_lan_mua_cuoi"] - 90).clip(lower=0),
    so_dau_hieu=(hv["so_ngay_tu_lan_mua_cuoi"] > 40).astype(int)
    + (hv["so_lan_khieu_nai"] > 0) + (hv["ti_le_giao_tre"] > 0.12),
)
print(hv.groupby("so_dau_hieu")["roi_bo"].mean().round(2))

KẾT QUẢ

so_dau_hieu
0    0.06
1    0.20
2    0.30
3    0.51
Name: roi_bo, dtype: float64

Mẫu số cộng thêm 1 để hội viên chưa vào app lần nào không làm phép chia hỏng. clip(lower=0) giữ hiệu ở mức 0 cho người mới mua gần đây. Cột đếm cho thấy một bậc thang rõ: không dấu hiệu nào thì 6% rời bỏ, đủ ba dấu hiệu thì 51%. Đổi > 0.12 thành > 0.2 rồi chạy lại: ngưỡng giao trễ khắt khe hơn, và dòng ba dấu hiệu in 3 0.47.

Đo một feature bằng cross validation

Bảng tỉ lệ rời bỏ theo nhóm chỉ nói cột mới có liên quan tới nhãn. Câu hỏi thật là model có tốt hơn khi được thêm cột đó không, và chỉ một phép chấm trên phần dữ liệu model chưa học trả lời được. Chấm hai bảng, cũ và mới, bằng cùng một pipeline và cùng một bộ chia fold:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
X = hv.select_dtypes("number").drop(columns=[
    "diem_danh_gia_tb", "hoi_cach_huy_sau_moc", "roi_bo"])
X_moi = X.assign(khoa_dai_han=X["tu_dong_gia_han"]
                 * (hv["goi"] != "Tháng"))
chia = StratifiedKFold(5, shuffle=True, random_state=0)
pipe = make_pipeline(StandardScaler(), LogisticRegression())
cu, moi = [cross_val_score(pipe, B, hv["roi_bo"], cv=chia,
                           scoring="roc_auc") for B in (X, X_moi)]
print(cu.mean().round(3), moi.mean().round(3), (moi - cu).round(3))

KẾT QUẢ

0.793 0.796 [-0.001  0.011  0.     0.004  0.005]

Hai số đầu là AUC trung bình trên năm fold của bảng 10 cột số và của bảng thêm khoa_dai_han. Mảng cuối là chênh lệch trên từng fold: vì chia có random_state cố định, fold thứ k của hai lần chấm là đúng cùng các hội viên, nên mỗi số là một phép so công bằng. Cột mới thắng ở ba fold, hòa một, thua rất ít ở một. Ở 200 hạt giống chia khác nhau, mức tăng trung bình là 0,0036 và lần nào cũng dương, trong khi điểm của chính bảng cũ dao động khoảng 0,001 từ cách chia này sang cách chia khác. So hai con số đo trên hai cách chia khác nhau thì phần dao động đó lẫn vào kết luận.

Mức tăng nhỏ như vậy là chuyện thường: 10 cột gốc đã chứa phần lớn tín hiệu, và feature tốt thường thêm từng chút một.

Khi một cột qua được phép chấm này, nó vào bảng feature, và các phép biến đổi cần học từ dữ liệu đi vào pipeline cùng model. Các bài sau của nhóm này dạy từng loại: cột chữ, cột ngày, ô trống, rồi gom tất cả vào một khối.

Kiểm tra nhanh

  1. Sau import pandas as pd và X = pd.DataFrame({"don": [0, 3], "vao": [4, 0]}), (X["don"] / (X["vao"] + 1)).tolist() cho kết quả gì?

    • [0.0, inf]
    • [0.0, 3.0]
    • [0.0, 0.75]
  2. Trong ví dụ đo khoa_dai_han, mảng chênh từng fold là [-0.001 0.011 0. 0.004 0.005]. Câu nào đọc đúng mảng này?

    • Cột mới làm model kém đi, vì có một fold âm
    • Cột mới tăng AUC 0,011, lấy theo fold cao
    • Cột mới thắng ba fold, hòa một, thua rất ít ở một; mức tăng trung bình nhỏ nhưng đều
  3. Những cách nào cho một phép so công bằng giữa bảng cũ và bảng có feature mới?

    • Dùng cùng một StratifiedKFold có random_state cố định cho cả hai lần chấm
    • Dùng cùng một pipeline, chỉ khác bảng feature
    • Chấm bảng cũ với random_state=0, bảng mới với random_state=1
    • Giữ cột nào có bậc thang tỉ lệ rời bỏ rõ trong bảng gom nhóm
  4. Trong khung bẫy đầu tiên, vì sao dòng print báo KeyError?

    • Vì clip(lower=0) xóa cột so_ngay_tu_lan_mua_cuoi
    • Vì assign() trả về một bảng mới mà không ai giữ, nên hv không có cột ngay_qua_quy
    • Vì tên cột mới không được có chữ số
Đúng hết lần đầu +15 XP

Bài tập

Thêm ba feature cho bảng hội viên

Đội chăm sóc khách hàng Sóc Vàng muốn thử ba feature mới. Viết thân hàm them_feature(hv); hv có các cột tu_dong_gia_han, so_thang_su_dung, so_lan_dang_nhap_30_ngay, so_don_90_ngay, so_lan_khieu_nai. Thêm vào cuối, theo thứ tự:

  • khieu_nai_moi_don: số lần khiếu nại chia cho số đơn cộng 1;

  • thang_thieu_nam_dau: 12 trừ số tháng đã dùng, không nhỏ hơn 0;

  • so_tin_hieu_tot: đếm ba điều, mỗi điều đúng thêm 1: bật tự gia hạn, từ 10 lần đăng nhập trở lên, từ 3 đơn trở lên.

Hàm không sửa hv của nơi gọi.

Trả về: bảng gồm các cột cũ và ba cột mới, giữ index của hv, một DataFrame.

Ví dụ với một hội viên bật tự gia hạn, đã dùng 3 tháng, 10 lần đăng nhập, 3 đơn, 2 lần khiếu nại: ba cột mới là 0.5, 9, 3.

python
import pandas as pd

def them_feature(hv):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Feature engineering biến điều bạn biết về nghiệp vụ thành cột, vì model chỉ học từ những gì cột nói ra.

  • Ba dạng hay dùng: tỉ lệ (cộng 1 vào mẫu số khi có thể bằng 0), hiệu với một mốc, đếm dấu hiệu.

  • assign() trả bảng mới; gán lại hv = hv.assign(...) thì cột mới mới còn.

  • Đo feature bằng cùng một pipeline và cùng một StratifiedKFold có random_state, rồi đọc chênh từng fold.

  • Bảng gom nhóm đẹp chưa chứng minh feature giúp model; chỉ phép chấm cross validation trả lời được.

Câu hỏi thường gặp

Feature engineering là gì, nói ngắn gọn?

Là việc tạo cột mới từ cột cũ để model dùng được điều bạn biết về bài toán: tỉ lệ, hiệu, phép đếm, mã hóa cột chữ, cột ngày. Phần đo giá trị của từng cột mới làm bằng cross validation trên cùng các fold, như mục đo ở trên.

Feature mới chỉ tăng AUC 0,003 thì có nên giữ?

Giữ khi chênh lệch dương ở phần lớn các fold và ở nhiều cách chia khác nhau, như khoa_dai_han. Bỏ khi chênh lệch đổi dấu qua lại quanh 0. Cột càng nhiều thì bảng càng khó đọc và dễ lỗi khi dữ liệu mới đổi, nên một cột phải trả đủ công của nó.

Có nên tạo hàng trăm feature rồi để model tự chọn?

Với dữ liệu vài nghìn dòng, nhiều cột vô nghĩa làm model dễ học thuộc nhiễu, và việc chọn cột trên chính dữ liệu chấm lại là một kiểu rò dữ liệu. Bắt đầu từ vài feature có lý do nghiệp vụ, đo từng cột một.

Model cây có cần feature engineering không?

Ít hơn: cây tự chia một cột thành các khoảng và tự kết hợp hai cột theo nhánh, nên luật "tự gia hạn và gói dài" cây học được mà không cần cột riêng. Tỉ lệ và hiệu vẫn giúp cây, vì cây không tự chia hai cột cho nhau. Bài decision tree cho thấy cách cây chia.

Chủ đề

feature engineering

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập