Bỏ qua đến nội dung chính
Mục lục

Model đầu tiên bằng scikit-learn Python: fit, so baseline

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/5 · Chương 2

API scikit-learn và model đầu tiên

  • 8 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Model đầu tiên bằng sklearn trong Python chỉ cần khoảng mười dòng: đọc bảng, chọn feature, cất riêng một phần dữ liệu, fit model, so với baseline rồi dự đoán. Đây là khung bạn lặp lại ở mọi dự án học máy, như khi một sàn nhà đất muốn gợi ý giá cho người đăng tin bán căn hộ.

Cần biết trước: fit, predict, score, baseline và tạo DataFrame.

Cất riêng một phần bảng để chấm

Điểm chấm trên chính bảng đã học không nói được model đoán căn mới ra sao. Vì vậy, trước khi fit, bạn cất 20% số căn sang một bên. Lời gọi train_test_split() làm việc đó; bài train_test_split giải thích từng tham số, ở đây bạn chỉ cần biết nó trả hai bảng:

python
import pandas as pd
from sklearn.model_selection import train_test_split

nha = pd.read_csv("gia_nha.csv")
nha_train, nha_test = train_test_split(
    nha, test_size=0.2, random_state=14
)
print(len(nha_train), len(nha_test))

KẾT QUẢ

2000 500

Bảng nha_train có 2.000 căn để model học, nha_test có 500 căn model không được thấy lúc học. Hàm xáo dòng ngẫu nhiên, và random_state=14 giữ cho lần chạy nào cũng ra đúng hai bảng này. Cách chia ngẫu nhiên chỉ hợp khi mỗi căn là một dòng độc lập, như ở bảng giá nhà này.

Fit model và so với baseline

Model và baseline học trên nha_train, rồi cùng được chấm trên nha_test:

python
import pandas as pd
from sklearn.dummy import DummyRegressor
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

nha = pd.read_csv("gia_nha.csv")
nha_train, nha_test = train_test_split(
    nha, test_size=0.2, random_state=14)
cac_cot = ["dien_tich_m2", "khoang_cach_trung_tam_km"]
X_train, y_train = nha_train[cac_cot], nha_train["gia_ty"]
X_test, y_test = nha_test[cac_cot], nha_test["gia_ty"]
model = LinearRegression().fit(X_train, y_train)
moc = DummyRegressor().fit(X_train, y_train)
print("Model:   ", round(model.score(X_test, y_test), 3))
print("Baseline:", round(moc.score(X_test, y_test), 3))

KẾT QUẢ

Model:    0.484
Baseline: -0.002

Baseline đoán giá trung bình của 2.000 căn train cho mọi căn test, nên điểm của nó hơi dưới 0: R² bằng 0 là ngang việc đoán trung bình của chính bảng test, mà baseline không biết con số đó. Thử 200 cách chia khác nhau, điểm baseline luôn nằm trong khoảng −0,02 tới 0, còn model hai feature quanh 0,48. Model vượt mốc rõ, nên đáng làm tiếp. Điểm score() ở đây là R²; bài MAE, RMSE, R² đổi điểm này ra sai số tính bằng tỷ đồng, dễ nói với người bán nhà hơn.

Đoán giá một căn nhà mới

Người đăng tin chỉ có một căn: 68 m², cách trung tâm 6,5 km. predict() vẫn cần một bảng, nên căn đó được viết thành DataFrame một dòng, cùng tên cột như lúc fit:

python
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

nha = pd.read_csv("gia_nha.csv")
nha_train, _ = train_test_split(
    nha, test_size=0.2, random_state=14)
cac_cot = ["dien_tich_m2", "khoang_cach_trung_tam_km"]
model = LinearRegression().fit(nha_train[cac_cot],
                               nha_train["gia_ty"])
can_moi = pd.DataFrame({"dien_tich_m2": [68],
                        "khoang_cach_trung_tam_km": [6.5]})
gia = model.predict(can_moi)[0]
print(f"Giá gợi ý: {gia:.2f} tỷ đồng")

KẾT QUẢ

Giá gợi ý: 7.55 tỷ đồng

predict() trả một mảng một phần tử, [0] lấy số đó ra. Mỗi giá trị trong dict nằm trong ngoặc vuông, vì mỗi cột của DataFrame là một list, dù chỉ có một dòng.

Đổi [6.5] thành [2.0] rồi chạy lại: dòng cuối in Giá gợi ý: 10.12 tỷ đồng.

Chọn bộ cột trên phần kiểm

Một người đăng tin hỏi: "Nhà tôi bốn tầng, giá gợi ý có tính số tầng không?" Bảng có sẵn cột so_tang và gan_metro, nên có ba bộ cột để cân nhắc: hai cột đang dùng, thêm so_tang, thêm cả so_tang lẫn gan_metro. Muốn chọn một bộ thì cần một bảng để so, và bảng đó không được là nha_test: bộ nào thắng trên nha_test thì điểm của nó trên nha_test đã được chọn vì đẹp, nên không còn đo đúng căn mới.

Cách làm là chia nha_train thêm một lần. 1.500 căn làm phần học, 500 căn làm phần kiểm (validation); mỗi bộ cột fit trên phần học rồi được chấm trên phần kiểm:

python
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

nha = pd.read_csv("gia_nha.csv")
nha_train, nha_test = train_test_split(
    nha, test_size=0.2, random_state=14)
nha_hoc, nha_kiem = train_test_split(
    nha_train, test_size=0.25, random_state=14)
goc = ["dien_tich_m2", "khoang_cach_trung_tam_km"]
ung_vien = [goc, goc + ["so_tang"], goc + ["so_tang", "gan_metro"]]
for cot in ung_vien:
    m = LinearRegression().fit(nha_hoc[cot], nha_hoc["gia_ty"])
    diem = m.score(nha_kiem[cot], nha_kiem["gia_ty"])
    print(len(cot), "cột:", round(diem, 3))

KẾT QUẢ

2 cột: 0.483
3 cột: 0.668
4 cột: 0.667

test_size=0.25 của 2.000 căn là 500 căn. Có so_tang, điểm trên phần kiểm lên từ 0.483 thành 0.668, nên câu trả lời cho người đăng tin là có. Thêm gan_metro thì điểm còn nhích xuống 0.001. Lặp lại với 200 cách chia khác nhau: so_tang lần nào cũng thêm ít nhất 0,14, còn gan_metro chưa lần nào làm điểm đổi quá 0,005, thắng hay thua chỉ do cách chia. Hai bộ gần bằng nhau thì giữ bộ ít cột hơn, ở đây là ba cột.

Chọn xong mới mở nha_test, và chỉ một lần. Bộ ba cột fit lại trên đủ 2.000 căn train:

python
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

nha = pd.read_csv("gia_nha.csv")
nha_train, nha_test = train_test_split(
    nha, test_size=0.2, random_state=14)
cac_cot = ["dien_tich_m2", "khoang_cach_trung_tam_km", "so_tang"]
model = LinearRegression().fit(nha_train[cac_cot],
                               nha_train["gia_ty"])
print(round(model.score(nha_test[cac_cot], nha_test["gia_ty"]), 3))

KẾT QUẢ

0.695

0.695 là con số để báo, vì 500 căn test không góp phần nào vào việc chọn cột. Nếu nhìn con số này rồi quay lại đổi bộ cột, nha_test thành một phần kiểm thứ hai và con số mới lại lạc quan; bài train, validation, test chia sẵn ba phần ngay từ đầu để tránh chuyện đó.

Cột quan và loai_nha còn ở dạng chữ nên chưa thành ứng viên được; bài get_dummies biến mỗi giá trị chữ thành một cột 0/1 để chúng vào được danh sách.

Kiểm tra nhanh

  1. Trong ví dụ so với baseline, vì sao model và baseline đều phải chấm trên nha_test?

    • Vì score() báo lỗi khi gọi trên bảng đã dùng để fit
    • Vì điểm trên căn model chưa thấy mới cho biết model đoán căn mới tốt đến đâu, và hai bên phải chấm trên cùng bảng
    • Vì nha_test nhiều căn hơn nha_train
  2. Model fit với cac_cot = ["dien_tich_m2", "khoang_cach_trung_tam_km"]. Bảng nào đưa vào predict() được?

    • pd.DataFrame({"dien_tich_m2": [68], "khoang_cach_trung_tam_km": [6.5]})
    • pd.DataFrame({"khoang_cach_trung_tam_km": [6.5], "dien_tich_m2": [68]})
    • pd.DataFrame({"dien_tich_m2": [68]})
  3. Sau import numpy as np, np.array([7.5512])[0] cho kết quả gì?

    • [7.5512]
    • np.float64(7.5512)
    • 7
  4. Ba bộ cột được so trên nha_kiem, rồi bộ thắng được chấm một lần trên nha_test. Những câu nào đúng?

    • Bộ cột được chọn theo điểm trên nha_kiem
    • Điểm trên nha_test là con số để báo, vì bảng này không góp vào việc chọn
    • Chọn thẳng theo điểm trên nha_test cũng được, vì model chưa học bảng đó
    • Chọn theo điểm trên nha_hoc là đủ, vì bộ nhiều cột nhất luôn thắng ở đó
Đúng hết lần đầu +15 XP

Bài tập

Chọn bộ cột trên phần kiểm

nha_hoc, nha_kiem có cùng các cột, kể cả nhãn gia_ty; cac_bo_cot là list các ứng viên, mỗi ứng viên là một list tên cột feature. Viết thân hàm chon_bo_cot(nha_hoc, nha_kiem, cac_bo_cot): với mỗi ứng viên, fit một LinearRegression() trên nha_hoc với đúng các cột đó và chấm bằng score() trên nha_kiem; giữ ứng viên có điểm cao nhất.

Hàm không sửa hai bảng và list cac_bo_cot của nơi gọi.

Trả về: ứng viên thắng, một list tên cột lấy từ cac_bo_cot.

Ví dụ với hai bảng ở dòng chấm đầu, cac_bo_cot = [["so_tang"], ["so_tang", "tuoi_nha"]] cho ["so_tang"], dù trên nha_hoc bộ hai cột có điểm cao hơn.

python
import pandas as pd
from sklearn.linear_model import LinearRegression

def chon_bo_cot(nha_hoc, nha_kiem, cac_bo_cot):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Vòng làm việc đầu tiên: đọc bảng, chọn cột feature, cất riêng phần test, fit trên phần train.

  • Chấm model và baseline trên cùng phần test; model đáng làm tiếp khi điểm của nó vượt điểm baseline.

  • Căn mới đưa vào predict() là DataFrame một dòng, đủ cột, đúng tên và thứ tự lúc fit.

  • predict() trả một mảng; [0] lấy dự đoán của dòng đầu.

  • Chọn bộ cột bằng điểm trên phần kiểm tách từ phần train; hai bộ gần bằng nhau thì giữ bộ ít cột hơn.

  • Phần test chấm một lần, cho bộ đã chọn; điểm đó mới là con số để báo.

Câu hỏi thường gặp

Học scikit-learn trong Python nên bắt đầu từ model nào?

Từ LinearRegression cho bài toán hồi quy, như bài này, và DummyRegressor làm mốc. Hai model đó đủ để học trọn vòng đọc, fit, chấm, dự đoán; bài LinearRegression giải thích model tính dự đoán ra sao, sau khi bạn đã quen vòng đó.

Điểm 0,695 là tốt hay chưa?

Chưa đủ để kết luận bằng một con số. So với baseline thì model đã học được nhiều, nhưng người bán nhà cần biết model lệch bao nhiêu tỷ. Bài MAE, RMSE, R² đổi điểm ra sai số tính bằng tiền.

Vì sao không fit trên cả 2.500 căn cho model học nhiều hơn?

Có thể, nhưng sau khi đã chọn xong model và feature. Trong lúc còn so các lựa chọn, phần test phải nằm ngoài mọi lần fit và mọi lần chọn. Bài train_test_split nói kỹ cách chia.

Dự đoán giá cho nhiều căn mới cùng lúc thế nào?

Viết DataFrame nhiều dòng, mỗi dòng một căn, rồi gọi predict() một lần. Kết quả là một mảng, phần tử thứ k là giá của dòng thứ k.

Chủ đề

scikit learn python

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập