Iris dataset và các bộ dữ liệu có sẵn trong sklearn
Bài 4/5 · Chương 2
API scikit-learn và model đầu tiên
- 6 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
Iris dataset là bảng 150 bông hoa diên vĩ thuộc 3 loài, mỗi bông đo 4 số, và load_iris() nạp nó từ scikit-learn mà không cần tải file. Thư viện còn kèm vài bộ dữ liệu nhỏ khác trong sklearn.datasets và các hàm make_* sinh dữ liệu giả lập, đủ để thử một model trong vài giây trước khi làm với bảng thật.
Cần biết trước: fit, predict, score.
Bảng tra nhanh: bộ dữ liệu của sklearn.datasets
Mọi hàm nằm trong sklearn.datasets. Cột "Ví dụ" là lời gọi của từng hàng, cột "Kết quả" là hình (shape) của bảng feature mà lời gọi đó trả. Bunch là một dict cho phép đọc khóa như thuộc tính, như bo.data.
Hàm | Làm gì | Trả về | Ví dụ | Kết quả |
|---|---|---|---|---|
| 150 hoa, 3 loài, phân loại | Bunch |
| (150, 4) |
| 178 mẫu rượu, 3 lớp | Bunch |
| (178, 13) |
| 569 khối u, 2 lớp | Bunch |
| (569, 30) |
| 1.797 ảnh chữ số 8×8 | Bunch |
| (1797, 64) |
| 442 bệnh nhân, hồi quy | Bunch |
| (442, 10) |
| sinh dữ liệu phân loại | tuple |
| (200, 4) |
| sinh dữ liệu hồi quy | tuple |
| (200, 3) |
| hai nửa vầng trăng đan nhau | tuple |
| (200, 2) |
| các cụm điểm tròn | tuple |
| (200, 2) |
| giá nhà California, hồi quy | Bunch | cần mạng, không chạy trên trang | (20640, 8) |
| đã bị gỡ từ bản 1.2 | không còn |
| ImportError |
Chạy khối dưới để in đúng cột kết quả của chín hàng chạy được:
from sklearn import datasets as ds
for ten in ["iris", "wine", "breast_cancer", "digits", "diabetes"]:
bo = getattr(ds, "load_" + ten)()
print(ten, bo.data.shape)
print(ds.make_classification(200, 4, random_state=0)[0].shape)
print(ds.make_regression(200, 3, random_state=0)[0].shape)
print(ds.make_moons(200, random_state=0)[0].shape)
print(ds.make_blobs(200, random_state=0)[0].shape)KẾT QUẢ
iris (150, 4)
wine (178, 13)
breast_cancer (569, 30)
digits (1797, 64)
diabetes (442, 10)
(200, 4)
(200, 3)
(200, 2)
(200, 2)Đổi make_blobs(200, thành make_blobs(50, rồi chạy lại: dòng cuối in (50, 2).
getattr(ds, "load_" + ten) lấy hàm theo tên ghép từ chuỗi, nên một vòng lặp gọi đủ năm hàm load_*. Cách gọi fit() trên các bảng này giống hệt với bảng của bạn, như ở bài fit, predict, score.
load_iris(): Bunch, return_X_y và as_frame
Gọi trơn, load_iris() trả một Bunch: data là mảng feature, target là nhãn dạng số 0, 1, 2, target_names là tên loài ứng với từng số, feature_names là tên cột. Tham số return_X_y=True bỏ qua Bunch, trả thẳng cặp (X, y). Tham số as_frame=True cho thêm frame, một DataFrame có cả cột target:
from sklearn.datasets import load_iris
bo = load_iris()
print(bo.target_names)
print(bo.feature_names[:2])
X, y = load_iris(return_X_y=True)
print(X.shape, y[:3], y[-3:])
bang = load_iris(as_frame=True).frame
print(bang.shape)
print(bang["target"].value_counts().to_dict())KẾT QUẢ
['setosa' 'versicolor' 'virginica']
['sepal length (cm)', 'sepal width (cm)']
(150, 4) [0 0 0] [2 2 2]
(150, 5)
{0: 50, 1: 50, 2: 50}Ba loài có đúng 50 bông mỗi loài, và các dòng xếp theo loài: 50 dòng đầu là setosa, 50 dòng cuối là virginica. Vì thế cắt 120 dòng đầu làm train sẽ thiếu hẳn một loài; cần xáo dòng khi chia, việc mà train_test_split làm sẵn. Muốn nhìn vài dòng của bang, dùng head() hoặc sample().
Dữ liệu giả lập bằng make_*
Các hàm make_* sinh bảng ngẫu nhiên theo một hình bạn chọn, hợp để thử xem model xử lý dạng dữ liệu nào tốt. Luôn đặt random_state= để lần chạy nào cũng ra đúng bảng đó:
import numpy as np
from sklearn import datasets as ds
X, y = ds.make_classification(n_samples=200, random_state=0)
print(X.shape, np.bincount(y))
X, y = ds.make_moons(n_samples=200, noise=0.2, random_state=0)
print(X.shape, np.bincount(y))
X, y = ds.make_blobs(n_samples=200, centers=3, random_state=0)
print(X.shape, np.bincount(y))KẾT QUẢ
(200, 20) [100 100]
(200, 2) [100 100]
(200, 2) [67 67 66]make_classification() chia đều hai lớp, make_moons() cho hai lớp đan nhau mà một đường thẳng không tách được, make_blobs() cho các cụm tròn hợp để thử phân cụm như k-means. make_regression() thì trả y là số thực, cho bài toán hồi quy. Giới hạn của dữ liệu giả lập là nó sạch hơn bảng thật: không thiếu ô, không cột chữ, nên điểm cao trên nó chưa nói gì về dự án của bạn.
fetch_* cần mạng, load_boston đã bị gỡ
Hàm load_* đọc file đi kèm thư viện. Hàm fetch_*, như fetch_california_housing() hay fetch_openml(), tải bộ lớn hơn từ internet về thư mục cache trên máy ở lần gọi đầu, nên không chạy được trên trình duyệt của trang này. Bộ giá nhà cũ load_boston() đã bị gỡ hẳn từ bản 1.2:
try:
from sklearn.datasets import load_boston
except ImportError as loi:
print(type(loi).__name__)
print(str(loi).strip().splitlines()[0])KẾT QUẢ
ImportError
`load_boston` has been removed from scikit-learn since version 1.2.Thông báo đầy đủ còn giải thích lý do: bộ đó có một cột được dựng từ giả định về chủng tộc, nên những người giữ thư viện khuyên không dùng nữa. Bài load_boston chỉ cách sửa code cũ còn gọi hàm này.
Kiểm tra nhanh
Sau
from sklearn.datasets import load_iris,load_iris(return_X_y=True)[0].shapecho kết quả gì?(150, 4)(150, 5)(150,)
Sau
from sklearn.datasets import make_blobs,make_blobs(n_samples=30, centers=3, random_state=0)[1].max()cho kết quả gì?np.int64(3)np.int64(2)np.int64(30)
Những câu nào đúng về các bộ dữ liệu của scikit-learn?
fetch_california_housing()cần mạng ở lần gọi đầu- Bản 1.8 không còn
load_boston() load_iris()tải file từ internet mỗi lần gọimake_moons()cho ra bảng khác nhau mỗi lần dù đặtrandom_state=0
Bài tập
Đổi nhãn số thành tên lớp
bo là một Bunch kiểu load_iris() trả: bo.target là mảng nhãn số nguyên, bo.target_names là mảng tên lớp, nhãn k ứng với bo.target_names[k]. Viết thân hàm ten_lop(bo) trả tên lớp của từng dòng theo đúng thứ tự dòng, đặt tên Series là "loai".
Hàm không sửa bo của nơi gọi.
Trả về: tên lớp của từng dòng, một Series.
Ví dụ với load_iris(), ba phần tử đầu là setosa.
import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
def ten_lop(bo):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
load_iris(),load_wine(),load_diabetes()đọc bộ dữ liệu nhỏ đi kèm thư viện, không cần mạng.Gọi trơn trả Bunch;
return_X_y=Truetrả cặp(X, y);as_frame=Truethêmframelà DataFrame.Bộ iris xếp dòng theo loài, nên phải xáo khi chia train và test.
make_classification(),make_regression(),make_moons(),make_blobs()sinh dữ liệu giả lập; luôn đặtrandom_state=.fetch_*tải từ internet, không chạy trên trang;load_boston()đã bị gỡ từ bản 1.2.
Câu hỏi thường gặp
Sklearn có sẵn bộ Titanic dataset không?
Không có hàm load_titanic(). Bộ hành khách Titanic nằm trên OpenML, tải được bằng fetch_openml("titanic", version=1, as_frame=True) khi máy có mạng. Trên trang này, các bài dùng bảng khách hàng của tutorial thay cho Titanic.
Bộ California housing có bao nhiêu dòng?
Bộ fetch_california_housing() có 20.640 khu dân cư và 8 feature, nhãn là giá nhà trung vị của khu, tính bằng trăm nghìn đô la. Nó là bộ hay dùng thay cho load_boston(), nhưng cần mạng ở lần tải đầu.
Sau khi load iris, làm sao xem tên loài thay cho số 0, 1, 2?
Tra bo.target_names[bo.target] để được tên của từng dòng, đúng việc của bài tập trên. Với as_frame=True, có thể thêm cột tên vào frame bằng chính mảng đó.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.