category trong pandas: tiết kiệm bộ nhớ, sắp theo thứ tự
Bài 11/13 · Chương 5
GroupBy, map và apply
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Kiểu category trong pandas lưu một cột chữ lặp nhiều lần, như kênh bán hay hạng thành viên, dưới dạng danh sách giá trị khác nhau cộng một mã số cho mỗi dòng. Category pandas vừa tiết kiệm bộ nhớ, vừa cho bạn đặt thứ tự riêng như Đồng < Bạc < Vàng để sắp và so sánh đúng theo hạng.
Cần biết trước: pd.cut() và pd.qcut(), dtype và astype() và sort_values().
Đổi cột lặp nhiều giá trị sang category
Cột kenh của don_hang.csv trong bộ dữ liệu thực hành có 1.526 dòng nhưng chỉ 5 giá trị khác nhau. astype("category") đổi nó sang kiểu category:
import pandas as pd
don = pd.read_csv("don_hang.csv")
kenh = don["kenh"].astype("category")
print(kenh.dtype, len(kenh), kenh.nunique())
print(kenh.cat.categories.to_list())KẾT QUẢ
category 1526 5
['Cửa hàng', 'Mạng xã hội', 'Sàn TMĐT', 'Website', 'Ứng dụng']cat.categories là danh sách năm tên kênh, và pandas chỉ giữ chữ ở đó. Mỗi ô trong 1.526 ô chỉ còn một mã số nhỏ trỏ vào danh sách, nên cột category nhẹ hơn hẳn cột chữ, nơi mỗi ô mang trọn một chuỗi. Hình dung tờ phiếu khảo sát in sẵn năm ô kênh bán: mỗi khách chỉ đánh dấu một ô, không phải viết lại cả tên kênh. Cột càng dài và càng ít giá trị khác nhau thì phần tiết kiệm càng lớn; cột mã đơn, mỗi dòng một giá trị, thì không nên đổi.
Vì sao cột chữ sắp sai thứ tự hạng
Cột chữ sắp theo mã ký tự, không theo ý nghĩa. Với hạng thành viên, kết quả không như bạn mong:
import pandas as pd
kh = pd.DataFrame({"ten": ["Lan", "Tuấn", "Mỹ", "Kiên", "Hoa"],
"hang": ["Vàng", "Đồng", "Bạc", "Vàng", "Bạc"]})
print(kh.sort_values("hang"))KẾT QUẢ
ten hang
2 Mỹ Bạc
4 Hoa Bạc
0 Lan Vàng
3 Kiên Vàng
1 Tuấn ĐồngĐồng đứng cuối vì chữ Đ có mã ký tự lớn hơn các chữ cái không dấu, và Vàng đứng trước Đồng. Thứ tự này đúng với máy nhưng vô nghĩa với người đọc báo cáo.
Đặt thứ tự riêng bằng CategoricalDtype
pd.CategoricalDtype(ds, ordered=True) tạo một kiểu category với danh sách ds theo đúng thứ tự bạn viết. Đổi cột sang kiểu đó bằng astype(), rồi sắp và so sánh theo thứ tự ấy:
import pandas as pd
kh = pd.DataFrame({"ten": ["Lan", "Tuấn", "Mỹ", "Kiên", "Hoa"],
"hang": ["Vàng", "Đồng", "Bạc", "Vàng", "Bạc"]})
thu_tu = pd.CategoricalDtype(["Đồng", "Bạc", "Vàng"], ordered=True)
kh["hang"] = kh["hang"].astype(thu_tu)
print(kh.sort_values("hang"))
print(kh[kh["hang"] >= "Bạc"]["ten"].to_list())KẾT QUẢ
ten hang
1 Tuấn Đồng
2 Mỹ Bạc
4 Hoa Bạc
0 Lan Vàng
3 Kiên Vàng
['Lan', 'Mỹ', 'Kiên', 'Hoa']Bây giờ sort_values() xếp Đồng, Bạc, Vàng. Dòng in cuối dùng phép so sánh >= "Bạc" theo thứ tự hạng, nên lấy được bốn khách từ hạng Bạc trở lên. Đây cũng là kiểu mà pd.cut() trả về khi có labels=, nên kết quả chia khoảng sắp đúng theo hạng ngay. Đổi >= thành < rồi chạy lại: dòng cuối in ['Tuấn'], khách duy nhất dưới hạng Bạc.
Thứ tự category trong groupby và max()
Thứ tự category còn quyết định thứ tự nhóm khi gom và kết quả của min(), max(). Đặt trạng thái đơn theo các bước xử lý:
import pandas as pd
don = pd.read_csv("don_hang.csv")
buoc = ["Đang giao", "Hoàn thành", "Hoàn trả", "Đã hủy"]
don["trang_thai"] = don["trang_thai"].astype(
pd.CategoricalDtype(buoc, ordered=True))
print(don.groupby("trang_thai", observed=True).size())
print(don["trang_thai"].max())KẾT QUẢ
trang_thai
Đang giao 5
Hoàn thành 1313
Hoàn trả 87
Đã hủy 121
dtype: int64
Đã hủyCác nhóm xếp theo thứ tự buoc, không theo chữ cái, và max() cho bước cuối có trong dữ liệu là Đã hủy. observed=True chỉ giữ các giá trị có xuất hiện; với False, giá trị có trong danh sách mà không có dòng nào cũng thành một nhóm, đếm là 0.
Kiểm tra nhanh
Sau
import pandas as pd,pd.Series(["M", "XL", "S"]).astype(pd.CategoricalDtype(["S", "M", "XL"], ordered=True)).sort_values().to_list()cho kết quả gì?['M', 'S', 'XL']['S', 'M', 'XL']['XL', 'S', 'M']['M', 'XL', 'S']
Trong khung bẫy,
hang > "Bạc"báo lỗi gì?- Báo lỗi
TypeError, vì category tạo bằngastype("category")không có thứ tự - Báo lỗi
KeyError, vì"Bạc"không phải tên cột - Báo lỗi
ValueError, vì"Bạc"không có trong cột
- Báo lỗi
Những cách nào sắp bảng
khtheo hạng Đồng, Bạc, Vàng?- Đổi
hangsangpd.CategoricalDtype(["Đồng", "Bạc", "Vàng"], ordered=True)rồisort_values("hang") kh.sort_values("hang")trên cột chữ- Đổi
hangbằngastype("category")rồisort_values("hang") - Tạo
hangbằngpd.cut()vớilabels=["Đồng", "Bạc", "Vàng"]rồisort_values("hang")
- Đổi
Cột nào nên đổi sang category để tiết kiệm bộ nhớ?
- Cột
ma_don, mỗi dòng một mã khác nhau - Cột
trang_thai, 4 giá trị lặp trên 1.526 dòng - Cột
don_gia, số nguyên
- Cột
Bài tập
Sắp kho áo theo size
Bảng ao của một xưởng may có hai cột: ma (mã áo) và size, size là một trong S, M, L, XL. Viết thân hàm sap_theo_size(ao) trả về bảng sắp theo size từ nhỏ đến lớn: S, M, L, XL.
Các áo cùng size xếp theo
matăng dần.Giữ index gốc và hai cột
ma,sizetheo thứ tự đó.
Hàm không sửa bảng ao của nơi gọi.
Trả về: bảng áo đã sắp, một DataFrame.
import pandas as pd
def sap_theo_size(ao):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
s.astype("category")giữ một danh sách giá trị (s.cat.categories) và một mã số cho mỗi ô.Cột ít giá trị khác nhau, lặp nhiều dòng nên đổi sang category để tiết kiệm bộ nhớ.
Cột chữ sắp theo mã ký tự, nên
Đồngđứng sauVàng.pd.CategoricalDtype(ds, ordered=True)đặt thứ tự riêng;sort_values(),>=,max()đi theo thứ tự đó.Category không thứ tự chỉ so được bằng hay khác; so lớn nhỏ báo
TypeError.
Câu hỏi thường gặp
pandas astype category khác astype str thế nào?
astype(str) giữ mỗi ô là một chuỗi riêng. astype("category") lưu danh sách giá trị một lần và mỗi ô là một mã trỏ vào danh sách. Phép tính chuỗi như .str.upper() vẫn chạy trên category, kết quả là cột chữ. Kiểu str của pandas 3 có ở bài dtype và astype().
Thêm một hạng mới vào category đã có thì làm sao?
Gọi s.cat.add_categories(["Kim cương"]) để thêm vào cuối danh sách, rồi mới gán giá trị mới. Với category có thứ tự, muốn đặt lại cả thứ tự thì dùng s.cat.reorder_categories([...]) hoặc tạo lại CategoricalDtype rồi astype().
Đọc file CSV thẳng thành category được không?
Được: pd.read_csv("don_hang.csv", dtype={"kenh": "category"}) đổi cột ngay khi đọc, tiện với file lớn. Muốn có thứ tự riêng, truyền một CategoricalDtype thay cho chữ "category".
Sắp cột category theo chiều ngược thế nào?
Như cột thường, thêm ascending=False: kh.sort_values("hang", ascending=False) cho Vàng, Bạc, Đồng. Các tham số khác của sort_values() dùng như bài sort_values().
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang.csv
CSV · 109.5 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.