Bỏ qua đến nội dung chính
Mục lục

category trong pandas: tiết kiệm bộ nhớ, sắp theo thứ tự

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 11/13 · Chương 5

GroupBy, map và apply

  • 6 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Kiểu category trong pandas lưu một cột chữ lặp nhiều lần, như kênh bán hay hạng thành viên, dưới dạng danh sách giá trị khác nhau cộng một mã số cho mỗi dòng. Category pandas vừa tiết kiệm bộ nhớ, vừa cho bạn đặt thứ tự riêng như Đồng < Bạc < Vàng để sắp và so sánh đúng theo hạng.

Cần biết trước: pd.cut() và pd.qcut(), dtype và astype() và sort_values().

Đổi cột lặp nhiều giá trị sang category

Cột kenh của don_hang.csv trong bộ dữ liệu thực hành có 1.526 dòng nhưng chỉ 5 giá trị khác nhau. astype("category") đổi nó sang kiểu category:

python
import pandas as pd

don = pd.read_csv("don_hang.csv")
kenh = don["kenh"].astype("category")
print(kenh.dtype, len(kenh), kenh.nunique())
print(kenh.cat.categories.to_list())

KẾT QUẢ

category 1526 5
['Cửa hàng', 'Mạng xã hội', 'Sàn TMĐT', 'Website', 'Ứng dụng']

cat.categories là danh sách năm tên kênh, và pandas chỉ giữ chữ ở đó. Mỗi ô trong 1.526 ô chỉ còn một mã số nhỏ trỏ vào danh sách, nên cột category nhẹ hơn hẳn cột chữ, nơi mỗi ô mang trọn một chuỗi. Hình dung tờ phiếu khảo sát in sẵn năm ô kênh bán: mỗi khách chỉ đánh dấu một ô, không phải viết lại cả tên kênh. Cột càng dài và càng ít giá trị khác nhau thì phần tiết kiệm càng lớn; cột mã đơn, mỗi dòng một giá trị, thì không nên đổi.

Vì sao cột chữ sắp sai thứ tự hạng

Cột chữ sắp theo mã ký tự, không theo ý nghĩa. Với hạng thành viên, kết quả không như bạn mong:

python
import pandas as pd

kh = pd.DataFrame({"ten": ["Lan", "Tuấn", "Mỹ", "Kiên", "Hoa"],
                   "hang": ["Vàng", "Đồng", "Bạc", "Vàng", "Bạc"]})
print(kh.sort_values("hang"))

KẾT QUẢ

    ten  hang
2    Mỹ   Bạc
4   Hoa   Bạc
0   Lan  Vàng
3  Kiên  Vàng
1  Tuấn  Đồng

Đồng đứng cuối vì chữ Đ có mã ký tự lớn hơn các chữ cái không dấu, và Vàng đứng trước Đồng. Thứ tự này đúng với máy nhưng vô nghĩa với người đọc báo cáo.

Đặt thứ tự riêng bằng CategoricalDtype

pd.CategoricalDtype(ds, ordered=True) tạo một kiểu category với danh sách ds theo đúng thứ tự bạn viết. Đổi cột sang kiểu đó bằng astype(), rồi sắp và so sánh theo thứ tự ấy:

python
import pandas as pd

kh = pd.DataFrame({"ten": ["Lan", "Tuấn", "Mỹ", "Kiên", "Hoa"],
                   "hang": ["Vàng", "Đồng", "Bạc", "Vàng", "Bạc"]})
thu_tu = pd.CategoricalDtype(["Đồng", "Bạc", "Vàng"], ordered=True)
kh["hang"] = kh["hang"].astype(thu_tu)
print(kh.sort_values("hang"))
print(kh[kh["hang"] >= "Bạc"]["ten"].to_list())

KẾT QUẢ

    ten  hang
1  Tuấn  Đồng
2    Mỹ   Bạc
4   Hoa   Bạc
0   Lan  Vàng
3  Kiên  Vàng
['Lan', 'Mỹ', 'Kiên', 'Hoa']

Bây giờ sort_values() xếp Đồng, Bạc, Vàng. Dòng in cuối dùng phép so sánh >= "Bạc" theo thứ tự hạng, nên lấy được bốn khách từ hạng Bạc trở lên. Đây cũng là kiểu mà pd.cut() trả về khi có labels=, nên kết quả chia khoảng sắp đúng theo hạng ngay. Đổi >= thành < rồi chạy lại: dòng cuối in ['Tuấn'], khách duy nhất dưới hạng Bạc.

Thứ tự category trong groupby và max()

Thứ tự category còn quyết định thứ tự nhóm khi gom và kết quả của min(), max(). Đặt trạng thái đơn theo các bước xử lý:

python
import pandas as pd

don = pd.read_csv("don_hang.csv")
buoc = ["Đang giao", "Hoàn thành", "Hoàn trả", "Đã hủy"]
don["trang_thai"] = don["trang_thai"].astype(
    pd.CategoricalDtype(buoc, ordered=True))
print(don.groupby("trang_thai", observed=True).size())
print(don["trang_thai"].max())

KẾT QUẢ

trang_thai
Đang giao        5
Hoàn thành    1313
Hoàn trả        87
Đã hủy         121
dtype: int64
Đã hủy

Các nhóm xếp theo thứ tự buoc, không theo chữ cái, và max() cho bước cuối có trong dữ liệu là Đã hủy. observed=True chỉ giữ các giá trị có xuất hiện; với False, giá trị có trong danh sách mà không có dòng nào cũng thành một nhóm, đếm là 0.

Kiểm tra nhanh

  1. Sau import pandas as pd, pd.Series(["M", "XL", "S"]).astype(pd.CategoricalDtype(["S", "M", "XL"], ordered=True)).sort_values().to_list() cho kết quả gì?

    • ['M', 'S', 'XL']
    • ['S', 'M', 'XL']
    • ['XL', 'S', 'M']
    • ['M', 'XL', 'S']
  2. Trong khung bẫy, hang > "Bạc" báo lỗi gì?

    • Báo lỗi TypeError, vì category tạo bằng astype("category") không có thứ tự
    • Báo lỗi KeyError, vì "Bạc" không phải tên cột
    • Báo lỗi ValueError, vì "Bạc" không có trong cột
  3. Những cách nào sắp bảng kh theo hạng Đồng, Bạc, Vàng?

    • Đổi hang sang pd.CategoricalDtype(["Đồng", "Bạc", "Vàng"], ordered=True) rồi sort_values("hang")
    • kh.sort_values("hang") trên cột chữ
    • Đổi hang bằng astype("category") rồi sort_values("hang")
    • Tạo hang bằng pd.cut() với labels=["Đồng", "Bạc", "Vàng"] rồi sort_values("hang")
  4. Cột nào nên đổi sang category để tiết kiệm bộ nhớ?

    • Cột ma_don, mỗi dòng một mã khác nhau
    • Cột trang_thai, 4 giá trị lặp trên 1.526 dòng
    • Cột don_gia, số nguyên
Đúng hết lần đầu +15 XP

Bài tập

Sắp kho áo theo size

Bảng ao của một xưởng may có hai cột: ma (mã áo) và size, size là một trong S, M, L, XL. Viết thân hàm sap_theo_size(ao) trả về bảng sắp theo size từ nhỏ đến lớn: S, M, L, XL.

  • Các áo cùng size xếp theo ma tăng dần.

  • Giữ index gốc và hai cột ma, size theo thứ tự đó.

Hàm không sửa bảng ao của nơi gọi.

Trả về: bảng áo đã sắp, một DataFrame.

python
import pandas as pd

def sap_theo_size(ao):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • s.astype("category") giữ một danh sách giá trị (s.cat.categories) và một mã số cho mỗi ô.

  • Cột ít giá trị khác nhau, lặp nhiều dòng nên đổi sang category để tiết kiệm bộ nhớ.

  • Cột chữ sắp theo mã ký tự, nên Đồng đứng sau Vàng.

  • pd.CategoricalDtype(ds, ordered=True) đặt thứ tự riêng; sort_values(), >=, max() đi theo thứ tự đó.

  • Category không thứ tự chỉ so được bằng hay khác; so lớn nhỏ báo TypeError.

Câu hỏi thường gặp

pandas astype category khác astype str thế nào?

astype(str) giữ mỗi ô là một chuỗi riêng. astype("category") lưu danh sách giá trị một lần và mỗi ô là một mã trỏ vào danh sách. Phép tính chuỗi như .str.upper() vẫn chạy trên category, kết quả là cột chữ. Kiểu str của pandas 3 có ở bài dtype và astype().

Thêm một hạng mới vào category đã có thì làm sao?

Gọi s.cat.add_categories(["Kim cương"]) để thêm vào cuối danh sách, rồi mới gán giá trị mới. Với category có thứ tự, muốn đặt lại cả thứ tự thì dùng s.cat.reorder_categories([...]) hoặc tạo lại CategoricalDtype rồi astype().

Đọc file CSV thẳng thành category được không?

Được: pd.read_csv("don_hang.csv", dtype={"kenh": "category"}) đổi cột ngay khi đọc, tiện với file lớn. Muốn có thứ tự riêng, truyền một CategoricalDtype thay cho chữ "category".

Sắp cột category theo chiều ngược thế nào?

Như cột thường, thêm ascending=False: kh.sort_values("hang", ascending=False) cho Vàng, Bạc, Đồng. Các tham số khác của sort_values() dùng như bài sort_values().

Chủ đề

category pandas

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập