Bỏ qua đến nội dung chính
Mục lục

urllib trong Python: tải dữ liệu web và phân tích URL

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/8 · Chương 22

Mạng, giao diện và tự động hóa

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Thư viện urllib trong Python có sẵn các công cụ để mở một địa chỉ web, đọc dữ liệu nó trả về, tách một URL thành từng phần và ghép tham số truy vấn vào URL. Bạn dùng urllib khi một công cụ nhỏ cần lấy tỷ giá hay dự báo thời tiết từ một địa chỉ web mà máy chưa cài thêm thư viện nào.

Cần biết trước: gọi API bằng requests, context manager và bytes và UTF-8.

Mở một URL bằng urlopen()

urlopen() của module urllib.request gửi yêu cầu tới một URL và trả về câu trả lời của máy chủ. Câu trả lời là một context manager, nên bạn mở nó trong with để kết nối được đóng khi xong. Tham số timeout là số giây tối đa chờ máy chủ, như timeout= của requests.get().

Trên macOS/Linux, gõ python3 thay cho python nếu máy chưa có lệnh python. Trình chạy trên trang không có mạng, nên các khối gọi urlopen() của bài không có nút Chạy. Để không gọi máy chủ của ai, các kết quả dưới đây đều là của một lần chạy trong Docker image python:3.14-slim, gọi một máy chủ thử trên chính máy đó. Máy chủ thử là lệnh python -m http.server 8000 chạy trong thư mục may-chu có file ty-gia.json, nội dung {"tu": "USD", "ngay": "14/11/2026", "rates": {"VND": 25480.0, "EUR": 0.86}} (số liệu đặt ra cho bài). Máy chủ thử chạy mãi trong cửa sổ terminal của nó, nên bạn chạy các file của bài trong một cửa sổ terminal khác. File mo_url.py:

python
import json
from urllib.request import urlopen

with urlopen("http://localhost:8000/ty-gia.json", timeout=10) as tra_loi:
    print(tra_loi.status, tra_loi.headers.get_content_type())
    du_lieu = tra_loi.read()
print(type(du_lieu).__name__)
ty_gia = json.loads(du_lieu.decode("utf-8"))
print("1 USD =", ty_gia["rates"]["VND"], "VND")
bash
python mo_url.py

KẾT QUẢ

200 application/json
bytes
1 USD = 25480.0 VND

status là mã trạng thái HTTP, 200 nghĩa là thành công. read() trả về bytes, chưa phải chuỗi: bạn đổi sang chuỗi bằng decode("utf-8"), rồi đưa chuỗi JSON đó cho json.loads() để có dict, như bài JSON dạy.

Tách một URL bằng urlparse()

Một URL gồm nhiều phần: giao thức, tên máy chủ, đường dẫn, chuỗi tham số sau dấu ? và phần sau dấu #. urlparse() của module urllib.parse tách các phần đó ra để bạn đọc từng phần bằng tên. Module này không gửi gì qua mạng, nên khối dưới đây chạy được ngay trên trang:

python
from urllib.parse import urlparse

url = "https://api.example.com/ty-gia?tu=USD&sang=VND#moi-nhat"
phan = urlparse(url)
print(phan.scheme, phan.netloc, phan.path)
print(phan.query, phan.fragment)

KẾT QUẢ

https api.example.com /ty-gia
tu=USD&sang=VND moi-nhat

netloc là tên máy chủ, path là đường dẫn, query là chuỗi tham số còn nguyên dạng khóa=giá trị nối bằng &. Đổi #moi-nhat thành #hom-qua rồi chạy lại: dòng thứ hai in tu=USD&sang=VND hom-qua.

Ghép tham số truy vấn bằng urlencode() và quote()

URL chỉ được chứa một nhóm nhỏ ký tự: chữ cái không dấu, chữ số và vài dấu. Chữ có dấu, dấu cách, dấu / hay & nằm trong một giá trị phải được mã hóa thành dạng % cộng hai chữ số thập lục phân cho mỗi byte UTF-8. urlencode() nhận một dict tham số và trả về chuỗi tham số đã mã hóa; quote() mã hóa một chuỗi lẻ, như một đoạn đường dẫn:

python
from urllib.parse import urlencode, quote

tham_so = {"thanh_pho": "Đà Lạt", "ngay": "14/11/2026"}
print(urlencode(tham_so))
print(quote("Đà Lạt"))

KẾT QUẢ

thanh_pho=%C4%90%C3%A0+L%E1%BA%A1t&ngay=14%2F11%2F2026
%C4%90%C3%A0%20L%E1%BA%A1t

Chữ Đ thành %C4%90 vì UTF-8 viết nó bằng hai byte. urlencode() đổi dấu cách thành +, kiểu viết của chuỗi tham số, còn quote() đổi nó thành %20. Ghép URL hoàn chỉnh thì nối địa chỉ, dấu ? và kết quả của urlencode().

Bắt lỗi mạng bằng urllib.error

Khi máy chủ trả một mã lỗi như 404 (không có trang), urlopen() không trả về câu trả lời mà báo lỗi HTTPError của module urllib.error. File loi_404.py yêu cầu một file không có trên máy chủ thử:

python
from urllib.request import urlopen

urlopen("http://localhost:8000/khong-co.json", timeout=10)
bash
python loi_404.py

Dòng cuối của thông báo lỗi:

text
urllib.error.HTTPError: HTTP Error 404: File not found

File not found là câu giải thích mà http.server gửi kèm mã 404; máy chủ khác có thể gửi câu khác, như Not Found.

Khi không tới được máy chủ (sai tên máy, mất mạng), lỗi là URLError. HTTPError là lớp con của URLError, nên except HTTPError đứng trước. File bat_loi.py gọi lần lượt một file có, một file không có và một địa chỉ ở cổng 8001, nơi không có máy chủ nào:

python
from urllib.request import urlopen
from urllib.error import HTTPError, URLError

cac_url = ["http://localhost:8000/ty-gia.json",
           "http://localhost:8000/khong-co.json",
           "http://localhost:8001/ty-gia.json"]
for url in cac_url:
    try:
        with urlopen(url, timeout=5) as tra_loi:
            print("Được:", tra_loi.status)
    except HTTPError as loi:
        print("Máy chủ trả lời lỗi", loi.code, loi.reason)
    except URLError:
        print("Không kết nối được tới", url)
bash
python bat_loi.py

KẾT QUẢ

Được: 200
Máy chủ trả lời lỗi 404 File not found
Không kết nối được tới http://localhost:8001/ty-gia.json

loi.code là mã trạng thái, loi.reason là câu giải thích đi kèm. Bọc try quanh đúng dòng gọi mạng, như bài bắt nhiều loại lỗi khuyên.

Kiểm tra nhanh

  1. Với from urllib.parse import urlparse, urlparse("https://api.example.com/ty-gia?tu=USD").netloc trả về gì?

    • /ty-gia
    • api.example.com
    • https://api.example.com
  2. Sau from urllib.parse import quote, lệnh print(quote("Đà Lạt")) in ra gì?

    • Đà Lạt
    • %C4%90%C3%A0+L%E1%BA%A1t
    • %C4%90%C3%A0%20L%E1%BA%A1t
  3. Những điều nào đúng khi urlopen() mở một trang không có, máy chủ trả mã 404?

    • Python báo HTTPError, và loi.code của nó bằng 404
    • urlopen() trả về câu trả lời bình thường có status bằng 404
    • Một nhánh except URLError cũng bắt được lỗi này
    • Python báo ValueError vì URL sai
  4. Trong ví dụ ghép thẳng chữ có dấu cách vào URL, vì sao urlopen() báo InvalidURL?

    • URL còn dấu cách chưa mã hóa
    • Máy chủ thử từ chối tham số thanh_pho
    • Lời gọi thiếu tham số timeout
Đúng hết lần đầu +15 XP

Bài tập

Ghép URL với tham số truy vấn

Một công cụ xem thời tiết gọi urlopen() với URL do hàm tao_url(goc, tham_so) dựng. Viết thân hàm: goc là địa chỉ chưa có dấu ?, tham_so là dict tên tham số và giá trị, giá trị là chuỗi hoặc số. Hàm trả về goc, dấu ?, rồi chuỗi tham số đã mã hóa bằng urlencode(), theo thứ tự của dict. Khi tham_so rỗng, hàm trả về goc nguyên vẹn, không thêm dấu ?. Hàm không sửa dict tham_so.

Ví dụ: tao_url("https://api.example.com/ty-gia", {"tu": "USD"}) trả về "https://api.example.com/ty-gia?tu=USD".

Trả về: URL đầy đủ, một str.

python
from urllib.parse import urlencode

def tao_url(goc, tham_so):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • urlopen(url, timeout=...) mở URL trong with; status là mã trạng thái, read() trả về bytes cần decode("utf-8").

  • urlparse() tách URL thành scheme, netloc, path, query, fragment mà không cần mạng.

  • urlencode(dict) dựng chuỗi tham số đã mã hóa; quote() mã hóa một chuỗi lẻ, dấu cách thành %20.

  • Dấu cách đưa thẳng vào URL làm urlopen() báo InvalidURL, chữ có dấu thì báo UnicodeEncodeError.

  • Mã lỗi của máy chủ là HTTPError, lỗi kết nối là URLError; bắt HTTPError trước vì nó là lớp con.

Câu hỏi thường gặp

Khi nào dùng urllib.request, khi nào dùng requests?

urllib.request có sẵn trong Python, hợp với một script nhỏ chỉ cần vài lời gọi GET. Thư viện requests phải cài bằng pip nhưng viết ngắn hơn: tham số, JSON và mã lỗi đều có sẵn một cách gọi, như bài requests dạy. Dự án gọi nhiều API thì requests dễ đọc hơn.

Gửi dữ liệu bằng POST với urllib thế nào?

Truyền dữ liệu đã mã hóa qua tham số data của urlopen(): urlopen(url, data=urlencode(du_lieu).encode("utf-8")). Có data thì urllib gửi yêu cầu POST thay cho GET. data phải là bytes, nên chuỗi của urlencode() cần encode(), như bài bytes và UTF-8 giải thích.

Vì sao urlopen() báo lỗi chứng chỉ SSL trên macOS?

Bản Python tải từ python.org cho macOS không dùng kho chứng chỉ của hệ thống, nên lời gọi https đầu tiên có thể báo CERTIFICATE_VERIFY_FAILED. Mở thư mục Python trong Applications và chạy file Install Certificates.command một lần là xong.

Chủ đề

urllib python

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập