urllib trong Python: tải dữ liệu web và phân tích URL
Bài 3/8 · Chương 22
Mạng, giao diện và tự động hóa
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Thư viện urllib trong Python có sẵn các công cụ để mở một địa chỉ web, đọc dữ liệu nó trả về, tách một URL thành từng phần và ghép tham số truy vấn vào URL. Bạn dùng urllib khi một công cụ nhỏ cần lấy tỷ giá hay dự báo thời tiết từ một địa chỉ web mà máy chưa cài thêm thư viện nào.
Cần biết trước: gọi API bằng requests, context manager và bytes và UTF-8.
Mở một URL bằng urlopen()
urlopen() của module urllib.request gửi yêu cầu tới một URL và trả về câu trả lời của máy chủ. Câu trả lời là một context manager, nên bạn mở nó trong with để kết nối được đóng khi xong. Tham số timeout là số giây tối đa chờ máy chủ, như timeout= của requests.get().
Trên macOS/Linux, gõ python3 thay cho python nếu máy chưa có lệnh python. Trình chạy trên trang không có mạng, nên các khối gọi urlopen() của bài không có nút Chạy. Để không gọi máy chủ của ai, các kết quả dưới đây đều là của một lần chạy trong Docker image python:3.14-slim, gọi một máy chủ thử trên chính máy đó. Máy chủ thử là lệnh python -m http.server 8000 chạy trong thư mục may-chu có file ty-gia.json, nội dung {"tu": "USD", "ngay": "14/11/2026", "rates": {"VND": 25480.0, "EUR": 0.86}} (số liệu đặt ra cho bài). Máy chủ thử chạy mãi trong cửa sổ terminal của nó, nên bạn chạy các file của bài trong một cửa sổ terminal khác. File mo_url.py:
import json
from urllib.request import urlopen
with urlopen("http://localhost:8000/ty-gia.json", timeout=10) as tra_loi:
print(tra_loi.status, tra_loi.headers.get_content_type())
du_lieu = tra_loi.read()
print(type(du_lieu).__name__)
ty_gia = json.loads(du_lieu.decode("utf-8"))
print("1 USD =", ty_gia["rates"]["VND"], "VND")
python mo_url.pyKẾT QUẢ
200 application/json
bytes
1 USD = 25480.0 VNDstatus là mã trạng thái HTTP, 200 nghĩa là thành công. read() trả về bytes, chưa phải chuỗi: bạn đổi sang chuỗi bằng decode("utf-8"), rồi đưa chuỗi JSON đó cho json.loads() để có dict, như bài JSON dạy.
Tách một URL bằng urlparse()
Một URL gồm nhiều phần: giao thức, tên máy chủ, đường dẫn, chuỗi tham số sau dấu ? và phần sau dấu #. urlparse() của module urllib.parse tách các phần đó ra để bạn đọc từng phần bằng tên. Module này không gửi gì qua mạng, nên khối dưới đây chạy được ngay trên trang:
from urllib.parse import urlparse
url = "https://api.example.com/ty-gia?tu=USD&sang=VND#moi-nhat"
phan = urlparse(url)
print(phan.scheme, phan.netloc, phan.path)
print(phan.query, phan.fragment)KẾT QUẢ
https api.example.com /ty-gia
tu=USD&sang=VND moi-nhatnetloc là tên máy chủ, path là đường dẫn, query là chuỗi tham số còn nguyên dạng khóa=giá trị nối bằng &. Đổi #moi-nhat thành #hom-qua rồi chạy lại: dòng thứ hai in tu=USD&sang=VND hom-qua.
Ghép tham số truy vấn bằng urlencode() và quote()
URL chỉ được chứa một nhóm nhỏ ký tự: chữ cái không dấu, chữ số và vài dấu. Chữ có dấu, dấu cách, dấu / hay & nằm trong một giá trị phải được mã hóa thành dạng % cộng hai chữ số thập lục phân cho mỗi byte UTF-8. urlencode() nhận một dict tham số và trả về chuỗi tham số đã mã hóa; quote() mã hóa một chuỗi lẻ, như một đoạn đường dẫn:
from urllib.parse import urlencode, quote
tham_so = {"thanh_pho": "Đà Lạt", "ngay": "14/11/2026"}
print(urlencode(tham_so))
print(quote("Đà Lạt"))KẾT QUẢ
thanh_pho=%C4%90%C3%A0+L%E1%BA%A1t&ngay=14%2F11%2F2026
%C4%90%C3%A0%20L%E1%BA%A1tChữ Đ thành %C4%90 vì UTF-8 viết nó bằng hai byte. urlencode() đổi dấu cách thành +, kiểu viết của chuỗi tham số, còn quote() đổi nó thành %20. Ghép URL hoàn chỉnh thì nối địa chỉ, dấu ? và kết quả của urlencode().
Bắt lỗi mạng bằng urllib.error
Khi máy chủ trả một mã lỗi như 404 (không có trang), urlopen() không trả về câu trả lời mà báo lỗi HTTPError của module urllib.error. File loi_404.py yêu cầu một file không có trên máy chủ thử:
from urllib.request import urlopen
urlopen("http://localhost:8000/khong-co.json", timeout=10)
python loi_404.py
Dòng cuối của thông báo lỗi:
urllib.error.HTTPError: HTTP Error 404: File not found
File not found là câu giải thích mà http.server gửi kèm mã 404; máy chủ khác có thể gửi câu khác, như Not Found.
Khi không tới được máy chủ (sai tên máy, mất mạng), lỗi là URLError. HTTPError là lớp con của URLError, nên except HTTPError đứng trước. File bat_loi.py gọi lần lượt một file có, một file không có và một địa chỉ ở cổng 8001, nơi không có máy chủ nào:
from urllib.request import urlopen
from urllib.error import HTTPError, URLError
cac_url = ["http://localhost:8000/ty-gia.json",
"http://localhost:8000/khong-co.json",
"http://localhost:8001/ty-gia.json"]
for url in cac_url:
try:
with urlopen(url, timeout=5) as tra_loi:
print("Được:", tra_loi.status)
except HTTPError as loi:
print("Máy chủ trả lời lỗi", loi.code, loi.reason)
except URLError:
print("Không kết nối được tới", url)
python bat_loi.pyKẾT QUẢ
Được: 200
Máy chủ trả lời lỗi 404 File not found
Không kết nối được tới http://localhost:8001/ty-gia.jsonloi.code là mã trạng thái, loi.reason là câu giải thích đi kèm. Bọc try quanh đúng dòng gọi mạng, như bài bắt nhiều loại lỗi khuyên.
Kiểm tra nhanh
Với
from urllib.parse import urlparse,urlparse("https://api.example.com/ty-gia?tu=USD").netloctrả về gì?/ty-giaapi.example.comhttps://api.example.com
Sau
from urllib.parse import quote, lệnhprint(quote("Đà Lạt"))in ra gì?Đà Lạt%C4%90%C3%A0+L%E1%BA%A1t%C4%90%C3%A0%20L%E1%BA%A1t
Những điều nào đúng khi
urlopen()mở một trang không có, máy chủ trả mã 404?- Python báo
HTTPError, vàloi.codecủa nó bằng404 urlopen()trả về câu trả lời bình thường cóstatusbằng404- Một nhánh
except URLErrorcũng bắt được lỗi này - Python báo
ValueErrorvì URL sai
- Python báo
Trong ví dụ ghép thẳng chữ có dấu cách vào URL, vì sao
urlopen()báoInvalidURL?- URL còn dấu cách chưa mã hóa
- Máy chủ thử từ chối tham số
thanh_pho - Lời gọi thiếu tham số
timeout
Bài tập
Ghép URL với tham số truy vấn
Một công cụ xem thời tiết gọi urlopen() với URL do hàm tao_url(goc, tham_so) dựng. Viết thân hàm: goc là địa chỉ chưa có dấu ?, tham_so là dict tên tham số và giá trị, giá trị là chuỗi hoặc số. Hàm trả về goc, dấu ?, rồi chuỗi tham số đã mã hóa bằng urlencode(), theo thứ tự của dict. Khi tham_so rỗng, hàm trả về goc nguyên vẹn, không thêm dấu ?. Hàm không sửa dict tham_so.
Ví dụ: tao_url("https://api.example.com/ty-gia", {"tu": "USD"}) trả về "https://api.example.com/ty-gia?tu=USD".
Trả về: URL đầy đủ, một str.
from urllib.parse import urlencode
def tao_url(goc, tham_so):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
urlopen(url, timeout=...)mở URL trongwith;statuslà mã trạng thái,read()trả về bytes cầndecode("utf-8").urlparse()tách URL thànhscheme,netloc,path,query,fragmentmà không cần mạng.urlencode(dict)dựng chuỗi tham số đã mã hóa;quote()mã hóa một chuỗi lẻ, dấu cách thành%20.Dấu cách đưa thẳng vào URL làm
urlopen()báoInvalidURL, chữ có dấu thì báoUnicodeEncodeError.Mã lỗi của máy chủ là
HTTPError, lỗi kết nối làURLError; bắtHTTPErrortrước vì nó là lớp con.
Câu hỏi thường gặp
Khi nào dùng urllib.request, khi nào dùng requests?
urllib.request có sẵn trong Python, hợp với một script nhỏ chỉ cần vài lời gọi GET. Thư viện requests phải cài bằng pip nhưng viết ngắn hơn: tham số, JSON và mã lỗi đều có sẵn một cách gọi, như bài requests dạy. Dự án gọi nhiều API thì requests dễ đọc hơn.
Gửi dữ liệu bằng POST với urllib thế nào?
Truyền dữ liệu đã mã hóa qua tham số data của urlopen(): urlopen(url, data=urlencode(du_lieu).encode("utf-8")). Có data thì urllib gửi yêu cầu POST thay cho GET. data phải là bytes, nên chuỗi của urlencode() cần encode(), như bài bytes và UTF-8 giải thích.
Vì sao urlopen() báo lỗi chứng chỉ SSL trên macOS?
Bản Python tải từ python.org cho macOS không dùng kho chứng chỉ của hệ thống, nên lời gọi https đầu tiên có thể báo CERTIFICATE_VERIFY_FAILED. Mở thư mục Python trong Applications và chạy file Install Certificates.command một lần là xong.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.