HTTP, API আর web scraping — দায়িত্বের সাথে ওয়েব থেকে ডেটা আনা

১ · ওয়েব মানে প্রোগ্রামদের কথোপকথন — request আর response

ব্রাউজারে abcltech.com লিখে Enter চাপলে কী হয়? মনে হয় পাতাটি “খুলে গেল”. আসলে আপনার ব্রাউজার নামের একটি প্রোগ্রাম পৃথিবীর অন্য কোথাও রাখা একটি কম্পিউটারের প্রোগ্রামকে একটি লিখিত অনুরোধ পাঠিয়েছে: “অমুক পাতাটি দিন”. ওই প্রোগ্রামকে বলে server. server একটি লিখিত উত্তর ফেরত পাঠিয়েছে: “এই নিন, পাতাটি এরকম”. পুরো ওয়েব এই এক ধাঁচের ওপর দাঁড়িয়ে — একজন চায়, আরেকজন দেয়। যে চায় তাকে বলে client.

এই অনুরোধ আর উত্তর কোন ভাষায় লেখা হবে, তার নিয়মের নাম HTTP (HyperText Transfer Protocol). গোপনীয়তার জন্য আজকাল প্রায় সবসময় এর এনক্রিপ্ট করা রূপ HTTPS ব্যবহার হয়। মজার কথা হলো, HTTP জানে না অনুরোধটি কে পাঠাল — Chrome, একটি মোবাইল অ্যাপ, নাকি আপনার লেখা ১০ লাইনের Python স্ক্রিপ্ট। নিয়ম মানলেই উত্তর আসবে।

Python প্রোগ্রামার হিসেবে ওয়েবের সাথে তিনভাবে কথা বলবেন:

একটি অনুরোধ পাঠানো থেকে উত্তর পাওয়া পর্যন্ত আসলে কয়েকটি ধাপ পেরোতে হয়। ধাপে ধাপে দেখুন, যখন আপনার স্ক্রিপ্ট ঢাকার আবহাওয়া জানতে একটি API-কে ডাকে:

https://api.example.com/v1/forecast?city=dhaka
https             → scheme: কোন নিয়মে (এনক্রিপ্ট করা HTTP)
api.example.com   → host: কোন কম্পিউটার
/v1/forecast      → path: সেখানে কোন জিনিস
city=dhaka        → query: বাড়তি শর্ত

প্রশ্ন:  api.example.com-এর IP কত?
উত্তর:  203.0.113.25   # উদাহরণ ঠিকানা
# কম্পিউটার নাম চেনে না, চেনে সংখ্যার ঠিকানা
# উত্তর কিছুক্ষণ cache থাকে, তাই পরেরবার দ্রুত

TCP:  “শুনছেন?” → “শুনছি” → “শুরু করি”   # নির্ভরযোগ্য লাইন
TLS:  server সার্টিফিকেট দেখায় → আসল server কি না যাচাই
      দুই পক্ষ একটি গোপন চাবিতে একমত   # এখন থেকে সব এনক্রিপ্টেড

GET /v1/forecast?city=dhaka HTTP/1.1
Host: api.example.com
User-Agent: bd-weather-app/1.0
Accept: application/json
Authorization: Bearer <গোপন চাবি>
(ফাঁকা লাইন — GET-এ সাধারণত body নেই)

১. চাবি বৈধ?            → না হলে 401
২. এই মিনিটে কত অনুরোধ? → বেশি হলে 429
৩. path চেনা?           → না হলে 404
৪. database থেকে ঢাকার আবহাওয়া → JSON বানানো
# কোনো ধাপে কোড ভেঙে পড়লে → 500

HTTP/1.1 200 OK
Content-Type: application/json
X-RateLimit-Remaining: 59

{"city": "Dhaka", "temp_c": 31.5, "humidity": 74}

২ · URL-এর গঠন আর HTTP method — কোথায়, আর কী করতে চাই

একটি URL হলো ইন্টারনেটে একটি জিনিসের পূর্ণ ঠিকানা — চিঠির খামের ঠিকানার মতো, বড় থেকে ছোট দিকে। একটি বাস্তব উদাহরণ ভাঙা যাক:

https://api.example.com:443/v1/books/search?q=python&page=2#results

query অংশকে বলে query string. এখানে একটি ফাঁদ আছে: URL-এ শুধু কিছু নির্দিষ্ট ASCII অক্ষর সরাসরি বসানো যায়। ফাঁকা জায়গা, &, ? বা বাংলা অক্ষর বসাতে হলে সেগুলো % আর hex সংখ্যায় লিখতে হয় — percent-encoding. “ঢাকা” হয়ে যায় %E0%A6%A2.... তাই কখনো f-string দিয়ে হাতে query জোড়া লাগাবেন না: কেউ খোঁজার ঘরে C&C++ লিখলেই & চিহ্নটি নতুন parameter শুরু করে দেবে। standard library-র urllib.parse.urlencode বা requests-এর params= এই কাজ ঠিকভাবে করে।

method — একই ঠিকানায় আলাদা কাজ

request-এর প্রথম শব্দটি HTTP method: আপনি জিনিসটির সাথে কী করতে চান। একই /books/42 ঠিকানায় GET মানে “বইটি দেখাও”, DELETE মানে “বইটি মুছে দাও”.

শেষ কলামটি খুব গুরুত্বপূর্ণ, পরে retry-এর সময় লাগবে। যে কাজ একবার আর দশবার করলে ফল একই, তাকে বলে idempotent. GET, PUT, DELETE নিয়ম অনুযায়ী idempotent; POST নয়। bKash-এ “Send Money” চেপে নেটওয়ার্ক আটকে গেলে অ্যাপ নিজে থেকে আবার পাঠায় না — কারণ প্রথম অনুরোধটি হয়তো পৌঁছে গেছে, আবার পাঠালে টাকা দুবার কাটবে। আবহাওয়া পড়ার GET অনুরোধ নিশ্চিন্তে আবার পাঠানো যায়।

৩ · header আর status code — “আমি কে” আর “কী হলো”

header হলো request বা response-এর সাথে পাঠানো ছোট ছোট নাম-মানের জোড়া — খামের ওপরের লেবেলের মতো। শত শত header আছে, কিন্তু শুরুতে কয়েকটি চিনলেই যথেষ্ট:

status code — তিন অঙ্কের একটি সংখ্যায় পুরো গল্প

প্রতিটি response-এর শুরুতে একটি তিন অঙ্কের status code থাকে। প্রথম অঙ্কটিই আসল শ্রেণি বলে দেয়: 2 মানে সফল, 3 মানে অন্য কোথাও যান, 4 মানে আপনার (client-এর) ভুল, 5 মানে server-এর সমস্যা। এই পার্থক্য সিদ্ধান্তের জন্য জরুরি: 4xx পেলে হুবহু একই অনুরোধ আবার পাঠিয়ে লাভ নেই, অনুরোধ ঠিক করতে হবে; 5xx পেলে একটু পরে আবার চেষ্টা করা যুক্তিসঙ্গত।

এই টেবিলটিকে একটি সিদ্ধান্তের পথ হিসেবে ধাপে ধাপে দেখুন — প্রতিটি response এলে আপনার প্রোগ্রাম কোন রাস্তায় যাবে:

r.status_code   → ?
r.ok            → True যদি status < 400
# সবচেয়ে প্রচলিত ভুল: status না দেখেই r.json()
# 500-এর body প্রায়ই HTML error পাতা → JSONDecodeError

data = r.json()
rate = data.get("rates", {}).get("BDT")
if rate is None:
    raise ValueError("উত্তরে BDT নেই")   # API বদলাতে পারে

GET /v1/city/dhakaa   → 404
# বানান ভুল — একশবার পাঠালেও একই উত্তর
print("শহরটি পাওয়া যায়নি, বানান দেখুন")
# 400, 401, 403-ও একই শ্রেণি: অনুরোধ বা চাবি ঠিক করুন

HTTP/1.1 429 Too Many Requests
Retry-After: 30
# → ৩০ সেকেন্ড ঘুমান, তারপর আবার
# header না থাকলে নিজে বিরতি দিন: ১, ২, ৪, ৮ সেকেন্ড…

চেষ্টা ১ → 503   ঘুম ১ সেকেন্ড
চেষ্টা ২ → 503   ঘুম ২ সেকেন্ড
চেষ্টা ৩ → 503   ঘুম ৪ সেকেন্ড
চেষ্টা ৪ → হাল ছাড়ুন, log লিখুন, ব্যবহারকারীকে জানান

এবার এই ধারণাগুলো standard library দিয়েই হাতে-কলমে দেখুন — কোনো নেটওয়ার্ক ছাড়া। কোডটি query-সহ একটি সার্চ URL বানায়, সেটিকে আবার অংশে ভাগ করে, আর পর্ব ১১-এর match দিয়ে status code থেকে করণীয় ঠিক করে:

from urllib.parse import urlencode, urlsplit, parse_qs
from http import HTTPStatus
base = "https://api.example.com/v1/search"
url = f"{base}?{urlencode({'q': 'ঢাকা', 'page': 2, 'lang': 'bn'})}"
print(url)
parts = urlsplit(url)
print(parts.scheme, parts.netloc, parts.path, parse_qs(parts.query))

def next_step(code: int) -> str:
    match code:
        case 200 | 201: return "ডেটা পড়ুন"
        case 301 | 302: return "নতুন ঠিকানায় যান"
        case 401 | 403: return "চাবি বা অনুমতি দেখুন"
        case 404: return "ঠিকানা ভুল — জানান"
        case 429: return "অপেক্ষা করে আবার চেষ্টা"
        case c if 500 <= c < 600: return "পরে আবার চেষ্টা"
        case _: return "অনুরোধ ঠিক করুন"

for code in (200, 404, 429, 503):
    print(code, HTTPStatus(code).phrase, "→", next_step(code))

৪ · JSON API — ডকুমেন্টেশন, pagination, rate limit আর গোপন চাবি

একটি ওয়েব API হলো এমন একগুচ্ছ endpoint, যা মানুষের জন্য নয়, প্রোগ্রামের জন্য বানানো। প্রতিটি ভালো API-র সাথে থাকে ডকুমেন্টেশন — আর কোড লেখার আগে সেটি পড়াই আসল কাজ। AI-কে জিজ্ঞেস করলে সে প্রায়ই পুরোনো বা বানানো endpoint দেয়; সত্যের উৎস ডকুমেন্টেশন। পড়ার সময় এই প্রশ্নগুলোর উত্তর খুঁজুন:

• base URL আর endpoint: যেমন /v1/forecast. path-এ v1 মানে version — API বদলালে v2 আসে, পুরোনোটা কিছুদিন চলে।
• parameter: কোনগুলো বাধ্যতামূলক, কোনগুলো ঐচ্ছিক, মান কোন ধাঁচে (তারিখ 2026-10-18? অক্ষাংশ দশমিকে?)।
• উত্তরের নমুনা: কোন চাবির ভেতরে কী থাকে, কোনটি null হতে পারে, ভুল হলে উত্তর কেমন দেখায়।
• চাবি আর সীমা: API key লাগে কি না, কোথায় পাঠাতে হয় (header নাকি query), আর মিনিটে বা দিনে কয়টি অনুরোধ চলবে।
• শর্তাবলি: বিনা মূল্যে কি না, বাণিজ্যিক কাজে চলবে কি না, উৎসের নাম (attribution) দেখাতে হবে কি না।

pagination — হাজার রেকর্ড একবারে আসে না

একটি বইয়ের দোকানের API-তে ৫০,০০০ বই থাকলে server একবারে সব পাঠায় না — এতে server-এর মেমরি, নেটওয়ার্ক আর আপনার ধৈর্য তিনটিই শেষ হবে। তাই উত্তর আসে পাতায় পাতায়, প্রতি পাতায় ধরুন ২০টি করে। একে বলে pagination. API সাধারণত তিন ধাঁচের একটি ব্যবহার করে: পাতা নম্বর (?page=3), কতটি বাদ দিয়ে শুরু (?offset=40&limit=20), বা একটি cursor — উত্তরের ভেতরে থাকা একটি চিহ্ন বা next লিংক, যা পরের পাতার ঠিকানা বলে। আপনার কোডের কাজ: একটি লুপে পাতা আনা, যতক্ষণ “পরের পাতা” আছে। ধাপে ধাপে দেখুন:

1params, items = {"page": 1}, []2while True:3    data = s.get(URL, params=params, timeout=10).json()4    items.extend(data["results"])5    if data["next"] is None: break6    params["page"] += 1; time.sleep(1)7print(len(items))

rate limit — কেন server “ধীরে” বলে

প্রায় প্রতিটি পাবলিক API একটি rate limit রাখে: যেমন মিনিটে ৬০টি বা দিনে ১,০০০টি অনুরোধ। কারণ সহজ — server-এর ক্ষমতা সীমিত, আর একজন অসাবধান ব্যবহারকারী যেন বাকি সবার সেবা আটকে না দেয়। অনেক API উত্তরের header-এ জানিয়ে দেয় কতটি বাকি আছে (যেমন X-RateLimit-Remaining — নামটি প্রচলিত হলেও সব API-তে এক নয়), আর সীমা পেরোলে 429 পাঠায়। ভদ্র client নিজেই গতি নিয়ন্ত্রণ করে: অনুরোধের মাঝে বিরতি, একই ডেটা বারবার না চেয়ে cache করা, আর বাকি সংখ্যা কমে এলে ধীর হওয়া।

API key — পাসওয়ার্ডের মতোই গোপন

অনেক API ব্যবহার করতে নিবন্ধন করে একটি API key নিতে হয় — একটি লম্বা এলোমেলো লেখা, যা দিয়ে server চেনে কে অনুরোধ করছে, কতটি করছে, আর কোনো পেইড প্ল্যান হলে কার বিল হবে। অর্থাৎ কেউ আপনার চাবি পেলে আপনার নামে অনুরোধ করতে পারবে, আপনার সীমা শেষ করতে পারবে, এমনকি আপনার কার্ডে খরচ তুলতে পারবে। সবচেয়ে প্রচলিত ভুল:

API_KEY = "sk_live_9f8a7b6c5d4e3f2a1b0c"      # ভুল! কোডের সাথে git-এ চলে যাবে
r = requests.get(URL, params={"key": API_KEY}, timeout=10)

কোডটি GitHub-এ তুললেই চাবি সারা পৃথিবীর কাছে উন্মুক্ত। পাবলিক repository-তে ফাঁস হওয়া চাবি খুঁজে বেড়ানো স্বয়ংক্রিয় বট আছে, আর পরে commit মুছে দিলেও git-এর ইতিহাসে চাবি থেকে যায়। একবার ফাঁস হলে একমাত্র সমাধান: চাবিটি বাতিল করে নতুন নেওয়া। সঠিক পথ হলো চাবিকে কোডের বাইরে রাখা — environment variable-এ (পর্ব ২৭-এ os.environ দেখেছেন):

import os

API_KEY = os.environ.get("WEATHER_API_KEY")
if not API_KEY:
    raise SystemExit("WEATHER_API_KEY সেট করা নেই — README দেখুন")
headers = {"Authorization": f"Bearer {API_KEY}"}   # ডকুমেন্টেশন যেভাবে বলে

terminal-এ চাবি সেট করা হয় চালানোর আগে (Windows PowerShell-এ $env:WEATHER_API_KEY="...", Linux/Mac-এ export WEATHER_API_KEY=...). প্রজেক্টে অনেক চাবি থাকলে সেগুলো একটি .env ফাইলে রেখে python-dotenv প্যাকেজ দিয়ে পড়া প্রচলিত — কিন্তু .env-কে অবশ্যই .gitignore-এ যোগ করুন, আর অন্যদের জন্য চাবি ছাড়া একটি .env.example রাখুন। পর্ব ৫০-এ secret আর নিরাপত্তা নিয়ে আরও বিস্তারিত আলোচনা আছে।

৫ · requests — “HTTP for Humans”

Python-এর standard library-তে HTTP-র জন্য urllib.request আছে, কিন্তু সেটি ব্যবহার করা একটু কষ্টকর। তাই বাস্তবে সবচেয়ে প্রচলিত হলো PyPI-র requests লাইব্রেরি — Python-এর সবচেয়ে বেশি নামানো প্যাকেজগুলোর একটি। এটি বাইরের প্যাকেজ, তাই পর্ব ২৩-এর মতো একটি virtual environment-এ install করুন:

python -m pip install requests

প্রথম অনুরোধ — মুদ্রার হার

ধরুন একটি ছোট টুল বানাচ্ছেন, যা ডলারের বিপরীতে টাকার হার দেখায় — বিদেশ থেকে রেমিট্যান্স বা অনলাইন কেনাকাটার হিসাবে কাজে লাগে। বিনা চাবিতে ব্যবহারযোগ্য এমন একটি খোলা API হলো ExchangeRate-API-র open endpoint (ব্যবহারের আগে এর শর্তাবলি দেখে নিন — যেমন উৎসের নাম দেখানো):

import requests

def usd_to_bdt() -> float:
    r = requests.get("https://open.er-api.com/v6/latest/USD", timeout=10)
    r.raise_for_status()                      # 4xx/5xx হলে HTTPError
    data = r.json()                           # JSON → dict
    if data.get("result") != "success":
        raise RuntimeError(f"API error: {data.get('error-type')}")
    return data["rates"]["BDT"]

rate = usd_to_bdt()
print(f"১ ডলার = {rate:.2f} টাকা; ১৫০ ডলার = {150 * rate:,.2f} টাকা")

১ ডলার = 123.04 টাকা; ১৫০ ডলার = 18,456.22 টাকা     ← হার প্রতিদিন বদলায়, তাই আপনার সংখ্যা আলাদা হবে

ছোট কোডে চারটি ভালো অভ্যাস আছে, প্রতিটি আলাদাভাবে চিনে নিন:

1. timeout=10 — সবচেয়ে গুরুত্বপূর্ণ। requests-এ কোনো ডিফল্ট timeout নেই: server উত্তর না দিলে আপনার প্রোগ্রাম অনির্দিষ্টকাল অপেক্ষা করবে, কোনো error ছাড়াই। রাতে চলা একটি স্ক্রিপ্ট সকালে দেখবেন একই জায়গায় আটকে আছে। requests-এর নিজের ডকুমেন্টেশনও বলে, প্রায় সব production কোডে timeout দেওয়া উচিত। timeout=(3.05, 10) লিখলে প্রথম সংখ্যা সংযোগ স্থাপনের সীমা, দ্বিতীয়টি উত্তরের প্রতিটি অংশের জন্য অপেক্ষার সীমা — পুরো ডাউনলোডের মোট সময় নয়।
2. raise_for_status() — status 400 বা তার বেশি হলে requests.HTTPError তোলে, ঠিক থাকলে কিছুই করে না। requests নিজে থেকে 404 বা 500-কে error মনে করে না; আপনি না দেখলে চুপচাপ ভুল body নিয়ে এগোবেন।
3. r.json() — body-কে JSON হিসেবে পড়ে dict/list দেয় (ভেতরে পর্ব ২৬-এর json.loads). body JSON না হলে error. লেখা চাইলে r.text, কাঁচা byte চাইলে r.content.
4. উত্তরের গঠন যাচাই — এই API সফল হলেও "result" চাবিতে জানায়; অনেক API 200 দিয়েও ভেতরে error পাঠায়। ডকুমেন্টেশন দেখে যাচাই যোগ করুন।

params, headers আর ঢাকার আবহাওয়া

query হাতে না লিখে dict হিসেবে params=-এ দিন — requests নিজেই percent-encoding করে URL বানায়। header দিন headers=-এ। Open-Meteo নামের একটি খোলা আবহাওয়া API অক্ষাংশ-দ্রাঘিমাংশ দিয়ে বর্তমান তাপমাত্রা দেয় (অবাণিজ্যিক ব্যবহারে চাবি লাগে না; শর্তাবলি দেখে নিন):

import requests

params = {"latitude": 23.81, "longitude": 90.41,
          "current": "temperature_2m,relative_humidity_2m"}
headers = {"User-Agent": "bd-weather-learner/0.1 (you@example.com)"}
r = requests.get("https://api.open-meteo.com/v1/forecast",
                 params=params, headers=headers, timeout=10)
r.raise_for_status()
print(r.url)
now = r.json()["current"]
print(f"ঢাকা: {now['temperature_2m']}°C, আর্দ্রতা {now['relative_humidity_2m']}%")

https://api.open-meteo.com/v1/forecast?latitude=23.81&longitude=90.41&current=temperature_2m%2Crelative_humidity_2m
ঢাকা: 27.5°C, আর্দ্রতা 68%          ← আবহাওয়া বদলায়, তাই সংখ্যা আলাদা হবে

r.url দেখাচ্ছে requests কী URL বানিয়েছে — কমা হয়ে গেছে %2C. ডিবাগিংয়ে এটি খুব কাজের: API অদ্ভুত উত্তর দিলে প্রথমে দেখুন আসলে কী পাঠানো হয়েছিল।

POST আর json=

ডেটা পাঠাতে (নতুন কিছু তৈরি করতে) POST, আর body দিন json=-এ: requests dict-কে JSON বানায় আর নিজেই Content-Type: application/json header বসায়। (data= দিলে যায় HTML ফর্মের ধাঁচে — দুটি গুলিয়ে ফেলা একটি প্রচলিত ভুল।) httpbin.org নামের একটি পরীক্ষার সাইট যা পাঠাবেন তা-ই ফেরত দেখায় — শেখার জন্য আদর্শ:

r = requests.post("https://httpbin.org/post", json={"name": "রিয়া"}, timeout=10)
print(r.status_code, r.json()["json"], r.request.headers["Content-Type"])
# 200 {'name': 'রিয়া'} application/json

Session — একই server-এ বারবার

একই API-তে অনেক অনুরোধ পাঠালে প্রতিবার নতুন সংযোগ (DNS, TCP, TLS — stepper-এর ধাপ ২-৩) খোলা অপচয়। requests.Session একটি সংযোগ খোলা রেখে পুনর্ব্যবহার করে (connection pooling), আর সাধারণ header ও cookie একবার বসালে সব অনুরোধে যায়। pagination বা scraping-এ এটি লক্ষণীয়ভাবে দ্রুত:

with requests.Session() as s:
    s.headers.update({"User-Agent": "bd-books-app/0.1", "Accept": "application/json"})
    for page in range(1, 4):
        r = s.get("https://api.example.com/v1/books", params={"page": page}, timeout=10)
        r.raise_for_status()

৬ · নেটওয়ার্ক ভাঙবেই — timeout, connection error, retry আর backoff

নিজের কম্পিউটারের ফাইল পড়া প্রায় সবসময় সফল হয়। নেটওয়ার্ক তেমন নয়: load-shedding-এ রাউটার বন্ধ, মোবাইল ডেটা দুর্বল, server ব্যস্ত, DNS সাড়া দিচ্ছে না। নেটওয়ার্ক কোডে ব্যর্থতা ব্যতিক্রম নয়, স্বাভাবিক ঘটনা — তাই পর্ব ২৪-এর exception handling এখানে বাধ্যতামূলক। requests-এর সব exception একটি মূল class requests.RequestException-এর নিচে:

retry — কিন্তু ধীরে ধীরে বাড়ানো বিরতিতে

সাময়িক সমস্যায় আবার চেষ্টা করা যুক্তিসঙ্গত, কিন্তু কীভাবে? ব্যর্থ হওয়ামাত্র সাথে সাথে আবার পাঠালে অসুস্থ server আরও চাপে পড়ে। প্রচলিত কৌশল exponential backoff: প্রথমবার ১ সেকেন্ড, তারপর ২, ৪, ৮ — প্রতিবার দ্বিগুণ, আর একটি সর্বোচ্চ চেষ্টার সংখ্যা। সাথে একটু এলোমেলো বাড়তি সময় (jitter) যোগ করা হয়, যাতে হাজার client একই মুহূর্তে আবার আঘাত না করে। পর্ব ৩৫-এ শেখা decorator এই কাজের জন্য চমৎকার — retry-র যুক্তি একবার লিখে যেকোনো function-এ লাগানো যায়:

import functools, random, time
import requests

RETRY_STATUS = {429, 500, 502, 503, 504}

def retry(times=4, base=1.0):
    def deco(func):
        @functools.wraps(func)
        def wrapper(*args, **kwargs):
            for attempt in range(times):
                try:
                    return func(*args, **kwargs)
                except (requests.ConnectionError, requests.Timeout) as e:
                    wait, err = base * 2 ** attempt, e
                except requests.HTTPError as e:
                    if e.response.status_code not in RETRY_STATUS:
                        raise                               # 400/401/404: retry অর্থহীন
                    after = e.response.headers.get("Retry-After", "")
                    wait = int(after) if after.isdigit() else base * 2 ** attempt
                    err = e
                if attempt == times - 1:
                    raise err
                time.sleep(wait + random.uniform(0, 0.5))   # backoff + jitter
        return wrapper
    return deco

@retry(times=4)
def get_json(url, **params):
    r = requests.get(url, params=params, timeout=10)
    r.raise_for_status()
    return r.json()

লক্ষ করুন সিদ্ধান্তগুলো: 404 বা 401-এ সাথে সাথে exception উপরে যায়; 429-এ server-এর Retry-After মানা হয় (header-টি সেকেন্ডের বদলে তারিখও হতে পারে — তখন এই কোড নিজের backoff-এ ফিরে যায়); আর শেষ চেষ্টাতেও ব্যর্থ হলে আসল error-টি উপরে যায়, চুপচাপ None ফেরত নয়। আর এটি শুধু GET-এর মতো idempotent অনুরোধে লাগান — POST-এ অন্ধ retry একটি অর্ডার দুবার করতে পারে।

নিজে লেখা শিক্ষণীয়, কিন্তু বাস্তবে requests-এর ভেতরের লাইব্রেরি urllib3-এর তৈরি Retry ব্যবহার করাই প্রচলিত — এটি backoff, status তালিকা, এমনকি Retry-After নিজেই সামলায়:

from requests.adapters import HTTPAdapter
from urllib3.util import Retry

retry = Retry(total=4, backoff_factor=1, status_forcelist=[429, 500, 502, 503, 504],
              allowed_methods=["GET"])                 # শুধু idempotent method
s = requests.Session()
s.mount("https://", HTTPAdapter(max_retries=retry))
r = s.get(url, timeout=10)   # সব চেষ্টা ব্যর্থ হলে requests.exceptions.RetryError

৭ · httpx আর urllib.request — আধুনিক বিকল্প আর standard library

requests দারুণ, কিন্তু এর দুটি সীমা আছে: এটি async নয়, আর HTTP/2 বোঝে না। একসাথে ৬৪ জেলার আবহাওয়া আনতে চাইলে requests একটির পর একটি অনুরোধ পাঠাবে, আর প্রতিটির উত্তরের জন্য বসে থাকবে। পর্ব ৪২-এ দেখেছেন, এমন I/O-bound কাজে asyncio অপেক্ষার সময়গুলো একসাথে কাটাতে পারে। httpx হলো requests-এর মতো চেহারার একটি আধুনিক লাইব্রেরি, যার sync আর async দুই রূপই আছে, আর ঐচ্ছিকভাবে HTTP/2-ও। একটি সুন্দর পার্থক্য: httpx-এ ডিফল্ট timeout ৫ সেকেন্ড — ভুলে গেলেও প্রোগ্রাম চিরকাল আটকে থাকে না।

import asyncio
import httpx

CITIES = {"ঢাকা": (23.81, 90.41), "চট্টগ্রাম": (22.36, 91.78), "রাজশাহী": (24.37, 88.60)}
URL = "https://api.open-meteo.com/v1/forecast"

async def main():
    async with httpx.AsyncClient(timeout=10) as client:
        tasks = [client.get(URL, params={"latitude": la, "longitude": lo,
                                         "current": "temperature_2m"})
                 for la, lo in CITIES.values()]
        responses = await asyncio.gather(*tasks)
    for city, r in zip(CITIES, responses):
        r.raise_for_status()
        print(city, r.json()["current"]["temperature_2m"], "°C")

asyncio.run(main())

ঢাকা 27.5 °C
চট্টগ্রাম 26.7 °C
রাজশাহী 25.0 °C          ← আবহাওয়া অনুযায়ী সংখ্যা বদলাবে

তিনটি অনুরোধ প্রায় একসাথে যায়, তাই মোট সময় মোটামুটি একটি অনুরোধের সমান। কিন্তু সাবধান: async দিয়ে একসাথে শত শত অনুরোধ পাঠানো খুব সহজ — আর সেটাই rate limit ভাঙার সবচেয়ে দ্রুত উপায়। পর্ব ৪২-এর asyncio.Semaphore দিয়ে একসাথে চলা অনুরোধের সংখ্যা সীমিত রাখুন।

কিছু install করা যাবে না? — urllib.request

কখনো এমন জায়গায় কোড চালাতে হয় যেখানে বাইরের প্যাকেজ install করার সুযোগ নেই — একটি সীমাবদ্ধ server, একটি ছোট একক-ফাইলের স্ক্রিপ্ট। তখন standard library-র urllib যথেষ্ট:

import json
from urllib.request import Request, urlopen
from urllib.error import HTTPError, URLError

req = Request("https://httpbin.org/get?q=x", headers={"User-Agent": "bd-learner/0.1"})
try:
    with urlopen(req, timeout=10) as resp:
        print(resp.status, json.load(resp)["args"])     # 200 {'q': 'x'}
except HTTPError as e:            # 4xx/5xx — urllib নিজেই exception তোলে
    print("HTTP", e.code, e.reason)
except URLError as e:             # DNS, সংযোগ, timeout
    print("নেটওয়ার্ক সমস্যা:", e.reason)

৮ · web scraping — দায়িত্ব আগে, কোড পরে

সব তথ্যের API থাকে না। একটি বইয়ের দোকানের ওয়েবসাইটে দাম আছে, একটি প্রতিষ্ঠানের সাইটে নোটিশের তালিকা আছে, কিন্তু প্রোগ্রামের জন্য কোনো JSON নেই। তখন HTML পাতা নামিয়ে ভেতর থেকে তথ্য বের করা যায় — একে বলে web scraping, আর যে প্রোগ্রাম লিংক ধরে ধরে অনেক পাতা ঘোরে তাকে বলে crawler. প্রযুক্তিগতভাবে এটি সহজ; কঠিন অংশটি হলো দায়িত্ব। আপনার স্ক্রিপ্ট অন্য কারও server-এ চলে, তাদের বিদ্যুৎ আর ব্যান্ডউইথ খরচ করে, আর এমন তথ্য পড়ে যা মানুষের জন্য প্রকাশিত হয়েছিল, প্রোগ্রামের জন্য নয়।

ভদ্র scraper-এর নিয়ম

1. আগে API খুঁজুন। অনেক সাইটের official API, ডেটা ডাউনলোডের পাতা বা RSS feed থাকে। সরকারি আর আন্তর্জাতিক অনেক প্রতিষ্ঠান খোলা ডেটা দেয়। API স্থিতিশীল, পরিষ্কার, আর অনুমোদিত — scraping এর কোনোটিই নয়।
2. robots.txt পড়ুন। সাইটের মূলে (https://site.com/robots.txt) একটি ছোট লেখার ফাইল, যাতে সাইটের মালিক বলে দেন কোন বট কোন path-এ যেতে পারবে না। এটি আইন নয়, একটি স্বেচ্ছা-মানা নিয়ম (Robots Exclusion Protocol) — কিন্তু ভদ্র বট সবসময় মানে।
3. শর্তাবলি (Terms of Service) পড়ুন। অনেক সাইট স্পষ্ট লিখে দেয় স্বয়ংক্রিয়ভাবে তথ্য সংগ্রহ নিষেধ। লগইন করে ঢুকতে হয় এমন জায়গা scraping প্রায় সবসময় শর্ত ভাঙে।
4. নিজের পরিচয় দিন। User-Agent-এ বটের নাম আর যোগাযোগের ঠিকানা লিখুন, যাতে সমস্যা হলে সাইটের মালিক আপনাকে জানাতে পারেন। ব্রাউজারের ছদ্মবেশ নেওয়া বা IP বদলে বাধা পেরোনো — মালিকের স্পষ্ট “না”-কে উপেক্ষা করা।
5. ধীরে চলুন। একবারে একটি অনুরোধ, মাঝে কয়েক সেকেন্ড বিরতি; robots.txt-এ Crawl-delay থাকলে মানুন। 429 বা 503 পেলে থামুন। সম্ভব হলে সাইটের ব্যস্ত সময় এড়ান।
6. cache করুন, একবারই নামান। পাতা একবার নামিয়ে ডিস্কে রাখুন; কোড ঠিক করতে করতে একই পাতা পঞ্চাশবার নামাবেন না। যতটুকু দরকার শুধু ততটুকু।
7. ব্যক্তিগত তথ্য নয়। মানুষের নাম, ফোন নম্বর, ঠিকানা, ছবি, প্রোফাইল — প্রকাশ্যে দেখা গেলেও সংগ্রহ করে জমানো গোপনীয়তার লঙ্ঘন হতে পারে, আর অনেক দেশে ব্যক্তিগত তথ্য সুরক্ষার আইন এটি নিয়ন্ত্রণ করে।
8. কপিরাইট মানুন। তথ্য (একটি বইয়ের দাম) আর সৃজনশীল লেখা (একটি পুরো সংবাদ প্রতিবেদন) আলাদা জিনিস। অন্যের লেখা, ছবি বা ডেটাবেস নিজের সাইটে হুবহু আবার প্রকাশ করা সাধারণত অনুমোদিত নয়।

শেখার জন্য বিশেষভাবে বানানো কিছু “sandbox” সাইট আছে, যেমন books.toscrape.com — একটি কাল্পনিক বইয়ের দোকান, যার একমাত্র উদ্দেশ্য scraping অনুশীলন। পুরো ভদ্র প্রক্রিয়াটি ধাপে ধাপে দেখুন:

☐ সাইটে “API” বা “Developers” পাতা?
☐ CSV/JSON ডাউনলোড বা RSS feed?
☐ ব্রাউজারের DevTools → Network-এ কোনো JSON অনুরোধ?
একটিও পেলে → সেটি ব্যবহার করুন

User-agent: *
Disallow: /account/
Disallow: /cart/
Crawl-delay: 2
# /catalogue/ → অনুমতি আছে; /account/ → নয়

User-Agent: bd-learner-bot/0.1 (you@example.com)
GET /catalogue/page-1.html  → 200
time.sleep(2)
GET /catalogue/page-2.html  → 200

<article class="product_pod">
  <h3><a title="A Light in the Attic">A Light in the ...</a></h3>
  <p class="price_color">£51.77</p>
→ select("article.product_pod"), a["title"], get_text()

title,price,rating
A Light in the Attic,£51.77,Three
Tipping the Velvet,£53.74,One
# কাঁচা HTML-ও ডিস্কে রাখুন — আবার নামাতে হবে না

এবার robots.txt যাচাই আর HTML পার্সিং — দুটিই শুধু standard library দিয়ে, নেটওয়ার্ক ছাড়া। robots.txt-এর লাইনগুলো সরাসরি দেওয়া হয়েছে, আর HTML একটি string; html.parser module-এর HTMLParser প্রতিটি ট্যাগ খুললে আর প্রতিটি লেখার টুকরোয় আপনার method ডাকে:

from urllib.robotparser import RobotFileParser
from html.parser import HTMLParser
robots = RobotFileParser()
robots.parse(["User-agent: *", "Disallow: /account/", "Crawl-delay: 2"])
print(robots.can_fetch("mybot", "/books/p1.html"), robots.can_fetch("mybot", "/account/login"), robots.crawl_delay("mybot"))
page = ('<h3><a title="আমার বাংলা বই">আমার বাংলা...</a></h3><p class="price">৳ 250</p>'
        '<h3><a title="Python শেখা">Python শেখা</a></h3><p class="price">৳ 480</p>')
class BookParser(HTMLParser):
    def __init__(self):
        super().__init__()
        self.books, self.in_price = [], False
    def handle_starttag(self, tag, attrs):
        attrs = dict(attrs)
        if tag == "a" and "title" in attrs:
            self.books.append({"title": attrs["title"]})
        self.in_price = attrs.get("class") == "price"
    def handle_data(self, data):
        if self.in_price:
            self.books[-1]["price"] = int(data.split()[-1])
parser = BookParser()
parser.feed(page)
print(parser.books)

৯ · BeautifulSoup দিয়ে HTML পড়া — আর regex কেন নয়

HTML দেখতে লেখা, কিন্তু আসলে একটি গাছ: <html>-এর ভেতরে <body>, তার ভেতরে <article>, তার ভেতরে <h3>… ব্রাউজার পাতাটি পড়ে এই গাছ বানায় — একে বলে DOM. BeautifulSoup (প্যাকেজের নাম beautifulsoup4, import করতে হয় bs4) Python-এ একই কাজ করে, আর গাছে খোঁজার সহজ উপায় দেয়। এটি ভাঙা, অসম্পূর্ণ HTML-ও সহনশীলভাবে পড়ে — বাস্তব ওয়েবে যা খুব দরকারি।

python -m pip install requests beautifulsoup4

এবার পুরো scraper — books.toscrape.com থেকে বইয়ের নাম, দাম আর রেটিং, পাতায় পাতায় next লিংক ধরে, ভদ্র বিরতিসহ, ফল CSV-তে। (এটি আসল নেটওয়ার্ক ব্যবহার করে, তাই এখানে চালানো যাবে না; নিজের কম্পিউটারে চালিয়ে দেখুন।)

import csv, time
from urllib.parse import urljoin
import requests
from bs4 import BeautifulSoup

START = "https://books.toscrape.com/catalogue/page-1.html"
HEADERS = {"User-Agent": "bd-learner-bot/0.1 (learning project; you@example.com)"}

def scrape(max_pages=3, delay=2.0):
    books, url = [], START
    with requests.Session() as s:
        s.headers.update(HEADERS)
        for _ in range(max_pages):                       # সর্বোচ্চ সীমা
            r = s.get(url, timeout=10)
            r.raise_for_status()
            soup = BeautifulSoup(r.content, "html.parser")   # text নয়, content
            for card in soup.select("article.product_pod"):
                link = card.select_one("h3 a")
                books.append({
                    "title": link["title"],
                    "price": card.select_one("p.price_color").get_text(strip=True),
                    "rating": card.select_one("p.star-rating")["class"][1],
                })
            nxt = soup.select_one("li.next a")
            if nxt is None:
                break
            url = urljoin(url, nxt["href"])              # আপেক্ষিক লিংক → পূর্ণ URL
            time.sleep(delay)                            # ভদ্র বিরতি
    return books

books = scrape(max_pages=2)
with open("books.csv", "w", newline="", encoding="utf-8") as f:
    w = csv.DictWriter(f, fieldnames=["title", "price", "rating"])
    w.writeheader()
    w.writerows(books)
print(len(books), books[0])

40 {'title': 'A Light in the Attic', 'price': '£51.77', 'rating': 'Three'}

দুটি খুঁটিনাটি, দুটিই বাস্তব পরীক্ষায় ধরা পড়েছে। প্রথমত, r.content (byte) দেওয়া হয়েছে, r.text নয়। এই সাইটের server header-এ encoding বলে না, তাই requests নিয়ম অনুযায়ী পুরোনো ISO-8859-1 ধরে নেয়, আর r.text-এ দাম হয়ে যায় £51.77 — পর্ব ২৫-এর mojibake. byte দিলে BeautifulSoup পাতার ভেতরের <meta charset> দেখে নিজেই UTF-8 বোঝে। বাংলা সাইটে এই ভুল হলে পুরো লেখা অর্থহীন চিহ্নে ভরে যায়। দ্বিতীয়ত, রেটিং লেখা হিসেবে নেই; আছে class নামে (star-rating Three) — তাই HTML নিজের চোখে খুলে দেখা ছাড়া scraper লেখা যায় না।

HTML-এ regex কেন নয়

পর্ব ২৮-এ regular expression শিখেছেন, আর প্রথম চিন্তা আসতে পারে: re.findall(r'<a title="(.*?)"', html). ছোট নমুনায় এটি কাজ করবে, তারপর বাস্তবে ভাঙবে। attribute-এর ক্রম বদলালে (<a href=... title=...>), একক উদ্ধৃতি এলে, ট্যাগ দুই লাইনে ভাঙলে, মন্তব্যের ভেতরে একই লেখা থাকলে, &-এর মতো entity এলে — প্রতিটির জন্য regex আরও জটিল হয়। মূল কারণ তাত্ত্বিক: HTML-এ ট্যাগের ভেতরে ট্যাগ যত গভীরে খুশি বসানো যায়, আর সাধারণ regular expression এমন অসীম গভীরতার গঠন গুনে মেলাতে পারে না। parser ঠিক এই কাজের জন্যই বানানো। regex-এর জায়গা হলো parser দিয়ে লেখা বের করার পরে — যেমন "৳ 1,250" থেকে সংখ্যাটি তোলা।

JavaScript দিয়ে বানানো পাতা

অনেক আধুনিক সাইটে প্রথম HTML প্রায় ফাঁকা; ব্রাউজারে JavaScript চলে তারপর ডেটা এনে পাতা ভরায়। requests JavaScript চালায় না, তাই আপনি পাবেন সেই ফাঁকা কাঠামো। দুটি পথ আছে। প্রথম ও ভালো পথ: DevTools-এর Network ট্যাবে খুঁজুন পাতাটি কোন JSON endpoint থেকে ডেটা আনছে — অনেক সময় সেটিই সবচেয়ে পরিষ্কার উৎস (শর্তাবলি মেনে)। দ্বিতীয় পথ: Playwright বা Selenium-এর মতো টুল দিয়ে একটি আসল ব্রাউজারকে প্রোগ্রাম থেকে চালানো (headless browser) — কিন্তু এটি ধীর, ভারী, আর server-এর ওপর চাপ বেশি। তাই নিয়মটি আবারও: আগে API.

১০ · AI-এর যুগে — AI-এর লেখা নেটওয়ার্ক কোড যাচাই

“এই API থেকে ডেটা আনো” বা “এই সাইট থেকে সব দাম scrape করো” — AI এমন কোড মুহূর্তে লেখে, আর প্রথমবার চালালে প্রায়ই কাজও করে। সমস্যা বেরোয় পরে: রাতে চলতে চলতে আটকে যাওয়া স্ক্রিপ্ট, GitHub-এ ফাঁস হওয়া চাবি, বা সাইটের মালিকের কাছ থেকে IP ব্লক। নিচের ভুলগুলো বারবার দেখা যায়:

AI-এর লেখা HTTP/scraping কোড পেলে — যাচাইয়ের চেকলিস্ট

• প্রতিটি get/post-এ timeout আছে কি না খুঁজেছি
• কোডে, config-এ বা log-এ কোনো চাবি বা token লেখা নেই; সব environment variable থেকে আসে
• .json()-এর আগে status যাচাই হয়, আর উত্তরের চাবিগুলো যাচাই করা হয়
• retry সীমিত, বিরতি বাড়ে, 4xx-এ retry হয় না, আর শুধু idempotent অনুরোধে
• endpoint আর parameter ডকুমেন্টেশনের সাথে মিলিয়েছি — AI বানিয়ে দেয়নি
• scraping হলে: আগে API খুঁজেছি, robots.txt ও শর্তাবলি দেখেছি, সৎ User-Agent আর বিরতি আছে, কোনো ব্যক্তিগত তথ্য নেওয়া হচ্ছে না
• HTML পার্স হচ্ছে parser দিয়ে, regex দিয়ে নয়; encoding ঠিক আছে কি না বাংলা দিয়ে পরীক্ষা করেছি
• ইন্টারনেট বন্ধ করে একবার চালিয়ে দেখেছি প্রোগ্রাম স্পষ্ট বার্তা দিয়ে থামে কি না