seaborn — পরিসংখ্যানের chart আর DataFrame থেকে সরাসরি ছবি

আগের পর্বে matplotlib দিয়ে Figure আর Axes বানিয়ে line, bar, scatter আর histogram আঁকা দেখেছেন (পর্ব ২৮), আর পর্ব ২৯-এ দেখেছেন কোন প্রশ্নে কোন chart. সেখানে একটি জিনিস বারবার হাতে করতে হয়: “COD-এর অর্ডারগুলো আলাদা করো, তাদের histogram নীল রঙে, bKash-এরগুলো কমলায়, তারপর legend”. বাজারঘরের বিশ্লেষক প্রতিদিন এমন প্রশ্নই করেন: কোন পেমেন্ট পদ্ধতিতে অর্ডারের দাম কেমন ছড়ানো, কোন জেলায় ডেলিভারি কত দিন লাগে, দেরি হলে রেটিং কমে কি না। এই প্রশ্নগুলো পরিসংখ্যানের প্রশ্ন, আর এদের chart-এর জন্য বানানো library হলো seaborn. এই পর্বে আমরা pandas-এর DataFrame (পর্ব ২০ থেকে ২৭) থেকে সরাসরি ছবি বানাব, আর প্রতিটি ছবির পেছনে seaborn আসলে কী হিসাব করছে, সংখ্যা মিলিয়ে দেখব।

১ · seaborn কী যোগ করে — matplotlib-এর ওপরে পরিসংখ্যানের স্তর

রান্নার কথা ভাবুন। matplotlib হলো পুরো রান্নাঘর: চুলা, হাঁড়ি, মশলা সব আছে, আর আপনি চাইলে যেকোনো পদ রাঁধতে পারেন, কিন্তু প্রতিটি ধাপ নিজে করতে হয়। seaborn হলো একজন অভিজ্ঞ বাবুর্চি, যাঁকে বললেই হয় “জেলা ধরে ডেলিভারির দিনের box plot, পেমেন্ট অনুযায়ী রং”; তিনি একই রান্নাঘরেই রাঁধেন, শুধু কাটা-বাছা আর মাপজোখ নিজে করে নেন। seaborn নিজে কোনো pixel আঁকে না; সব আঁকা হয় matplotlib দিয়ে। seaborn যা যোগ করে, তা চার ভাগে বলা যায়:

• DataFrame বোঝে: data=orders, x="district", y="delivery_days". কলামের নামই axis-এর লেবেল হয়।
• দলে ভাগ করে রং বসায়: hue="payment" লিখলে প্রতিটি পেমেন্ট পদ্ধতির জন্য আলাদা রং আর legend, কোনো লুপ ছাড়াই।
• পরিসংখ্যান হিসাব করে: histogram-এর bin গোনা, KDE-র মসৃণ বক্ররেখা, গড় আর তার confidence interval, regression line. এ জন্যই নাম “statistical data visualization”.
• ভালো default: theme, রঙের palette, পড়ার মতো font আকার।

seaborn-এর লেখক Michael Waskom. তিনি ২০১২ সালের দিকে, তখন স্নায়ুবিজ্ঞানের গবেষণার ছাত্র অবস্থায়, নিজের কাজের জন্য এটি লেখা শুরু করেন বলে সাধারণত বলা হয়; পরে এটি Python-এর সবচেয়ে ব্যবহৃত plotting library-গুলোর একটি হয়। এর নকশা নিয়ে তাঁর প্রবন্ধ “seaborn: statistical data visualization” প্রকাশিত হয় ২০২১ সালে Journal of Open Source Software (JOSS)-এ; গবেষণায় seaborn উল্লেখ করতে এই প্রবন্ধটিই উদ্ধৃত করা হয়। প্রবন্ধের মূল কথা: বিশ্লেষক ভাববেন ডেটার অর্থ নিয়ে (“কোন variable কোন দলে”), আর library সেই ভাবনাকে ছবির বৈশিষ্ট্যে অনুবাদ করবে।

লেখার সময়ে seaborn-এর সর্বশেষ স্থির সংস্করণ 0.13.2. এই পাতার চালানো যায় এমন কোড চলে আপনার ব্রাউজারে (Pyodide), সেখানে matplotlib 3.10.8, pandas 3.0.2 আর seaborn 0.13.2. seaborn Pyodide-এর সঙ্গে আসে না, তাই কোনো block প্রথমবার import seaborn করলে পাতাটি সেটি নামিয়ে বসায়; এতে প্রথমবার ১০ থেকে ২০ সেকেন্ডের মতো লাগতে পারে, পরের run দ্রুত। লেখকের ল্যাপটপের run-গুলো (Python 3.14.4, seaborn 0.13.2, matplotlib 3.11.2, pandas 3.1.1) আলাদা করে চিহ্নিত।

২ · Long ডেটা আর semantic mapping — কলাম থেকে ছবির বৈশিষ্ট্য

seaborn সবচেয়ে ভালো কাজ করে long বা tidy টেবিলে: প্রতিটি সারি একটি পর্যবেক্ষণ (একটি অর্ডার), প্রতিটি কলাম একটি variable (জেলা, পেমেন্ট, দাম). পর্ব ২৫-এ দেখেছেন wide টেবিল কীভাবে melt দিয়ে long হয়; seaborn-এর জন্য সেটিই প্রায় সবসময় প্রথম ধাপ। কারণ সহজ: seaborn-কে আপনি বলবেন “এই কলামটি রঙে যাক”, আর তা বলা যায় কেবল তখনই, যখন সেই তথ্য একটি কলামের মান হিসেবে আছে, কলামের নামে লুকানো নেই।

কোন কলাম ছবির কোন বৈশিষ্ট্যে যাবে, তা বলাকে seaborn-এর নথিতে বলা হয় semantic mapping.

একই তথ্য একাধিক বৈশিষ্ট্যে দেওয়া যায় (hue="payment", style="payment"), আর সেটি প্রায়ই ভালো অভ্যাস: যে পাঠক রং আলাদা করতে পারেন না, তিনি আকৃতি দেখে পারবেন। নিচের stepper-এ ছয়টি অর্ডারের একটি tidy টেবিল থেকে ছবি তৈরির ধাপ দেখুন।

সংখ্যার কলামকে hue-তে দিলে seaborn আলাদা রং নয়, একটি ধারাবাহিক রঙের ধারা (sequential colormap) ব্যবহার করে। কোনো সংখ্যা আসলে category হলে (যেমন রেটিং ১ থেকে ৫, বা ০/১ পতাকা), আর আপনি আলাদা রং চান, তবে আগে কলামটিকে string বা pandas-এর category বানিয়ে নিন।

৩ · Axes-level বনাম figure-level — কে Figure বানায়

seaborn-এর function দুই পরিবারের। Axes-level function একটি matplotlib Axes-এ আঁকে: আপনি ax= দিয়ে নির্দিষ্ট Axes দিতে পারেন, না দিলে বর্তমান Axes নেয়, আর শেষে সেই Axes ফেরত দেয়। Figure-level function নিজেই একটি নতুন Figure বানায়, তার ভেতরে এক বা একাধিক Axes সাজায় (col/row দিয়ে), আর ফেরত দেয় একটি FacetGrid, মানে Figure আর তার Axes-গুলোর একটি মোড়ক। প্রতিটি figure-level function একটি পরিবারের “দরজা”, যার kind= ঠিক করে ভেতরে কোন axes-level function চলবে।

কেন figure-level function ax= মানে না? কারণ সে নিজেই ঠিক করে কতগুলো Axes লাগবে: col="payment"-এ তিনটি পদ্ধতি থাকলে তিনটি। আপনার দেওয়া একটি Axes-এ তিনটি panel আঁটে না। seaborn তাই ax পেলে একটি সতর্কবার্তা দেয় আর নতুন Figure-এই আঁকে। লেখকের ল্যাপটপে সত্যিকারের run (seaborn 0.13.2, matplotlib 3.11.2; অংশবিশেষ):

~/bazarghar-ai$ python facts.py
python 3.14.4 seaborn 0.13.2 matplotlib 3.11.2 pandas 3.1.1
scatterplot returns Axes True
relplot returns FacetGrid axes shape (1, 3)
displot returns FacetGrid
catplot returns FacetGrid
pairplot returns PairGrid
jointplot returns JointGrid
lmplot returns FacetGrid
relplot(ax=...) -> UserWarning relplot is a figure-level function and does not accept the `ax` parameter. You may wish to try scatterplot
displot(ax=...) -> UserWarning `displot` is a figure-level function and does not accept the ax= parameter. You may wish to try histplot.
catplot(ax=...) -> UserWarning catplot is a figure-level function and does not accept target axes. You may wish to try stripplot

দ্বিতীয় লাইনের True মানে scatterplot ঠিক যে Axes দেওয়া হয়েছিল, সেটিই ফেরত দিয়েছে। relplot-এর FacetGrid-এ g.axes একটি NumPy array, shape (1, 3): এক সারি, তিন কলাম panel. সতর্কবার্তাগুলো নিজেই সমাধান বলে দিচ্ছে: নিজের সাজানো Figure-এ আঁকতে চাইলে axes-level function নিন।

৪ · Distribution — histplot, KDE-র bandwidth আর ecdfplot

“অর্ডারের দাম কেমন ছড়ানো?” এই প্রশ্নের প্রথম উত্তর histogram: দামের পরিসরকে সমান মাপের ঘরে (bin) ভাগ করে প্রতিটি ঘরে কতটি অর্ডার পড়ল, তা গোনা। histplot এটি করে, আর hue দিলে প্রতিটি দলের জন্য আলাদা। দল একাধিক হলে বারগুলো কীভাবে বসবে, ঠিক করে multiple:

• "layer" (default): দলগুলো একটির ওপর আরেকটি, স্বচ্ছ রঙে। দুটি দলে ভালো, তিনটির বেশি হলে জট।
• "stack": একটির মাথায় আরেকটি। বারের মোট উচ্চতা = সব দলের মোট, তাই “মোট অর্ডার কোন দামে বেশি” পড়া সহজ; কিন্তু ওপরের দলের আকৃতি পড়া কঠিন।
• "dodge": প্রতিটি bin-এ দলগুলো পাশাপাশি সরু বার।
• "fill": প্রতিটি bin-এর উচ্চতা ১, ভেতরে দলের ভাগ। “এই দামে কোন পদ্ধতির ভাগ কত” প্রশ্নের জন্য।

আরেকটি জরুরি parameter stat: default "count", মানে কাঁচা গোনা। দলগুলোর আকার আলাদা হলে (COD-এর অর্ডার card-এর দ্বিগুণের বেশি) কাঁচা গোনায় আকৃতির তুলনা ঠকায়; তখন stat="density" বা "percent" আর common_norm=False দিন, যাতে প্রতিটি দল নিজের মোট দিয়ে ভাগ হয়।

KDE — প্রতিটি বিন্দুতে একটি ছোট ঢিবি

Histogram-এর ছবি bin-এর মাপ আর শুরুর বিন্দুর ওপর নির্ভর করে; একই ডেটা দুই রকম bin-এ দুই রকম দেখায়। এর একটি মসৃণ বিকল্প kernel density estimation (KDE). ধারণাটি সহজ: প্রতিটি অর্ডারের দামের জায়গায় একটি ছোট ঘণ্টার আকারের ঢিবি (Gaussian “kernel”) বসান, সবগুলোর উচ্চতা যোগ করুন, আর মোট ক্ষেত্রফল ১ রাখতে ভাগ করুন। যেখানে অনেক অর্ডার কাছাকাছি, সেখানে ঢিবিগুলো জমে উঁচু হয়। গণিতের ভাষায়, n টি বিন্দু x₁ … x_n থেকে কোনো দাম x-এ ঘনত্বের অনুমান:

f̂(x) = (1 / n) · ∑ K_h(x − x_i)

এখানে K_h হলো h চওড়া একটি ঘণ্টা-আকারের বক্ররেখা, যার ক্ষেত্রফল ১. সবচেয়ে জরুরি সংখ্যা এই h, যার নাম bandwidth: ঢিবি কত চওড়া। নিচের ছবিতে একই চারটি দাম (৪, ৬, ৭ আর ১২ শত টাকা) থেকে দুটি bandwidth-এ KDE.

সরু bandwidth-এ (ওপরে) বক্ররেখা প্রায় প্রতিটি বিন্দুকে আলাদা চূড়া বানায়: ৪-এ একটি, ৬ আর ৭ মিলে একটি উঁচু, ১২-তে একটি। চারটি মাত্র অর্ডার থেকে “তিন ধরনের ক্রেতা” দেখার লোভ হয়, যা আসলে কাকতাল। চওড়া bandwidth-এ (নিচে) সব মিলে একটি নিচু ঢেউ, যার চূড়া ৬-এ আর উচ্চতা অর্ধেকেরও কম; ১২-র আলাদা অর্ডারটি হারিয়ে গেছে। আর বাঁ প্রান্তে লক্ষ করুন: শূন্যে রেখাটি মাটিতে নামেনি। এই চারটি ঢিবির মোট ক্ষেত্রফলের প্রায় ১.৬% শূন্যের নিচে পড়ে (লেখকের হিসাব), মানে KDE দাবি করছে কিছু অর্ডারের দাম ঋণাত্মক। এটিই KDE-র মূল বিপদ: মসৃণ করতে গিয়ে সে এমন জায়গাতেও ঘনত্ব বানায়, যেখানে ডেটা নেই বা থাকা অসম্ভব।

seaborn-এর kdeplot-এ h নিজে থেকে বাছা হয় Scott-এর নিয়মে (bw_method="scott", যা নমুনার ছড়ানো আর আকার থেকে একটি সূত্রে h দেয়)। আপনি সাধারণত সেটি গুণ করে বদলান bw_adjust দিয়ে: ০.৫ মানে অর্ধেক চওড়া, ২ মানে দ্বিগুণ। আর cut=3 (default) মানে রেখাটি সবচেয়ে ছোট আর বড় বিন্দুর বাইরে আরও ৩টি bandwidth পর্যন্ত আঁকা হয়। দাম, দিন বা বয়সের মতো যেসব মান শূন্যের নিচে যেতে পারে না, সেখানে cut=0 বা clip=(0, None) দিন, অথবা histogram-ই রাখুন। নিচের কোডে বাজারঘরের ৩০০টি অর্ডার: প্রথম ছবিতে পেমেন্ট অনুযায়ী stack করা histogram আর KDE, দ্বিতীয়টিতে শুধু card-এর অর্ডারে দুটি চরম bandwidth. প্রথমবার চালালে seaborn নামাতে ১০ থেকে ২০ সেকেন্ড লাগতে পারে।

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

rng = np.random.default_rng(42)
n = 300
pay = rng.choice(["COD", "bKash", "card"], n, p=[0.45, 0.35, 0.20])
boost = np.where(pay == "card", 1.6, 1.0)       # card orders bigger
paisa = (rng.lognormal(np.log(80_000), 0.5, n) * boost).round()
orders = pd.DataFrame({"payment": pay, "price_paisa": paisa.astype(np.int64)})
orders["taka"] = orders["price_paisa"] / 100
print("seaborn", sns.__version__, "| rows:", len(orders))
print(orders.groupby("payment")["taka"].agg(["count", "median"]).round(0))

sns.set_theme(style="whitegrid", palette="colorblind")
order = ["COD", "bKash", "card"]
fig, (a1, a2) = plt.subplots(1, 2, figsize=(7, 3.2), dpi=100)
sns.histplot(data=orders, x="taka", hue="payment", hue_order=order,
             multiple="stack", bins=20, ax=a1)
a1.set(title="histplot, multiple='stack'", xlabel="Order value (taka)")
sns.kdeplot(data=orders, x="taka", hue="payment", hue_order=order,
            common_norm=False, ax=a2)
a2.set(title="kdeplot by payment", xlabel="Order value (taka)")
fig.tight_layout(); plt.show()

card = orders.loc[orders["payment"] == "card", "taka"]
fig, ax = plt.subplots(figsize=(6, 3), dpi=100)
for bw, ls in [(0.25, ":"), (3, "--")]:
    sns.kdeplot(x=card, bw_adjust=bw, ls=ls, label=f"bw_adjust={bw}", ax=ax)
sns.rugplot(x=card, height=0.05, ax=ax)
ax.set(title="Card orders: two bandwidths", xlabel="Order value (taka)")
ax.legend(); fig.tight_layout(); plt.show()
print("smallest card order:", card.min(), "taka | wide KDE starts at:",
      round(ax.lines[1].get_xdata()[0]), "taka")

seaborn 0.13.2 | rows: 300
         count  median
payment
COD        139   841.0
bKash      104   851.0
card        57  1182.0
smallest card order: 354.7 taka | wide KDE starts at: -2460 taka

ECDF — কোনো মসৃণ করা নেই

তৃতীয় পথ ECDF (empirical cumulative distribution function): প্রতিটি মান x-এর জন্য “কত ভাগ অর্ডার x বা তার কম”. ecdfplot একটি সিঁড়ির মতো রেখা আঁকে, যা ০ থেকে ১-এ ওঠে, আর প্রতিটি অর্ডারে এক ধাপ। এতে কোনো bin বা bandwidth বাছতে হয় না, তাই এটি ডেটার সবচেয়ে সৎ ছবি; আর “কত ভাগ অর্ডার ৩ দিনের মধ্যে পৌঁছেছে?” ধরনের প্রশ্নের উত্তর সরাসরি y-axis থেকে পড়া যায়। দুর্বলতা হলো আকৃতি (চূড়া কোথায়) চোখে কম পড়ে।

৫ · Category ধরে তুলনা — box, violin, strip, swarm আর bar

“কোন জেলায় ডেলিভারিতে কত দিন লাগে?” এখানে x একটি category (জেলা), y একটি সংখ্যা। seaborn এর জন্য তিন ধরনের chart দেয়: প্রতিটি অর্ডার দেখানো, distribution-এর সারাংশ দেখানো, আর একটি গড় ও তার অনিশ্চয়তা দেখানো।

Box plot পড়া। John Tukey-র ১৯৭০-এর দশকের এই chart-এ বাক্সের মাঝের দাগ median; বাক্সের নিচ আর ওপর প্রথম আর তৃতীয় quartile (Q1, Q3), মানে ২৫% আর ৭৫% অবস্থান; বাক্সের উচ্চতা IQR = Q3 − Q1. Whisker যায় বাক্স থেকে ১.৫ × IQR দূরত্বের মধ্যে সবচেয়ে দূরের আসল বিন্দু পর্যন্ত (seaborn-এ whis=1.5), আর তার বাইরের বিন্দুগুলো আলাদা করে আঁকা হয়। হাতে একটি উদাহরণ: সিলেটের ছয়টি অর্ডারের ডেলিভারি ৩, ৪, ৪, ৫, ৬, ৯ দিন। median = (৪ + ৫) / ২ = ৪.৫; NumPy-র default নিয়মে Q1 = ৪, Q3 = ৫.৭৫; IQR = ১.৭৫; ওপরের সীমা ৫.৭৫ + ১.৫ × ১.৭৫ = ৮.৩৭৫. তাই ওপরের whisker থামে ৬-এ, আর ৯ আলাদা একটি বিন্দু (outlier-এর প্রার্থী)। লেখকের ল্যাপটপে matplotlib-এর boxplot_stats ঠিক এই সংখ্যাগুলোই দিয়েছে: q1 4.0, med 4.5, q3 5.75, whishi 6, fliers [9].

Box plot-এর ভালো অভ্যাস হলো তার ওপরে আসল বিন্দু বসানো: পাঁচটি সংখ্যার সারাংশ আর প্রতিটি অর্ডার, একসঙ্গে। তখন box-এর নিজের বাইরের বিন্দু বন্ধ রাখুন (fliersize=0), না হলে সেগুলো দুবার আঁকা হবে। নিচের কোডে ১২০টি অর্ডারের ডেলিভারি-দিন, পাঁচ জেলায়। দ্বিতীয় ছবিটি পরের অংশের বিষয়: একই ডেটায় দুই রকম error bar.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

rng = np.random.default_rng(7)
dist = ["Dhaka", "Chattogram", "Khulna", "Rajshahi", "Sylhet"]
lam = {"Dhaka": 1.5, "Chattogram": 2.5, "Khulna": 3, "Rajshahi": 3.5, "Sylhet": 4}
d = rng.choice(dist, 120, p=[0.35, 0.25, 0.15, 0.13, 0.12])
days = [1 + rng.poisson(lam[x]) for x in d]
df = pd.DataFrame({"district": d, "delivery_days": days})
print(df.groupby("district")["delivery_days"]
        .agg(["count", "mean", "std"]).loc[dist].round(2))

sns.set_theme(style="whitegrid", palette="colorblind")
fig, ax = plt.subplots(figsize=(6, 3.2), dpi=100)
sns.boxplot(data=df, x="district", y="delivery_days", order=dist,
            color="0.85", fliersize=0, ax=ax)
sns.stripplot(data=df, x="district", y="delivery_days", order=dist,
              jitter=0.25, size=3, alpha=0.6, ax=ax)
ax.set(title="Box + strip: every order is a dot", ylabel="Delivery days")
fig.tight_layout(); plt.show()

fig, axs = plt.subplots(1, 2, figsize=(7, 3), dpi=100, sharey=True)
for ax, eb in zip(axs, [("ci", 95), "sd"]):
    sns.barplot(data=df, x="district", y="delivery_days", order=dist,
                errorbar=eb, seed=1, ax=ax)
    ax.set(title=f"errorbar={eb}", xlabel="", ylabel="Mean delivery days")
    ax.tick_params(axis="x", rotation=45)
    lo, hi = ax.lines[0].get_ydata()      # first bar = Dhaka
    print(f"Dhaka {eb}: {lo:.2f} to {hi:.2f}")
fig.tight_layout(); plt.show()

            count  mean   std
district
Dhaka          40  2.40  1.10
Chattogram     33  3.55  1.39
Khulna         15  4.60  2.03
Rajshahi       18  4.50  2.12
Sylhet         14  5.36  2.41
Dhaka ('ci', 95): 2.07 to 2.75
Dhaka sd: 1.30 to 3.50

৬ · Error bar আসলে কী বলে — bootstrap CI, SD আর seed

বারের মাথার কালো দাগটিকে বলে error bar. seaborn 0.13-এ barplot, pointplot আর lineplot-এর default ঠিক কী, তা function-এর signature থেকেই দেখা যায়। লেখকের ল্যাপটপে সত্যিকারের run (seaborn 0.13.2, inspect.signature দিয়ে):

barplot {'estimator': 'mean', 'errorbar': ('ci', 95), 'n_boot': 1000, 'seed': None}
pointplot {'estimator': 'mean', 'errorbar': ('ci', 95), 'n_boot': 1000, 'seed': None}
lineplot {'estimator': 'mean', 'errorbar': ('ci', 95), 'n_boot': 1000, 'seed': None}

অর্থাৎ বারের উচ্চতা গড় (estimator="mean"), আর দাগটি গড়ের ৯৫% confidence interval (CI), যা হিসাব হয় ১০০০ বার bootstrap করে, আর seed=None মানে প্রতিবার আলাদা এলোমেলো সংখ্যা। seaborn-এর নথির “Statistical estimation and error bars” অধ্যায়ে চার ধরনের error bar-এর কথা আছে, যা দুই প্রশ্নে ভাগ হয়:

পার্থক্যটি আবহাওয়ার পূর্বাভাসের মতো। “আগামী সপ্তাহের গড় তাপমাত্রা ৩১ থেকে ৩২ ডিগ্রির মধ্যে” আর “আগামী সপ্তাহের যেকোনো একদিন তাপমাত্রা ২৭ থেকে ৩৬ ডিগ্রি” দুটিই সত্য হতে পারে, কিন্তু দ্বিতীয়টি অনেক চওড়া। ক্রেতাকে “কত দিনে পাবেন” বলতে হলে লাগে SD বা percentile interval; দুই জেলার গড় আসলেই আলাদা কি না ভাবতে লাগে CI.

হাতে হিসাব: SD থেকে CI

Standard deviation (SD, প্রতীক s) মাপে প্রতিটি পর্যবেক্ষণ গড় থেকে কত দূরে; standard error SE = s / √n মাপে নমুনার গড় নিজে কতটা নড়ে। নমুনা যথেষ্ট বড় আর গড়ের distribution মোটামুটি normal হলে ৯৫% CI ≈ গড় ± ১.৯৬ × SE (কেন, তা আসবে পর্ব ৩৭-এ, central limit theorem দিয়ে)। ওপরের ঢাকার সংখ্যা দিয়ে: n = ৪০, গড় = ২.৪০, s = ১.১০; √৪০ ≈ ৬.৩২; SE = ১.১০ / ৬.৩২ ≈ ০.১৭৪; ১.৯৬ × ০.১৭৪ ≈ ০.৩৪. তাই CI ≈ ২.০৬ থেকে ২.৭৪, আর seaborn-এর bootstrap দিয়েছিল ২.০৭ থেকে ২.৭৫: প্রায় হুবহু। সিলেটে n = ১৪, s = ২.৪১: SE = ২.৪১ / ৩.৭৪ ≈ ০.৬৪, CI ≈ ৫.৩৬ ± ১.২৬. কম অর্ডার আর বেশি ছড়ানো, তাই দাগ প্রায় চার গুণ লম্বা; ছবিতে ঠিক তা-ই দেখেছেন।

Bootstrap — নিজের নমুনা থেকে আবার নমুনা

সূত্রটি normal ধরে নেয়। Bradley Efron ১৯৭৯ সালে যে bootstrap পদ্ধতি প্রকাশ করেন, তা এই অনুমান ছাড়াই কাজ করে: “নতুন ডেটা আনতে পারছি না, তাই আমার নমুনাকেই জনসংখ্যা ধরে তার থেকে বারবার নমুনা নিই”. লটারির বাক্সে ছয়টি টোকেন রেখে একটি তুলে লিখে আবার ফেরত রাখা, এভাবে ছয়বার (sampling with replacement). প্রতিবার ছয়টি সংখ্যার গড় লিখুন; হাজারবার করলে গড়গুলো যতটা ছড়ায়, সেটিই গড়ের অনিশ্চয়তার অনুমান। ধাপে ধাপে দেখুন, সিলেটের সেই ছয়টি অর্ডার দিয়ে।

শেষ ধাপের পার্থক্যই seed-এর কারণ। seed না দিলে একই notebook দুবার চালালে error bar-এর প্রান্ত একটু আলাদা আসবে; রিপোর্টে বা পরীক্ষায় সংখ্যা মিলবে না। barplot(..., seed=1) দিলে bootstrap প্রতিবার একই এলোমেলো ক্রম নেয় (পর্ব ১৬-এর random seed-এর মতোই)। আর মনে রাখুন, seaborn-এর SD হলো নমুনার SD, ddof=1 দিয়ে: লেখকের ল্যাপটপে ওই ছয়টি সংখ্যায় errorbar="sd" দিয়েছে ৩.০৩ থেকে ৭.৩০, মানে ৫.১৭ ± ২.১৪.

pointplot একই হিসাব দেখায় বারের বদলে একটি বিন্দু আর দাগ দিয়ে, আর দলগুলোর বিন্দু রেখায় জোড়ে। বারের উচ্চতা শূন্য থেকে শুরু হয়, তাই গড় যখন শূন্য থেকে অনেক দূরে বা দলগুলোর ক্রম আছে (যেমন সপ্তাহের দিন), তখন pointplot প্রায়ই পরিষ্কার।

৭ · সম্পর্ক — scatterplot, regplot/lmplot, pairplot আর jointplot

দুটি সংখ্যার সম্পর্ক দেখার মূল chart scatterplot: প্রতিটি সারি একটি বিন্দু, আর অংশ ২-এর মতো hue, size, style দিয়ে আরও দুই-তিনটি variable যোগ করা যায়। তবে সাবধান: চারটির বেশি variable এক ছবিতে দিলে পাঠক কিছুই পড়তে পারেন না। তখন relplot(col=...) দিয়ে panel-এ ভাগ করুন।

regplot আর lmplot. regplot scatter-এর ওপর একটি সরল রেখা বসায়, যা least squares দিয়ে fit করা (রেখা থেকে বিন্দুগুলোর উল্লম্ব দূরত্বের বর্গের যোগফল সবচেয়ে কম)। রেখার চারপাশের হালকা ছায়া রেখার ৯৫% CI, যা আবার bootstrap দিয়ে হিসাব (ci=95, n_boot=1000; এখানে parameter-এর নাম এখনো ci, errorbar নয়)। ছায়া প্রান্তে চওড়া হয়, কারণ সেখানে বিন্দু কম আর রেখার ঢাল একটু বদলালেই প্রান্তে বড় পার্থক্য হয়। lmplot একই জিনিসের figure-level রূপ, যেখানে hue আর col দিয়ে প্রতিটি দলের আলাদা রেখা। order=2 দিলে বাঁকা (দ্বিঘাত) রেখা, logistic=True দিলে ০/১ ফলের জন্য S-আকার। একটি জরুরি কথা: এটি একটি ছবি, মডেল নয়। seaborn রেখার ঢাল বা intercept ফেরত দেয় না, আর এর CI নিয়ে কোনো পরিসংখ্যানিক পরীক্ষা করে না। Linear regression-এর loss, gradient descent আর closed form আসবে পর্ব ৫৮-এ; সেখানে সংখ্যাগুলো নিজে হিসাব করবেন।

pairplot. অনেকগুলো সংখ্যার কলাম থাকলে প্রতিটি জোড়ার scatter একটি ছকে: সারি i, কলাম j-এ variable i বনাম j, আর কর্ণে (diagonal) প্রতিটির নিজের distribution. নিচের কোড scikit-learn-এর সঙ্গে আসা Iris ডেটাসেট ব্যবহার করে (load_iris; Ronald Fisher ১৯৩৬ সালের প্রবন্ধে এটি জনপ্রিয় করেন, মাপগুলো নিয়েছিলেন উদ্ভিদবিদ Edgar Anderson): তিন প্রজাতির ১৫০টি ফুলের পাপড়ি (petal) আর বৃতি (sepal)-র মাপ, সেন্টিমিটারে। দ্রুত রাখতে তিনটি কলাম আর corner=True (ছকের ওপরের অর্ধেক বাদ, কারণ সেটি নিচের আয়না)। প্রথমবার scikit-learn নামাতে আরও প্রায় ১০ সেকেন্ড লাগতে পারে।

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import load_iris

iris = load_iris(as_frame=True)          # bundled with scikit-learn
df = iris.frame.rename(columns=lambda c: c.replace(" (cm)", ""))
df["species"] = iris.target_names[iris.target]
cols = ["petal length", "petal width", "sepal length"]
print(df.shape, "| per species:", df["species"].value_counts().tolist())
print(df.groupby("species")[cols].mean().round(2))

sns.set_theme(style="ticks", palette="colorblind")
g = sns.pairplot(df, vars=cols, hue="species", corner=True,
                 height=1.7, plot_kws={"s": 12})
print(type(g).__name__, "| axes grid:", g.axes.shape)
g.figure.set_dpi(100)
plt.show()
print(df[cols].corr().round(2))

(150, 6) | per species: [50, 50, 50]
            petal length  petal width  sepal length
species
setosa              1.46         0.25          5.01
versicolor          4.26         1.33          5.94
virginica           5.55         2.03          6.59
PairGrid | axes grid: (3, 3)
              petal length  petal width  sepal length
petal length          1.00         0.96          0.87
petal width           0.96         1.00          0.82
sepal length          0.87         0.82          1.00

jointplot. দুটি variable-এর জন্য একটি বড় scatter, আর তার ওপরে ও ডানে প্রতিটির নিজের distribution (marginal). kind দিয়ে মাঝের ছবি বদলানো যায়: "scatter" (default), "kde", "hist", "hex" (হাজারো বিন্দুতে ষড়ভুজ ঘরে গোনা, যখন scatter কালো দলা হয়ে যায়) বা "reg". ফেরত আসে একটি JointGrid; মাঝের Axes g.ax_joint, পাশের দুটি g.ax_marg_x আর g.ax_marg_y.

৮ · Matrix — correlation heatmap, আর correlation মানে কারণ নয়

অনেক কলামের জোড়ায় জোড়ায় সম্পর্ক এক নজরে দেখতে correlation matrix-এর heatmap. Pearson correlation r হলো −১ থেকে +১-এর একটি সংখ্যা: +১ মানে দুটি variable একটি ঊর্ধ্বমুখী সরল রেখায়, −১ মানে নিম্নমুখী রেখায়, ০ মানে কোনো সরল রৈখিক সম্পর্ক নেই (বাঁকা সম্পর্ক থাকতেই পারে)। সূত্র আর তার ব্যাখ্যা আসবে পর্ব ৩৭-এ; এখানে ছবিটি ঠিকভাবে আঁকার তিনটি নিয়ম:

• vmin=-1, vmax=1, center=0: রঙের স্কেল পুরো পরিসর জুড়ে, আর ০ ঠিক মাঝের নিরপেক্ষ রঙে। না দিলে seaborn ডেটার সবচেয়ে কম আর বেশি মান দিয়ে স্কেল বানায়, আর ০.০৩-এর মতো দুর্বল সম্পর্কও গাঢ় দেখাতে পারে।
• Diverging palette: দুই দিকে দুটি আলাদা রং, মাঝে হালকা; যেমন "vlag" (নীল থেকে লাল) বা "coolwarm". লাল-সবুজ জোড়া এড়িয়ে চলুন, কারণ লাল-সবুজ বর্ণান্ধতা পুরুষদের মধ্যে তুলনামূলক সাধারণ। একমুখী মানের (গোনা, দাম) জন্য sequential colormap, যেমন "viridis".
• annot=True, fmt=".2f": প্রতিটি ঘরে সংখ্যা লেখা, কারণ রঙের সূক্ষ্ম পার্থক্য চোখ ঠিকভাবে পড়ে না। ম্যাট্রিক্সটি প্রতিসম, তাই চাইলে mask=np.triu(np.ones_like(corr, dtype=bool)) দিয়ে ওপরের অর্ধেক ঢাকা যায়।

নিচের কোডে বাজারঘরের ৪০০টি অর্ডার, যেখানে আমরা নিজেরাই একটি লুকানো কারণ রেখেছি: ঈদের আগের সপ্তাহের অর্ডার (eid = 1). সেই সপ্তাহে মানুষ বেশি কেনেন, আর কুরিয়ারের চাপে ডেলিভারি দেরি হয়। পরিমাণ (qty) আর ডেলিভারি-দিনের মধ্যে আমরা কোনো সরাসরি যোগ রাখিনি।

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

rng = np.random.default_rng(42)
n = 400
eid = rng.random(n) < 0.25                  # order placed in Eid-rush week
qty = rng.integers(1, 6, n) + 2 * eid       # people buy more before Eid
unit = rng.lognormal(np.log(30_000), 0.4, n).round()      # paisa
days = 1 + rng.poisson(2.5 + 2 * eid)       # couriers are overloaded
rating = np.clip(np.round(5.2 - 0.35 * days + rng.normal(0, 0.8, n)), 1, 5)
df = pd.DataFrame({"qty": qty, "taka": qty * unit / 100, "days": days,
                   "rating": rating, "discount": rng.integers(0, 100, n),
                   "eid": eid.astype(int)})

corr = df.corr(method="pearson")
print(corr.round(2))
for e, g in df.groupby("eid"):
    print("eid =", e, "| n =", len(g), "| r(qty, days) =",
          round(g["qty"].corr(g["days"]), 2))

fig, ax = plt.subplots(figsize=(5.5, 4.4), dpi=100)
sns.heatmap(corr, annot=True, fmt=".2f", vmin=-1, vmax=1, center=0,
            cmap="vlag", square=True, linewidths=0.5,
            cbar_kws={"shrink": 0.8}, ax=ax)
ax.set_title("Pearson r, synthetic orders")
fig.tight_layout(); plt.show()

           qty  taka  days  rating  discount   eid
qty       1.00  0.73  0.20   -0.10     -0.06  0.54
taka      0.73  1.00  0.22   -0.12     -0.07  0.42
days      0.20  0.22  1.00   -0.60     -0.07  0.49
rating   -0.10 -0.12 -0.60    1.00     -0.02 -0.30
discount -0.06 -0.07 -0.07   -0.02      1.00 -0.05
eid       0.54  0.42  0.49   -0.30     -0.05  1.00
eid = 0 | n = 297 | r(qty, days) = -0.07
eid = 1 | n = 103 | r(qty, days) = -0.12

এটি পর্ব ২৪-এর Simpson's paradox-এর আত্মীয়। সেখানে দুই কুরিয়ার “দ্রুতি” আর “পথিক”-এর সব মিলিয়ে হার উল্টো কথা বলছিল, কারণ জেলা ঠিক করছিল কে কোন অর্ডার পাবে আর অর্ডারটি কতটা কঠিন। এখানে ঈদ একটি confounding variable, আর qty-days-এর ০.২০ একটি spurious correlation. বিশ্লেষক যদি heatmap দেখে লেখেন “বড় অর্ডার প্যাক করতে দেরি হয়, তাই প্যাকিং দল বাড়ান”, সিদ্ধান্তটি ভুল কারণের ওপর দাঁড়াবে। Heatmap প্রশ্ন খোঁজার যন্ত্র, উত্তর নয়: প্রতিটি উল্লেখযোগ্য ঘরের জন্য scatter দেখুন, সম্ভাব্য তৃতীয় কারণ ধরে দলে ভাগ করে আবার দেখুন (hue="eid" বা col="eid"), আর কারণ দাবি করার আগে পরীক্ষা বা A/B test ভাবুন।

৯ · চেহারা আর নিয়ন্ত্রণ — theme, context, palette, Axes আর seaborn.objects

Theme আর context. sns.set_theme() একবার ডাকলে পরের সব chart-এ seaborn-এর চেহারা। এর ভেতরে তিনটি আলাদা জিনিস: style (পেছনের রং আর grid: "darkgrid" default, "whitegrid", "white", "ticks"), palette (রঙের তালিকা, default "deep") আর context (লেখা আর রেখার আকার)। Context ঠিক করে ছবিটি কোথায় দেখা হবে: কাগজে ছোট, notebook-এ মাঝারি, প্রজেক্টরে বড়। লেখকের ল্যাপটপে সত্যিকারের run (sns.plotting_context(name); font.size, axes.labelsize আর lines.linewidth):

paper 9.600000000000001 9.600000000000001 1.2000000000000002
notebook 12 12 1.5
talk 18.0 18.0 2.25
poster 24 24 3.0

অর্থাৎ "notebook"-কে ১ ধরে paper ০.৮ গুণ, talk ১.৫ গুণ, poster ২ গুণ। স্লাইডের আগে sns.set_context("talk") দিন। একটি chart-এর জন্য সাময়িকভাবে বদলাতে with sns.plotting_context("talk"): ব্লক ব্যবহার করুন।

Palette. sns.color_palette(name, n) রঙের একটি তালিকা দেয়। তিন ধরনের palette, তিন ধরনের ডেটার জন্য: qualitative (আলাদা category, যেমন "colorblind", "deep", "tab10"), sequential (একমুখী সংখ্যা, যেমন "viridis", "rocket", "mako") আর diverging (মাঝে একটি অর্থপূর্ণ শূন্য, যেমন "vlag"). এই পর্বের সব কোডে colour-blind-safe palette "colorblind"; লেখকের যন্ত্রে এর প্রথম চারটি রং #0173b2 (নীল), #de8f05 (কমলা), #029e73 (সবুজ), #d55e00 (লাল-কমলা). তবু শুধু রঙের ওপর নির্ভর করবেন না: দল তিনটির বেশি হলে style, সরাসরি লেবেল বা আলাদা panel দিন। সৎ আর সবার পড়ার মতো chart-এর পুরো আলোচনা আসবে পর্ব ৩২-এ।

ফেরত পাওয়া Axes দিয়ে সাজানো। seaborn যেহেতু matplotlib-এর ওপরে, তাই যা seaborn-এর parameter-এ নেই, তা matplotlib দিয়ে করুন। Axes-level function-এর ফল একটি সাধারণ Axes: ax.set(xlabel=..., ylim=(0, None)), ax.axhline(3, ls="--"), ax.tick_params(axis="x", rotation=45), ax.figure.savefig("chart.png", dpi=200, bbox_inches="tight"). Legend সরাতে seaborn-এর নিজস্ব sns.move_legend(ax, "upper left", bbox_to_anchor=(1, 1)). Figure-level-এ g.set(...) সব panel-এ একসঙ্গে, আর for ax in g.axes.flat: দিয়ে আলাদা আলাদা।

seaborn.objects — নতুন, ঘোষণামূলক interface

seaborn 0.12 (২০২২ সাল) থেকে একটি দ্বিতীয় interface আছে: seaborn.objects. এটি “grammar of graphics” ধারণার দিকে যায় (Leland Wilkinson-এর বই, আর R-এর ggplot2 যে ধারণায় গড়া): একটি so.Plot-এ ডেটা আর mapping দেন, তারপর .add() দিয়ে স্তর যোগ করেন, যেখানে প্রতিটি স্তর একটি mark (কী আঁকা হবে: so.Bar, so.Dot, so.Line, so.Range) আর একটি stat (কী হিসাব হবে: so.Agg, so.Est, so.Hist). নথিতে একে এখনো পরীক্ষামূলক বলা হয়, আর API বদলাতে পারে। অংশ ৫-এর একই ১২০টি অর্ডারে গড় আর ±১ SD, লেখকের ল্যাপটপে সত্যিকারের run (seaborn 0.13.2):

~/bazarghar-ai$ cat objects_demo.py     # (মূল অংশ)
p = (
    so.Plot(df, x="district", y="delivery_days")
    .add(so.Bar(), so.Agg("mean"))
    .add(so.Range(), so.Est(errorbar="sd"))
    .scale(x=so.Nominal(order=dist))
    .label(title="Mean delivery days, ±1 SD", y="Days")
)
print(type(p).__name__)
p.save("objects_bar.png", dpi=100)
fig = plt.figure(figsize=(6, 3.2))
p.on(fig).plot()             # draw onto our own matplotlib Figure
ax = fig.axes[0]
heights = [round(float(b.get_height()), 2) for b in ax.patches]
print("bars:", len(ax.patches), heights)
print("title:", ax.get_title())

~/bazarghar-ai$ python objects_demo.py
seaborn 0.13.2
Plot
bars: 5 [2.4, 3.55, 4.6, 4.5, 5.36]
title: Mean delivery days, ±1 SD

বারের উচ্চতা ২.৪, ৩.৫৫, ৪.৬, ৪.৫, ৫.৩৬: অংশ ৫-এর টেবিলের গড়ের সঙ্গে হুবহু মেলে, কারণ ডেটা একই seed-এ বানানো। so.Plot(...) নিজে কিছু আঁকে না, শুধু একটি বর্ণনা (Plot object); আঁকা হয় .save(), .plot() বা notebook-এ দেখানোর সময়। .on(fig) দিয়ে নিজের matplotlib Figure বা Axes-এ আঁকানো যায়, তাই পুরোনো আর নতুন interface একসঙ্গে চলে। এই কোর্সে মূল হিসেবে function-ভিত্তিক interface-ই থাকবে।

১০ · AI-এর যুগে — AI সহকারীর seaborn কোড আর chart যাচাই

“এই CSV থেকে জেলাভিত্তিক সুন্দর chart বানাও” লিখলে AI সহকারী কয়েক সেকেন্ডে seaborn কোড দেবে, আর chart দেখতে ভালোই হবে। সমস্যা হলো, chart-এর ভুল error দেয় না; শুধু ভুল গল্প বলে। seaborn-এর বিষয়ে AI সহকারীরা প্রায়ই যা করে:

• পুরোনো API লেখে: distplot, barplot(ci="sd"), hue ছাড়া palette, বা sns.load_dataset (যা ইন্টারনেট থেকে নামায়)। লেখকের ল্যাপটপে seaborn 0.13.2-এর সত্যিকারের সতর্কবার্তা নিচে।
• বানানো parameter লেখে: যেমন histplot(..., smooth=True) বা figure-level function-এ ax=, যা চুপচাপ উপেক্ষিত হয়।
• error bar-এর অর্থ ভুল বলে: default CI-কে “SD” বা “পরিসর” লেখে, অথবা caption-এ কিছুই লেখে না; আর CI-র ওভারল্যাপ দেখে “পার্থক্য পরিসংখ্যানগতভাবে উল্লেখযোগ্য নয়” ঘোষণা করে।
• correlation থেকে কারণ বানায়: heatmap দেখে “দেরিতে ডেলিভারির কারণ বড় অর্ডার” লেখে, confounder না খুঁজে।
• সতর্কবার্তা লুকায়: warnings.filterwarnings("ignore") দিয়ে deprecation আর “points cannot be placed” (swarmplot) বার্তা চাপা দেয়; আর ক্রেতার আসল ডেটা দিয়ে উদাহরণ চায়।

~/bazarghar-ai$ python old_api.py
barplot(ci='sd'): FutureWarning: The `ci` parameter is deprecated. Use `errorbar='sd'` for the same effect.
distplot: UserWarning: `distplot` is a deprecated function and will be removed in seaborn v0.14.0. Please adapt your code to use either `displot` (a figure-level function with similar flexibility) or `histplot` (an axes-lev
boxplot(palette=...) no hue: FutureWarning: Passing `palette` without assigning `hue` is deprecated and will be removed in v0.14.0. Assign the `x` variable to `hue` and set `legend=False` for the same effect.
boxplot(palette=...) no hue: MatplotlibDeprecationWarning: vert: bool was deprecated in Matplotlib 3.11 and will be removed in 3.13. Use orientation: {'vertical', 'horizontal'} instead.
boxplot(palette=...) no hue: MatplotlibDeprecationWarning: vert: bool was deprecated in Matplotlib 3.11 and will be removed in 3.13. Use orientation: {'vertical', 'horizontal'} instead.

প্রথম তিনটি বার্তা পুরোনো কোডের দোষ, আর প্রতিটিই ঠিক পথ বলে দিচ্ছে। শেষ দুটি আলাদা ধরনের: কোড ঠিক, কিন্তু seaborn 0.13.2 নিজে ভেতরে matplotlib-এর একটি parameter ব্যবহার করে, যা matplotlib 3.11-এ পুরোনো ঘোষিত। Pyodide-এর matplotlib 3.10.8-এ এই বার্তা আসে না। শিক্ষা: সতর্কবার্তা পড়ুন, কার দোষ বুঝুন, আর library-গুলোর version একসঙ্গে lockfile-এ রাখুন (পর্ব ১২)।

AI-এর seaborn কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• নিজের seaborn version-এর অফিসিয়াল নথিতে (seaborn.pydata.org) প্রতিটি function আর parameter মিলিয়েছি
• কোড চালিয়ে সব warning পড়েছি; কোনো filterwarnings("ignore") রাখিনি
• chart-এর অন্তত দুটি সংখ্যা (একটি বারের উচ্চতা, একটি দলের গোনা) pandas-এর groupby দিয়ে আলাদা করে মিলিয়েছি
• error bar কী (CI, SE, SD না PI) তা জানি, caption-এ লিখেছি, আর seed দিয়েছি
• KDE থাকলে bandwidth অর্ধেক আর দ্বিগুণ করে দেখেছি, আর অসম্ভব মানের অঞ্চলে (ঋণাত্মক দাম) রেখা যায় কি না দেখেছি
• correlation থেকে কোনো কারণ দাবি করিনি; সম্ভাব্য confounder ধরে দলে ভাগ করে দেখেছি, আর আসল ক্রেতার ডেটা AI-তে পেস্ট করিনি