pandas-এর শুরু — Series, DataFrame আর index

মডিউল ৩-এ (পর্ব ১৩ থেকে পর্ব ১৯) আপনি NumPy array নিয়ে কাজ করেছেন: একই ধরনের সংখ্যার টানা সারি, যার একটি shape আর একটি dtype আছে। এই মডিউলের বিষয় টেবিলের ডেটা, আর তার প্রধান হাতিয়ার pandas. পর্ব ২০ থেকে ২৭ পর্যন্ত আমরা বাজারঘরের (এই কোর্সের কাল্পনিক অনলাইন দোকান) অর্ডারের টেবিল নিয়ে কাজ করব। এই পর্বে শুধু ভিত: pandas-এর দুটি মূল কাঠামো, তাদের index, আর নতুন একটি টেবিল হাতে পেলে প্রথমে কী কী দেখবেন। এই পর্বের সব কোড পাতাতেই চলে, Pyodide দিয়ে, যেখানে pandas 3.0.2 আছে; প্রথমবার চালালে pandas নামতে কয়েক সেকেন্ড লাগতে পারে।

১ · কেন pandas — NumPy-র ওপর নাম আর মিশ্র কলাম

পাড়ার মুদি দোকানের হিসাব খাতার কথা ভাবুন। প্রতিটি লাইনে একটি বিক্রি: তারিখ, ক্রেতার নাম, পণ্য, কয়টি, দাম, নগদ না বাকি। খাতার ওপরে প্রতিটি কলামের নাম লেখা, আর প্রতিটি লাইনের একটি ক্রমিক নম্বর বা রসিদ নম্বর আছে। দোকানি “রসিদ ১০০৫-এর দাম কত” জিজ্ঞাসা করেন, “৫ নম্বর লাইনের ৪ নম্বর ঘর” নয়।

NumPy array এই খাতার জন্য পুরোপুরি মানানসই নয়, দুটি কারণে। প্রথমত, NumPy-র ঘরগুলোর নাম নেই, শুধু অবস্থান আছে: sales[2, 4]. পর্ব ১৪-এ (indexing আর slicing) আপনি জেলা আর দিনের নাম আলাদা array-তে রেখে মেলাতেন; কোন সারি কোন জেলা, সেটি মনে রাখার দায়িত্ব ছিল আপনার। দ্বিতীয়ত, একটি array-তে সব ঘরের dtype এক। “ঢাকা”, 2, 25000 আর True এক array-তে রাখলে NumPy সবকিছুকে লেখায় বদলে দেয়, আর তখন যোগ-গড় আর চলে না।

pandas এই দুটি অভাব পূরণ করে। এটি NumPy-র ওপরে (আর এখন অনেক ক্ষেত্রে Apache Arrow-এর ওপরে) একটি স্তর, যা তিনটি জিনিস যোগ করে:

• কলামের নাম: orders["qty"], “৩ নম্বর কলাম” নয়।
• সারির label, মানে index: প্রতিটি সারির একটি নাম বা নম্বর, যা সারি সরালে, ছাঁকলে বা সাজালেও সারির সঙ্গেই থাকে।
• প্রতিটি কলামের নিজের dtype: জেলার কলাম লেখা, qty পূর্ণসংখ্যা, prepaid সত্য-মিথ্যা। ভেতরে প্রতিটি কলাম একটি NumPy-ধরনের array, তাই কলামের ভেতরের হিসাব NumPy-র মতোই দ্রুত, vectorized.

নিচের ছবিতে একটি DataFrame-এর অঙ্গপ্রত্যঙ্গ। একটি জিনিস খেয়াল করুন: বাঁ দিকের index কোনো কলাম নয়। এটি সব কলামের সঙ্গে একসঙ্গে বাঁধা সারির label, আর প্রতিটি কলাম আসলে একটি Series, যার index ওই একই।

২ · Series — মান আর index-এর জোড়া

একটি Series হলো দুটি সমান দৈর্ঘ্যের জিনিসের জোড়া: মানের একটি array, আর প্রতিটি মানের একটি label, যার নাম index. ক্রিকেটের স্কোরকার্ডের কথা ভাবুন: বাঁ দিকে ব্যাটারের নাম, ডানে রান। রান-এর কলামটি একটি NumPy array হতে পারত, কিন্তু নামগুলো পাশে থাকায় “সাকিবের রান কত” সরাসরি জিজ্ঞাসা করা যায়।

import pandas as pd
oct_ = pd.Series([120, 80, 45], index=["ঢাকা", "চট্টগ্রাম", "সিলেট"])
print(oct_)
ঢাকা         120
চট্টগ্রাম     80
সিলেট         45
dtype: int64

oct_["ঢাকা"]        # 120   label দিয়ে
oct_.iloc[0]        # 120   অবস্থান দিয়ে (পর্ব ২২-এ বিস্তারিত)
oct_.index          # Index(['ঢাকা', 'চট্টগ্রাম', 'সিলেট'], dtype='str')
oct_.to_numpy()     # array([120,  80,  45])   ভেতরের মান, NumPy array হিসেবে

(ডেস্কটপে pandas 3.0.2-এ সত্যিকারের run.) oct নামটি Python-এ নিষিদ্ধ নয়, কিন্তু একটি built-in function-এর নাম, তাই শেষে _ দেওয়া হয়েছে। Series-এর তিনটি অংশ আলাদা করে দেখা যায়:

• মান: .to_numpy() একটি NumPy array দেয়। .values-ও প্রায় একই কাজ করে, কিন্তু কিছু dtype-এ (যেমন category বা নতুন str) এটি NumPy array না দিয়ে pandas-এর নিজের array ফেরত দিতে পারে, তাই pandas-এর docs এখন .to_numpy() ব্যবহার করতে বলে।
• index: .index, এখানে লেখার label, dtype str.
• dtype: .dtype, এখানে int64. Series-এর সব মানের dtype এক, ঠিক NumPy-র মতো। একটি .name-ও থাকতে পারে, যা DataFrame-এর কলাম হলে কলামের নাম হয়।

Alignment — যোগ হয় label ধরে, অবস্থান ধরে নয়

এখানেই pandas NumPy থেকে সবচেয়ে বেশি আলাদা। দুটি NumPy array যোগ করলে প্রথমটির প্রথম ঘর দ্বিতীয়টির প্রথম ঘরের সঙ্গে যোগ হয়, অবস্থান ধরে। দুটি Series যোগ করলে pandas আগে label মেলায়: ঢাকার সঙ্গে ঢাকা, সিলেটের সঙ্গে সিলেট, যে ক্রমেই থাকুক না কেন। এর নাম index alignment. দুই মাসের হিসাব খাতা পাশাপাশি রেখে নাম ধরে মেলানোর মতো: এক খাতায় যে দোকানের নাম নেই, তার যোগফল লেখা যায় না, তাই সেই ঘর ফাঁকা থাকে। pandas সেই ফাঁকা ঘরে বসায় NaN, মানে “মান নেই”। নিচের ধাপে দেখুন।

1oct_ = ঢাকা 120, চট্টগ্রাম 80, সিলেট 452nov  = চট্টগ্রাম 95, ঢাকা 130, খুলনা 603total = oct_ + nov4oct_.add(nov, fill_value=0)5oct_.to_numpy() + nov.to_numpy()

import pandas as pd

# অক্টোবর আর নভেম্বরে জেলাভিত্তিক অর্ডারের সংখ্যা
oct_ = pd.Series([120, 80, 45], index=["ঢাকা", "চট্টগ্রাম", "সিলেট"])
nov = pd.Series([95, 130, 60], index=["চট্টগ্রাম", "ঢাকা", "খুলনা"])

print(oct_.dtype, oct_.index.dtype, oct_["ঢাকা"])
print(oct_.to_numpy(), type(oct_.to_numpy()).__name__)

total = oct_ + nov                       # label ধরে মেলায়, ক্রম নয়
print(total)
print("NaN কয়টি:", total.isna().sum())

total0 = oct_.add(nov, fill_value=0)     # না থাকলে 0 ধরে
print(total0.dtype, "->", total0.astype("int64").tolist())

wrong = oct_.to_numpy() + nov.to_numpy() # শুধু অবস্থান ধরে যোগ
print("ভুল যোগ:", wrong)

int64 str 120
[120  80  45] ndarray
খুলনা          NaN
চট্টগ্রাম    175.0
ঢাকা         250.0
সিলেট          NaN
dtype: float64
NaN কয়টি: 2
float64 -> [60, 175, 250, 45]
ভুল যোগ: [215 210 105]

৩ · DataFrame বানানো — dict, dict-এর list আর NumPy array

বাস্তবে DataFrame সাধারণত ফাইল থেকে পড়া হয়, যা পর্ব ২১ · ডেটা পড়া আর লেখা — CSV, Excel, JSON, SQL আর Parquet-এর বিষয়। কিন্তু হাতে বানানোর তিনটি পথ জানা দরকার, কারণ ছোট পরীক্ষা, test আর API-র ফল এভাবেই আসে।

পথ ১ — list-এর dict: প্রতিটি key একটি কলাম

সবচেয়ে চেনা পথ। প্রতিটি key কলামের নাম, প্রতিটি value সেই কলামের সব মানের একটি list. সব list-এর দৈর্ঘ্য সমান হতেই হবে। নিচের ধাপে একটি ছোট dict কীভাবে টেবিল হয়, দেখুন।

1data = {"district": ["ঢাকা", "সিলেট", "খুলনা", "ঢাকা"],2        "qty": [2, 5, 1, 4],3        "payment": ["COD", "card", "bKash", "COD"]}4df = pd.DataFrame(data)5print(df, df.shape)

এবার বাজারঘরের আসল অর্ডারের টেবিলের একটি ছোট সংস্করণ, ৮টি অর্ডার। দাম রাখা হয়েছে পয়সায়, পূর্ণসংখ্যা হিসেবে: ২৫০ টাকা মানে 25000 পয়সা। কেন? Floating-point সংখ্যায় 0.1 + 0.2 ঠিক 0.3 হয় না, আর টাকার হিসাবে এক পয়সার গরমিলও গরমিল। তাই টাকা শুধু ছাপার সময়।

import pandas as pd
pd.set_option("display.width", 60)       # ফোনের পর্দায় সরু রাখতে

orders = pd.DataFrame({
    "order_id": [1001, 1002, 1003, 1004, 1005, 1006, 1007, 1008],
    "district": ["ঢাকা", "চট্টগ্রাম", "ঢাকা", "সিলেট",
                 "খুলনা", "ঢাকা", "রাজশাহী", "চট্টগ্রাম"],
    "product": ["চা", "ডাল", "তেল", "চাল", "চা", "সাবান", "ডাল", "তেল"],
    "qty": [2, 1, 3, 5, 1, 4, 2, 1],
    "price_paisa": [25000, 14000, 21000, 8500, 25000, 6000, 14000, 21000],
    "payment": ["COD", "bKash", "COD", "card", "bKash", "COD", "COD", "bKash"],
})
print(orders.head(3))
print(orders.tail(2))
print("shape:", orders.shape, "| সারি:", len(orders))
print(orders.dtypes)
print(orders.index)
print(type(orders["qty"]).__name__, type(orders[["qty"]]).__name__)

   order_id   district product  qty  price_paisa payment
0      1001       ঢাকা      চা    2        25000     COD
1      1002  চট্টগ্রাম     ডাল    1        14000   bKash
2      1003       ঢাকা     তেল    3        21000     COD
   order_id   district product  qty  price_paisa payment
6      1007    রাজশাহী     ডাল    2        14000     COD
7      1008  চট্টগ্রাম     তেল    1        21000   bKash
shape: (8, 6) | সারি: 8
order_id       int64
district         str
product          str
qty            int64
price_paisa    int64
payment          str
dtype: object
RangeIndex(start=0, stop=8, step=1)
Series DataFrame

পথ ২ — dict-এর list: প্রতিটি dict একটি সারি

API বা JSON থেকে ডেটা প্রায়ই আসে record হিসেবে: প্রতিটি অর্ডার একটি dict. pandas সেগুলোকে সারি হিসেবে নেয়, আর সব dict-এর key-এর মিলন থেকে কলাম বানায়। কোনো dict-এ একটি key না থাকলে সেখানে missing value বসে:

rows = [
    {"order_id": 1001, "district": "ঢাকা", "qty": 2},
    {"order_id": 1002, "district": "সিলেট", "qty": 1, "payment": "COD"},
]
print(pd.DataFrame(rows))
   order_id district  qty payment
0      1001     ঢাকা    2     NaN
1      1002    সিলেট    1     COD

(ডেস্কটপে pandas 3.0.2-এ সত্যিকারের run.) প্রথম অর্ডারে payment ছিল না, তাই NaN. পথ ১-এ দৈর্ঘ্য না মিললে error হয়, কিন্তু পথ ২-এ key না মিললে চুপচাপ NaN. JSON-এর ডেটায় তাই একটি key-এর বানান ভুল ("paymnet") একটি নতুন, প্রায় ফাঁকা কলাম বানিয়ে দেয়; info() দেখলেই তা ধরা পড়ে (অংশ ৪)।

পথ ৩ — NumPy array থেকে, নাম যোগ করে

মডিউল ৩-এর array-কে নাম দিতে চাইলে columns আর index দিয়ে দিন। এখানে ৪ জেলা × ৩ পণ্যের বিক্রির পরিমাণ:

rng = np.random.default_rng(42)
arr = rng.integers(1, 6, size=(4, 3))
df = pd.DataFrame(arr, columns=["চা", "ডাল", "তেল"],
                  index=["ঢাকা", "চট্টগ্রাম", "সিলেট", "খুলনা"])
print(df)
           চা  ডাল  তেল
ঢাকা        1    4    4
চট্টগ্রাম   3    3    5
সিলেট       1    4    2
খুলনা       1    3    5
np.shares_memory(arr, df.to_numpy())    # False (আমাদের run-এ)

(ডেস্কটপে pandas 3.0.2-এ সত্যিকারের run.) array-এর সব কলাম এক dtype-এর (int64), তাই এখান থেকে মিশ্র কলাম আসে না; মিশ্র টেবিলের জন্য পথ ১ বা ২. শেষ লাইনটি দেখায়, আমাদের run-এ DataFrame নিজের জন্য সংখ্যাগুলো কপি করে নিয়েছে, তাই পরে arr বদলালেও df বদলাবে না। pandas 3-এর Copy-on-Write নীতির সঙ্গে এটি মেলে; তবে কখন copy হয় আর কখন হয় না, তার খুঁটিনাটি version-ভেদে বদলেছে, তাই নির্ভর করার আগে নিজের version-এ np.shares_memory দিয়ে দেখে নিন।

৪ · প্রথম নজর — info, describe, value_counts আর nunique

ডাক্তার রোগী দেখার আগে তাপমাত্রা, রক্তচাপ আর ওজন মাপেন, তারপর রোগনির্ণয়। নতুন একটি টেবিল হাতে পেলেও প্রথমে কয়েকটি মাপ দরকার: কয়টি সারি, কোন কলামে কী dtype, কোথায় মান নেই, সংখ্যাগুলোর পরিসর কত, আর লেখার কলামে কয়টি আলাদা মান। এই মাপগুলোর নাম descriptive statistics, আর pandas এগুলো এক লাইনে দেয়।

৮টি সারিতে এসব মাপের মজা নেই, তাই নিচের কোড seed দিয়ে বাজারঘরের ১২০টি অর্ডার বানায়। জেলার সম্ভাবনা এমনভাবে দেওয়া হয়েছে যাতে ঢাকায় অর্ডার বেশি আসে, আর পেমেন্টে COD (ক্যাশ অন ডেলিভারি) সবচেয়ে বেশি। এগুলো বানানো সংখ্যা, বাস্তব বাজারের কোনো পরিসংখ্যান নয়।

import numpy as np
import pandas as pd
pd.set_option("display.width", 60)
pd.set_option("display.max_columns", 8)

rng = np.random.default_rng(42)          # seed: সবার একই ডেটা
n = 120
districts = ["ঢাকা", "চট্টগ্রাম", "রাজশাহী", "খুলনা", "সিলেট"]
orders = pd.DataFrame({
    "order_id": np.arange(1001, 1001 + n, dtype=np.int64),
    "district": rng.choice(districts, size=n, p=[.4, .25, .15, .1, .1]),
    "qty": rng.integers(1, 6, size=n),
    "price_paisa": rng.choice([6000, 8500, 14000, 21000, 25000], size=n),
    "delivery_days": rng.integers(1, 8, size=n),
    "payment": rng.choice(["COD", "bKash", "card"], size=n, p=[.5, .35, .15]),
})
orders.info()
print(orders.describe().round(1))
print(orders.describe(include="all").T[["count", "unique", "top", "freq"]])
print(orders["district"].value_counts())
print(orders["payment"].value_counts(normalize=True).round(3))
print(orders.nunique())

<class 'pandas.DataFrame'>
RangeIndex: 120 entries, 0 to 119
Data columns (total 6 columns):
 #   Column         Non-Null Count  Dtype
---  ------         --------------  -----
 0   order_id       120 non-null    int64
 1   district       120 non-null    str
 2   qty            120 non-null    int64
 3   price_paisa    120 non-null    int32
 4   delivery_days  120 non-null    int64
 5   payment        120 non-null    str
dtypes: int32(1), int64(3), str(2)
memory usage: 4.3 KB
       order_id    qty  price_paisa  delivery_days
count     120.0  120.0        120.0          120.0
mean     1060.5    2.9      14616.7            4.1
std        34.8    1.4       7591.4            2.1
min      1001.0    1.0       6000.0            1.0
25%      1030.8    2.0       6000.0            2.0
50%      1060.5    3.0      14000.0            4.0
75%      1090.2    4.0      21000.0            6.0
max      1120.0    5.0      25000.0            7.0
               count unique   top freq
order_id       120.0    NaN   NaN  NaN
district         120      5  ঢাকা   45
qty            120.0    NaN   NaN  NaN
price_paisa    120.0    NaN   NaN  NaN
delivery_days  120.0    NaN   NaN  NaN
payment          120      3   COD   56
district
ঢাকা         45
চট্টগ্রাম    30
রাজশাহী      27
খুলনা        10
সিলেট         8
Name: count, dtype: int64
payment
COD      0.467
bKash    0.367
card     0.167
Name: proportion, dtype: float64
order_id         120
district           5
qty                5
price_paisa        5
delivery_days      7
payment            3
dtype: int64

প্রতিটি কাজ কী বলে

দুটি সূক্ষ্ম বিষয়। প্রথমত, value_counts() default-এ missing value গোনে না; গুনতে চাইলে dropna=False. দ্বিতীয়ত, describe()-এর std হলো নমুনার standard deviation, ddof=1 দিয়ে, যেখানে NumPy-র np.std-এর default ddof=0; একই ডেটায় দুটি আলাদা সংখ্যা আসার এটিই কারণ। পর্ব ১৬-এ (aggregation আর random) ddof-এর অর্থ দেখেছেন।

৫ · কলাম নিয়ে কাজ — বাছাই, যোগ, নাম বদল আর বাদ

একটি কলাম বনাম কলামের list

orders["qty"]                    # Series, shape (8,)
orders[["qty"]]                  # DataFrame, shape (8, 1)
orders[["district", "qty"]]      # DataFrame, দুটি কলাম, এই ক্রমে
orders.qty                       # Series, কিন্তু এই রূপটি এড়ানো ভালো

বিন্দু দিয়ে লেখা (orders.qty) পড়তে সুবিধার, কিন্তু তিনটি জায়গায় ভাঙে: কলামের নামে ফাঁকা জায়গা বা বাংলা থাকলে, নামটি কোনো method-এর নামের সঙ্গে মিলে গেলে (একটি কলামের নাম count বা size হলে orders.count method-টিই দেয়), আর নতুন কলাম বানাতে orders.total = ... লিখলে, যা কলাম বানায় না, শুধু একটি attribute জুড়ে দেয় (pandas তখন একটি warning দেয়)। তাই বন্ধনী আর উদ্ধৃতি চিহ্ন, সবসময়। সারি বাছাই আর শর্ত দিয়ে ছাঁকা (loc, iloc, boolean mask) পর্ব ২২ · বাছাই আর filter — loc, iloc, query আর boolean mask-এর বিষয়।

হিসাব করা কলাম যোগ

প্রতিটি অর্ডারের মোট দাম = qty × price_paisa. pandas-এ দুটি কলাম গুণ করলে ঘরে ঘরে গুণ হয়, index মিলিয়ে, কোনো loop ছাড়া:

orders["total_paisa"] = orders["qty"] * orders["price_paisa"]
orders["prepaid"] = orders["payment"] != "COD"       # bool কলাম
#   অর্ডার 1001: 2 × 25000 = 50000 পয়সা = ৫০০ টাকা
#   অর্ডার 1004: 5 × 8500  = 42500 পয়সা = ৪২৫ টাকা

৮টি অর্ডারের total_paisa: 50000, 14000, 63000, 42500, 25000, 24000, 28000, 21000; মোট 267500 পয়সা, মানে ২,৬৭৫ টাকা। আগে বিক্রি হওয়া অর্ডারগুলোর (bKash আর card) মোট 14000 + 42500 + 25000 + 21000 = 102500 পয়সা, ১,০২৫ টাকা। এই সংখ্যাগুলো অংশ ৮-এর কোড আর অনুশীলন ৪-এ আবার মিলিয়ে দেখবেন।

খেয়াল করুন, orders["total_paisa"] = ... মূল টেবিলটিকেই বদলায়, জায়গায়। এটি সহজ, কিন্তু notebook-এ একই cell দুবার চালালে বা একটি function-এর ভেতরে লিখলে মূল ডেটা নিঃশব্দে বদলে যায়, যা একটি side effect. অংশ ৮-এর assign নতুন টেবিল ফেরত দেয়, মূলকে না ছুঁয়ে।

নাম বদল আর বাদ দেওয়া

orders.rename(columns={"district": "zila"})     # নতুন DataFrame
orders.drop(columns=["price_paisa"])             # নতুন DataFrame
orders.drop(columns="price_paisa").columns.tolist()
# ['order_id', 'district', 'qty', 'payment', 'total_paisa', 'prepaid']
orders.columns.tolist()                          # মূল টেবিলে price_paisa এখনো আছে

rename আর drop দুটিই একটি নতুন DataFrame ফেরত দেয়; মূলটি বদলায় না। নতুনদের সবচেয়ে চেনা ভুল হলো orders.drop(columns="price_paisa") লিখে ধরে নেওয়া যে কলামটি চলে গেছে। ফল রাখতে হয়: orders = orders.drop(...). inplace=True নামে একটি বিকল্প এখনো অনেক method-এ আছে, কিন্তু pandas-এর উন্নয়ন দল একে নিরুৎসাহিত করে: এতে সাধারণত কোনো গতি বা memory-র লাভ হয় না, আর method chain ভেঙে যায় (এটি None ফেরত দেয়)। তাই এই কোর্সে আমরা সবসময় ফল নতুন নামে রাখব।

৬ · Index — RangeIndex, set_index আর reset_index

এখন পর্যন্ত আমাদের index ছিল 0, 1, 2, … অর্থাৎ RangeIndex. এটি শুধু অবস্থানের নম্বর, অর্ডারের কোনো তথ্য বহন করে না। কিন্তু অর্ডারের নিজের একটি পরিচয় আছে: order_id. সেটিকে index বানালে রসিদ নম্বর ধরে সরাসরি অর্ডার খোঁজা যায়, ঠিক দোকানির মতো। নিচের ধাপে ৪টি অর্ডারের একটি টেবিল নিয়ে দেখুন।

1o                           # order_id একটি কলাম2oi = o.set_index("order_id")3oi.loc[1005]                # label দিয়ে4oi.iloc[2]                  # অবস্থান দিয়ে5oi.reset_index()

অর্থবহ index কেন কাজে লাগে

• খোঁজা সহজ ও স্পষ্ট: orders.loc[1005] পড়লেই বোঝা যায় কী চাওয়া হচ্ছে; “পঞ্চম সারি” সাজানো বা ছাঁকার পর বদলে যায়, রসিদ নম্বর বদলায় না।
• alignment সঠিক হয়: অংশ ২-এর মতো, দুটি টেবিল বা Series-এর হিসাব অর্থবহ label ধরে মেলে। জেলাকে index বানানো দুটি মাসিক Series-এর যোগ এই কারণেই ঠিক ফল দিয়েছিল।
• ID-কে সংখ্যা ভাবার ভুল এড়ায়: অংশ ৪-এ describe() order_id-এর গড় 1060.5 দিয়েছিল, যা অর্থহীন। ID index-এ থাকলে সে আর হিসাবে ঢোকে না।

তবে একটি সতর্কতা: pandas index-এর label অনন্য হওয়া বাধ্যতামূলক নয়। একই label দুবার থাকলে loc একটি সারির বদলে দুটি সারি দেয়, আর alignment-এ সারি গুণিতক হারে বাড়তে পারে। ID-কে index বানানোর পর orders.index.is_unique দেখে নিন, বা set_index("order_id", verify_integrity=True) লিখুন, যা পুনরাবৃত্তি পেলে error দেয়। আর একটি ছোট তথ্য: আমাদের ৮টি অর্ডারের order_id 1001 থেকে 1008 টানা, তাই pandas 3.0.2 set_index-এর পর সেটিকে RangeIndex(start=1001, stop=1009, step=1, name='order_id') হিসেবে রেখেছে (ডেস্কটপে সত্যিকারের run); ফাঁক থাকলে (১০০১, ১০০৪, …) সাধারণ Index, dtype int64.

৭ · pandas 3-এর dtype — int64 থেকে str, আর Int64-এর কথা

প্রতিটি কলামের dtype ঠিক করে কোন কাজ চলবে, কত memory লাগবে, আর missing value কীভাবে বসবে। নিচের সারণির সব উদাহরণ ডেস্কটপে pandas 3.0.2-এ চালিয়ে দেখা।

নতুন default — লেখা এখন str

pandas 2 পর্যন্ত লেখার কলামের dtype ছিল object, মানে “যেকোনো Python object-এর ঠিকানার array”. সেই কলামে লেখা, সংখ্যা, list, সবই বসানো যেত, আর dtype দেখে বোঝা যেত না কলামটিতে আসলে কী আছে। pandas 3.0-এর release notes অনুযায়ী লেখার কলাম এখন str dtype হিসেবে চেনা হয়: PyArrow install থাকলে ভেতরে Arrow-এর string array, না থাকলে Python object দিয়ে, আর missing value সবসময় NaN. ডেস্কটপে, যেখানে আমরা PyArrow install করিনি, repr দেখায় <StringDtype(storage='python', na_value=nan)>; পাতার ভেতরের Pyodide-এ pyarrow package থাকলেও আমাদের code সেটি load করে না, তাই সেখানেও storage python দেখায় (পর্ব ২৭-এ মেপে দেখা)। দুই ক্ষেত্রেই ছাপায় শুধু str.

এর একটি ব্যবহারিক ফল: পুরোনো tutorial-এর df["district"].dtype == object পরীক্ষা pandas 3-এ False দেয় (আমাদের run-এ তাই দিয়েছে)। লেখার কলাম খুঁজতে pd.api.types.is_string_dtype(...) নিরাপদ।

Category আর datetime — এক নজরে

pd.Series(["COD", "bKash", "COD"], dtype="category")
0      COD
1    bKash
2      COD
dtype: category
Categories (2, str): ['COD', 'bKash']

pd.to_datetime(pd.Series(["2026-10-01", "2026-10-02"]))
0   2026-10-01
1   2026-10-02
dtype: datetime64[us]

(ডেস্কটপে pandas 3.0.2-এ সত্যিকারের run.) category dtype প্রতিটি আলাদা মান একবার রাখে, আর প্রতিটি সারিতে শুধু একটি ছোট সংখ্যা: ১০ লাখ সারির payment কলামে তিনটি মান থাকলে memory অনেক কমে। কখন এটি লাভজনক আর কখন নয়, তা পর্ব ২৭ · বড় ডেটায় pandas-এর বিষয়। তারিখের কলাম datetime64; খেয়াল করুন একক [us], মাইক্রোসেকেন্ড। pandas 3.0-এর release notes অনুযায়ী লেখা থেকে তারিখ পড়লে default একক এখন মাইক্রোসেকেন্ড, আগের মতো সবসময় ন্যানোসেকেন্ড নয়। সময় অঞ্চল, resample আর Asia/Dhaka পর্ব ২৬-এর বিষয়।

NaN পূর্ণসংখ্যাকে float বানায় — আর Int64

pd.Series([1, 2, None]).dtype                   # float64   [1.0, 2.0, nan]
pd.Series([1, 2, None], dtype="Int64")
0       1
1       2
2    <NA>
dtype: Int64

NumPy-র int64-এ “মান নেই” বোঝানোর কোনো বিট-নকশা নেই; NaN শুধু float-এর জগতে আছে। তাই একটি ফাঁকা ঘর থাকলেই পুরো কলাম float64 হয়ে যায়, আর 2 ছাপা হয় 2.0 হিসেবে। এটিই অংশ ২-এ oct_ + nov-এর float64-এর কারণ। pandas-এর nullable integer dtype, Int64 (বড় হাতের I), প্রতিটি মানের পাশে একটি আলাদা “আছে/নেই” mask রাখে, তাই পূর্ণসংখ্যা পূর্ণসংখ্যাই থাকে, আর ফাঁকা ঘরে বসে pd.NA. পয়সার হিসাবের মতো জায়গায়, যেখানে float-এ যাওয়া বিপজ্জনক, এটি কাজের। তবে pandas 3-এ default এখনো NumPy-র int64; Int64 নিজে থেকে বেছে নিতে হয়।

৮ · Method chaining আর assign — আর pandas বনাম spreadsheet ও SQL

রান্নার রেসিপির কথা ভাবুন: “চাল ধুয়ে, পানি দিয়ে, লবণ মিশিয়ে, ২০ মিনিট ফোটান”। প্রতিটি ধাপ আগের ধাপের ফল নিয়ে কাজ করে, আর মাঝের প্রতিটি অবস্থার আলাদা নাম দরকার হয় না। pandas-এর বেশিরভাগ method একটি নতুন DataFrame ফেরত দেয়, তাই এগুলো একটির পর একটি বিন্দু দিয়ে জোড়া যায়। এর নাম method chaining. পুরো শিকল বন্ধনীর ভেতরে রাখলে প্রতিটি ধাপ নিজের লাইনে লেখা যায়, পড়তে রেসিপির মতো।

শিকলের ভেতরে নতুন কলাম বানানোর হাতিয়ার assign. এটি মূল টেবিল না বদলে নতুন কলামসহ একটি নতুন টেবিল দেয়। মান হিসেবে একটি lambda দিলে pandas সেটিকে শিকলের সেই মুহূর্তের টেবিল দিয়ে ডাকে, তাই আগের ধাপে বানানো কলামও ব্যবহার করা যায়।

import pandas as pd
pd.set_option("display.width", 60)

orders = pd.DataFrame({
    "order_id": [1001, 1002, 1003, 1004, 1005, 1006, 1007, 1008],
    "district": ["ঢাকা", "চট্টগ্রাম", "ঢাকা", "সিলেট",
                 "খুলনা", "ঢাকা", "রাজশাহী", "চট্টগ্রাম"],
    "qty": [2, 1, 3, 5, 1, 4, 2, 1],
    "price_paisa": [25000, 14000, 21000, 8500, 25000, 6000, 14000, 21000],
    "payment": ["COD", "bKash", "COD", "card", "bKash", "COD", "COD", "bKash"],
})

report = (
    orders
    .assign(total_paisa=lambda d: d["qty"] * d["price_paisa"],
            prepaid=lambda d: d["payment"] != "COD")
    .rename(columns={"district": "zila"})
    .drop(columns=["price_paisa"])
    .set_index("order_id")
    .sort_values("total_paisa", ascending=False)
)
print(report.head(4))
print(report.dtypes)
print("মূল কলাম:", list(orders.columns))

top = report.iloc[0]
print("সবচেয়ে বড় অর্ডার:", report.index[0], top["zila"],
      f"{top['total_paisa'] / 100:,.2f} টাকা")
print("অর্ডার 1004:", report.loc[1004, "total_paisa"], "পয়সা")
print("মোট:", report["total_paisa"].sum() / 100, "টাকা")

             zila  qty payment  total_paisa  prepaid
order_id
1003         ঢাকা    3     COD        63000    False
1001         ঢাকা    2     COD        50000    False
1004        সিলেট    5    card        42500     True
1007      রাজশাহী    2     COD        28000    False
zila             str
qty            int64
payment          str
total_paisa    int64
prepaid         bool
dtype: object
মূল কলাম: ['order_id', 'district', 'qty', 'price_paisa', 'payment']
সবচেয়ে বড় অর্ডার: 1003 ঢাকা 630.00 টাকা
অর্ডার 1004: 42500 পয়সা
মোট: 2675.0 টাকা

শিকলের সুবিধা: মাঝের অবস্থার জন্য df2, df3, df_final নাম লাগে না, আর notebook-এ cell বারবার চালালেও ফল একই থাকে, কারণ মূল টেবিল বদলায় না। অসুবিধা: খুব লম্বা শিকলে ভুল কোন ধাপে, তা খুঁজতে কষ্ট হয়। সমাধান সহজ: শিকলের যেকোনো লাইন সাময়িকভাবে comment করে দেখুন, বা মাঝে .pipe(lambda d: print(d.shape) or d) বসিয়ে shape ছাপুন। পাঁচ-সাত ধাপের বেশি হলে দুটি নামযুক্ত ধাপে ভাগ করাই ভালো; পর্ব ১১-এর পরিচ্ছন্ন কোডের নিয়ম এখানেও খাটে।

pandas, spreadsheet আর SQL — একই টেবিল, তিন দৃষ্টি

pandas-এর একটি DataFrame অনেকটা SQL-এর একটি টেবিলের মতো, কিন্তু তিনটি বড় পার্থক্য: pandas-এ সারির একটি নির্দিষ্ট ক্রম আছে, index থাকে, আর পুরো টেবিল memory-তে থাকে। বাস্তবে দুটি একসঙ্গে চলে: ডেটা থাকে ডেটাবেসে, SQL দিয়ে দরকারি অংশ তুলে pandas-এ বিশ্লেষণ। SQL-এর মূল ধারণা শিখতে DBMS আর SQL কোর্স, বিশেষ করে তার SELECT-এর পর্ব দেখুন; pandas থেকে SQL পড়া পর্ব ২১-এ আসবে।

৯ · নতুনদের চেনা ভুল

pandas-এর ভুলের বড় অংশ error দেয় না, শুধু ভুল টেবিল দেয়। নিচের সবগুলো ডেস্কটপে pandas 3.0.2-এ চালিয়ে দেখা।

ভুল ১ — method-এর ফল না রাখা

orders.drop(columns="price_paisa")        # ফল কোথাও রাখা হয়নি
"price_paisa" in orders.columns           # True — কলাম এখনো আছে
orders = orders.drop(columns="price_paisa")   # ঠিক

ভুল ২ — শিকলবাঁধা assignment, যা pandas 3-এ কখনো কাজ করে না

orders["qty"][0] = 77
# ChainedAssignmentError: A value is being set on a copy of a DataFrame or
# Series through chained assignment. Such chained assignment never works ...
orders["qty"].iloc[0]                     # 2 — বদলায়নি
orders.loc[0, "qty"] = 77                 # ঠিক: এক ধাপে, এক বন্ধনীতে

Chained assignment পর্ব ১৪-এর NumPy-র fancy index-এর ফাঁদের মতো, কিন্তু pandas 3-এ নিয়ম আরও সরল: Copy-on-Write-এর কারণে প্রথম ধাপের ফল সবসময় copy-র মতো আচরণ করে, তাই শিকলে লেখা কখনোই মূল টেবিল বদলায় না, আর pandas একটি warning দেয় (ওপরে তার প্রথম লাইনগুলো)। একই কারণে s = orders["qty"] নিয়ে s.iloc[0] = 99 লিখলে orders বদলায় না (আমাদের run-এ orders["qty"].iloc[0] 2-ই ছিল)। পুরোনো pandas-এ এটি বদলাতে পারত, তাই পুরোনো কোড pandas 3-এ নিঃশব্দে অন্যরকম আচরণ করতে পারে।

ভুল ৩ — অবসরপ্রাপ্ত API

orders.append(orders)
# AttributeError: 'DataFrame' object has no attribute 'append'
pd.concat([orders, orders])               # ঠিক

DataFrame.append pandas 2.0-তে সরিয়ে দেওয়া হয়েছে, কিন্তু অনেক পুরোনো tutorial আর AI সহকারীর উত্তরে এখনো আসে। লুপের ভেতরে বারবার concat করাও ধীর; সারিগুলো আগে একটি Python list-এ জমিয়ে শেষে একবার DataFrame বানান।

ভুল ৪ — Series-কে if-এ দেওয়া, আর বানানের ভুল

if orders["qty"] > 2: ...
# ValueError: The truth value of a Series is ambiguous. Use a.empty,
# a.bool(), a.item(), a.any() or a.all().
orders["Qty"]                             # KeyError: 'Qty' — নাম case-sensitive

পর্ব ১৪-এর NumPy-র and-এর সমস্যার মতোই: অনেক True/False-এর একটি Series “সত্য” কি না, প্রশ্নটি অস্পষ্ট। “কোনো অর্ডারে ২-এর বেশি?” জানতে (orders["qty"] > 2).any().

ভুল ৫ — label আর অবস্থান গুলিয়ে ফেলা

অংশ ২-এর শিক্ষা এক লাইনে: pandas-এর হিসাব pandas-এর ভেতরেই রাখুন, আর অপ্রত্যাশিত NaN দেখলে প্রথমে দুই দিকের index তুলনা করুন।

১০ · AI-এর যুগে — AI সহকারীর pandas কোড যাচাই

pandas হলো সেই library, যার কোড AI সহকারীরা সবচেয়ে বেশি লেখে, আর যেখানে তাদের ভুলও সবচেয়ে চেনা। কারণটি সহজ: ইন্টারনেটে pandas-এর কোড বিপুল, আর তার বড় অংশ pandas 1.x-এর যুগের। AI সহকারীর pandas কোডে এগুলো প্রায়ই দেখা যায়:

• পুরোনো API: df.append, inplace=True-এর ছড়াছড়ি, লেখার কলাম খুঁজতে dtype == object, warning চাপা দিতে pd.options.mode.chained_assignment = None, বা শিকলবাঁধা df[...][...] = x, যা pandas 3-এ কিছুই বদলায় না।
• বানানো function বা parameter: শুনতে বিশ্বাসযোগ্য কিন্তু অস্তিত্বহীন নাম। একটি অচেনা method দেখলে docs-এ খুঁজুন।
• নিঃশব্দ alignment-এর ভুল: দুটি টেবিল sort করে .values দিয়ে পাশাপাশি বসানো, বা ভিন্ন index-এর Series যোগ করে NaN-কে 0 দিয়ে ঢেকে দেওয়া, কারণ জিজ্ঞাসা না করেই।
• ভুল পরিসংখ্যান: ID কলামের গড়, টাকায় float দিয়ে হিসাব করে পয়সার গরমিল, describe()-এর std আর NumPy-র std-কে এক ধরা। আর পরে model-এর কাজে পুরো ডেটার ওপর describe বা স্কেলিং করে তারপর train-test ভাগ করে data leakage ঘটানো।

AI-এর কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• নিজে চালিয়েছি; head(), shape আর dtypes দেখে মিলিয়েছি, আর দুটি সারির হিসাব হাতে করেছি
• import pandas as pd; pd.__version__ দেখে নিজের version-এর অফিসিয়াল docs-এ (pandas.pydata.org) প্রতিটি অচেনা method মিলিয়েছি
• কোথাও append, শিকলবাঁধা লেখা বা warning বন্ধ করার লাইন নেই; inplace=True-এর বদলে ফল নতুন নামে রাখা
• দুটি Series বা টেবিল জোড়ার পর অপ্রত্যাশিত NaN আছে কি না isna().sum() দিয়ে দেখেছি; NaN-কে 0 বসানো হলে তার কারণ লেখা আছে
• ID কলাম হিসাবে ঢোকেনি; টাকার হিসাব পূর্ণসংখ্যা পয়সায়; model-এর কাজ হলে train-test ভাগ সবকিছুর আগে
• ক্রেতার নাম, ফোন বা ঠিকানার মতো আসল ডেটা AI-তে পেস্ট করিনি; শুধু কলামের নাম আর বানানো কয়েকটি সারি দিয়েছি