বাছাই আর filter — loc, iloc, query আর boolean mask

পর্ব ২০ · pandas-এর শুরু — Series, DataFrame আর index-এ আপনি দেখেছেন, একটি DataFrame হলো কলামের একটি সংগ্রহ, যার প্রতিটি সারির একটি label আছে, আর সেই labelগুলোর সারিটিকে বলে index. পর্ব ২১-এ সেই টেবিল ফাইল থেকে পড়েছেন। এবার প্রশ্ন: পুরো টেবিল থেকে ঠিক যে সারি আর কলাম দরকার, সেগুলো কীভাবে তুলবেন, আর তোলার পর মান বদলালে মূল টেবিল বদলাবে কি না। NumPy-তে একই প্রশ্নের উত্তর আপনি পর্ব ১৪ · Indexing আর slicing — boolean mask, fancy index, view আর copy-তে দেখেছেন। pandas সেই ধারণাগুলো নেয়, কিন্তু দুটি বড় জায়গায় আলাদা: এখানে সারির নাম আছে, আর pandas 3-এ view-copy-র ধাঁধা একটি পরিষ্কার নিয়মে বদলে গেছে। এই পাতার সব কোড ব্রাউজারেই চলে, Pyodide-এর pandas 3.0.2 দিয়ে; প্রথমবার চালালে pandas নামতে কয়েক সেকেন্ড লাগতে পারে।

১ · বাজারঘরের অর্ডারের খাতা আর বাছাইয়ের চারটি দরজা

পাড়ার মুদি দোকানের বাকির খাতার কথা ভাবুন। প্রতিটি পাতায় একটি লাইন, প্রতিটি লাইনে ক্রেতার নাম, জিনিস, দাম। কাউকে খুঁজতে দুই উপায় আছে: “রহিম সাহেবের লাইন” (নাম দিয়ে), অথবা “ওপর থেকে তৃতীয় লাইন” (অবস্থান দিয়ে)। খাতার পাতা ছিঁড়ে নতুন করে সাজালে দ্বিতীয় উপায়ের উত্তর বদলে যায়, প্রথমটির নয়। pandas-এ এই দুই উপায়ের নাম loc (label দিয়ে) আর iloc (integer position দিয়ে)। আর বেশিরভাগ ভুলের শুরু হয় যখন দুটি একই রকম দেখায়।

এই পর্বের পুরো সময় আমরা বাজারঘরের (এই কোর্সের কাল্পনিক অনলাইন দোকান) অক্টোবরের প্রথম সপ্তাহের ১৪টি অর্ডার নিয়ে কাজ করব। ফাইলটি পাতার ভেতরেই রাখা, কোড তাকে orders.csv নামে পড়ে। টাকা সবসময় পূর্ণসংখ্যার paisa-তে (১ টাকা = ১০০ paisa), যাতে দশমিকের গোলমাল না হয়; ছাপার সময় শুধু টাকায় রূপান্তর। দুটি অর্ডারের delivery_days ফাঁকা, কারণ সেগুলো এখনো পৌঁছায়নি।

order_id,date,district,product,category,qty,price_paisa,delivery_days,payment,customer_id
1001,2026-10-01,ঢাকা,চা পাতা,মুদি,2,25000,1,bKash,C01
1002,2026-10-01,চট্টগ্রাম,পাঞ্জাবি,পোশাক,1,180000,3,COD,C02
1003,2026-10-02,ঢাকা,ইয়ারফোন,ইলেকট্রনিক্স,1,95000,2,bKash,C03
…   (মোট ১৪টি অর্ডার, 1001 থেকে 1014)
1006,2026-10-03,সিলেট,চার্জার,ইলেকট্রনিক্স,3,60000,,bKash,C05
…
1014,2026-10-07,সিলেট,শাড়ি,পোশাক,1,420000,5,bKash,C05

pd.read_csv("orders.csv") পড়লে pandas 3.0.2-এ কলামের dtype হয় এমন: order_id, qty, price_paisa হলো int64; delivery_days হলো float64, কারণ ফাঁকা ঘর NaN হিসেবে আসে আর NaN শুধু float-এ রাখা যায়; আর লেখার কলামগুলো (district, product, payment ইত্যাদি) নতুন str dtype. pandas 2-এর পুরোনো tutorial-এ এগুলো object দেখাত; pandas 3 থেকে লেখার জন্য আলাদা dtype default. index হলো RangeIndex(start=0, stop=14, step=1), মানে 0 থেকে 13 পর্যন্ত label, যা এখানে ঘটনাক্রমে position-এর সমান। এই “ঘটনাক্রমে সমান” কথাটিই পুরো পর্বের প্রথম ফাঁদ।

চারটি দরজা এক নজরে

একটি সূক্ষ্ম কথা: df["qty"] একটি Series দেয় (এক কলামের লেবেলযুক্ত তালিকা), কিন্তু df[["qty"]] দেয় এক কলামের DataFrame. বাইরের বন্ধনীটি “বাছাই”, ভেতরেরটি “তালিকা”। model-এ feature দেওয়ার সময় scikit-learn সাধারণত 2-D চায়, তাই df[["qty"]]; আর একটি কলামের গড় চাইলে df["qty"]. NumPy-র a[:, 0] বনাম a[:, 0:1]-এর পার্থক্যের মতোই।

আর df[...]-এর একটি বিভ্রান্তিকর দিক আছে: ভেতরে একটি নাম দিলে কলাম আসে, কিন্তু slice (df[2:4]) বা boolean mask (df[mask]) দিলে সারি আসে। একই বন্ধনী, দুই অর্থ। এই কারণে অনেক দল নিয়ম রাখে: কলামের জন্য df["col"], সারি বা সারি-কলাম একসঙ্গে হলে সবসময় loc বা iloc, স্পষ্ট করে।

২ · loc আর iloc — label বনাম position, আর শেষ সীমার চমক

iloc-এর নিয়ম আপনার চেনা: start:stop-এ start ধরা, stop বাদ, ঠিক Python list আর NumPy-র মতো। তাই df.iloc[2:4] মানে position 2 আর 3, দুটি সারি। stop − start = কয়টি সারি।

loc-এর নিয়ম আলাদা, আর প্রথমবার দেখলে সত্যিই চমকে দেয়: label slice-এ দুই প্রান্তই ধরা হয়। df.loc[2:4] মানে label 2, 3 আর 4, তিনটি সারি। কলামেও একই: df.loc[:, "district":"qty"] district, product, category আর qty, চারটি কলাম, qty-সহ।

কেন এমন? কারণ label সংখ্যা না-ও হতে পারে। ধরুন index হলো জেলার নাম, আর আপনি লিখলেন loc["খুলনা":"ঢাকা"]. “ঢাকা বাদ দিয়ে তার আগ পর্যন্ত” বলতে হলে আপনাকে জানতে হতো ঢাকার আগের label কোনটি, যা টেবিলের ভেতর না দেখে বলা যায় না। সংখ্যার ক্ষেত্রেও একই সমস্যা: index 1001, 1003, 1010 হলে “1010-এর আগেরটি” কোনটি? তাই pandas-এর নকশা বলে: আপনি যে দুটি label লিখেছেন, দুটিই আপনি চান। pandas-এর docs-এ এটি স্পষ্ট লেখা: label slice-এ start আর stop দুটিই অন্তর্ভুক্ত।

নিচের ধাপে একটি ছোট টেবিলে দুটি নিয়ম পাশাপাশি দেখুন। এখানে o = df.set_index("order_id").head(6), মানে set_index দিয়ে order_id-কে সারির label বানানো হয়েছে, তাই label (1001 …) আর position (0 …) এখন আলাদা সংখ্যা। “পরে” চাপুন।

চালিয়ে দেখুন — একই টেবিলে loc, iloc, at আর iat

import pandas as pd
pd.set_option("display.width", 60)
df = pd.read_csv("orders.csv")
print(df.shape, "| index:", df.index)

print("loc[2:4]  ->", df.loc[2:4, "order_id"].tolist())
print("iloc[2:4] ->", df.iloc[2:4, 0].tolist())

print(df.loc[2:4, "district":"qty"])     # দুই দিকেই শেষটি ধরা
print(df.iloc[2:4, 2:5])                 # দুই দিকেই শেষটি বাদ

o = df.set_index("order_id")             # index এখন order_id
print(o.loc[1003:1005, ["district", "payment"]])
print("at :", o.at[1005, "product"], "| iat:", df.iat[4, 3])
print(type(df["qty"]).__name__, type(df[["qty"]]).__name__)

try:
    df.loc[1003]                         # 1003 এখানে label নয়
except KeyError as e:
    print("KeyError:", e)

(14, 10) | index: RangeIndex(start=0, stop=14, step=1)
loc[2:4]  -> [1003, 1004, 1005]
iloc[2:4] -> [1003, 1004]
  district     product      category  qty
2     ঢাকা    ইয়ারফোন  ইলেকট্রনিক্স    1
3    খুলনা  সরিষার তেল          মুদি    3
4     ঢাকা       শাড়ি         পোশাক    1
  district     product      category
2     ঢাকা    ইয়ারফোন  ইলেকট্রনিক্স
3    খুলনা  সরিষার তেল          মুদি
         district payment
order_id
1003         ঢাকা   bKash
1004        খুলনা     COD
1005         ঢাকা    card
at : শাড়ি | iat: শাড়ি
Series DataFrame
KeyError: 1003

at আর iat কখন

at/iat শুধু একটি ঘরের জন্য, আর loc/iloc-এর চেয়ে দ্রুত, কারণ slice বা তালিকা আছে কি না যাচাইয়ের ধাপগুলো বাদ দেয়। loop-এর ভেতরে বারবার একটি ঘর পড়তে হলে কাজে লাগে, যদিও pandas-এ loop নিজেই প্রায়ই ধীর পথ (পর্ব ২৭-এ এর মাপজোখ আসবে)। at দিয়ে লেখাও যায়: o.at[1006, "delivery_days"] = 4.

৩ · সারি আর কলাম একসঙ্গে, আর set_index-এর পর বাছাই

loc আর iloc দুটিই কমা দিয়ে দুটি নির্দেশ নেয়: বাঁয়ে সারি, ডানে কলাম। প্রতিটি জায়গায় চার রকম জিনিস বসতে পারে: একটি label বা position, একটি তালিকা, একটি slice, বা একটি boolean mask. কিছু উদাহরণ, মূল df-এ (RangeIndex):

df.loc[[0, 2], ["order_id", "product"]]      # সারি 0 আর 2, দুটি কলাম
df.loc[df["qty"] > 2, "order_id"]            # mask দিয়ে সারি, একটি কলাম
df.iloc[-3:, -2:]                            # শেষ ৩ সারি, শেষ ২ কলাম
df.loc[:, df.columns.str.startswith("p")]    # নাম 'p' দিয়ে শুরু এমন কলাম
# → ['product', 'price_paisa', 'payment']

শেষ লাইনটি দেখায়, কলামের দিকেও mask চলে: df.columns নিজেই একটি Index, তার ওপর str.startswith একটি True/False তালিকা দেয়। একটি নিয়ম মনে রাখুন: একটি জায়গায় একক label দিলে সেই দিকটি “নেমে যায়”। df.loc[0] একটি Series (এক সারি), df.loc[0, "qty"] একটি একক মান, আর df.loc[[0]] এক সারির DataFrame. NumPy-র নিয়মের মতোই: integer দিলে দিক হারায়, তালিকা বা slice দিলে থাকে।

set_index — একটি কলামকে সারির নাম বানানো

অর্ডার নম্বর দিয়ে বারবার খুঁজতে হলে o = df.set_index("order_id") সুবিধার: এরপর o.loc[1005] সরাসরি সেই অর্ডার। পর্ব ২০-এ index কী আর কেন, তা দেখেছেন; এখানে শুধু বাছাইয়ের দিক। এটি একটি নতুন DataFrame দেয়, মূল df বদলায় না; ফেরাতে o.reset_index().

Label দিয়ে খোঁজার তিনটি ফাঁদ আছে, যেগুলো আমরা ডেস্কটপে সত্যিকারের run-এ দেখেছি (Python 3.14.4, pandas 3.0.2, একই orders.csv):

>>> o2 = df.set_index("order_id").sort_values("price_paisa")
>>> o2.index.tolist()
[1008, 1001, 1010, 1013, 1004, 1007, 1006, 1003, 1012, 1011, 1002, 1009, 1005, 1014]
>>> o2.loc[1003:1005].index.tolist()
[1003, 1012, 1011, 1002, 1009, 1005]
>>> o2.loc[1003:1099]
KeyError: 'Cannot get right slice bound for non-monotonic index with a missing label 1099. Either sort the index or specify an existing label.'

>>> d = df.set_index("district")
>>> d.loc["ঢাকা":"খুলনা"]
KeyError: "Cannot get left slice bound for non-unique label: 'ঢাকা'"
>>> type(d.loc["রাজশাহী"]).__name__, type(d.loc["ঢাকা"]).__name__
('Series', 'DataFrame')

• অসাজানো index-এ slice মানে “এই label থেকে ওই label পর্যন্ত যা আছে”, সংখ্যার মাঝামাঝি নয়। দামে সাজানোর পর o2.loc[1003:1005] ছয়টি সারি দিয়েছে, যার মধ্যে 1011, 1012 আর 1009-ও আছে, কারণ সাজানো টেবিলে এরা 1003 আর 1005-এর মাঝখানে বসেছে। আর এমন index-এ টেবিলে নেই এমন label (1099) দিলে pandas থেমে যায়। সমাধান: আগে o2.sort_index(), অথবা slice নয়, mask (o2.index.to_series().between(1003, 1005)).
• পুনরাবৃত্ত label-এ slice-এর শুরু অস্পষ্ট। ঢাকা সাতবার আছে, কোন ঢাকা থেকে শুরু? pandas error দেয়। d.sort_index() করলে একই label পাশাপাশি আসে, তখন slice চলে।
• ফলের ধরন ডেটার ওপর নির্ভর করে। রাজশাহী একবার আছে, তাই d.loc["রাজশাহী"] একটি Series; ঢাকা সাতবার, তাই একটি DataFrame. একই কোড এক মাসের ডেটায় Series, পরের মাসে DataFrame দিতে পারে। যে কোড একটি নির্দিষ্ট ধরন ধরে নেয়, সে তখন ভাঙে। নিশ্চিত থাকতে d.loc[["রাজশাহী"]] (তালিকা) লিখুন, তাতে সবসময় DataFrame আসে; আর index অনন্য কি না দেখতে d.index.is_unique.

৪ · Boolean mask — &, |, ~ আর বন্ধনী

ধরুন বাজারঘরের মার্কেটিং দল জানতে চায়: “ঢাকায় bKash দিয়ে কেনা ৫০০ টাকার বেশি দামের অর্ডার কোনগুলো?” এটি তিনটি শর্তের একটি filter. pandas-এ ধারণাটি পর্ব ১৪-এর NumPy mask-এর মতোই: প্রতিটি শর্ত প্রতিটি সারির জন্য একটি True বা False দেয়, মানে টেবিলের সমান দৈর্ঘ্যের একটি bool Series. তফাত একটি: pandas-এর mask-এর সঙ্গে index থাকে, আর df[mask] বা df.loc[mask] সেই index মিলিয়ে সারি বাছে।

জোড়া লাগানোর নিয়মও NumPy-র: “এবং” &, “অথবা” |, “না” ~, আর প্রতিটি তুলনা বন্ধনীতে। কারণটিও একই: Python-এ &-এর অগ্রাধিকার == আর >-এর চেয়ে বেশি, আর and পুরো Series-কে একটি একক True বা False-এ নামাতে চায়। নিচের ধাপে প্রথম ছয়টি অর্ডারে দুটি শর্ত জুড়ে দেখুন।

1d = df.head(6)2b = d["payment"] == "bKash"3k = d["district"] == "ঢাকা"4m = b & k5d.loc[m, "order_id"].tolist()6d.loc[~m, "order_id"].tolist()

চালিয়ে দেখুন — ঢাকার bKash অর্ডার, mask আর query দুইভাবে

import pandas as pd
pd.set_option("display.width", 60)
df = pd.read_csv("orders.csv")
limit = 50000                            # ৫০০ টাকা, paisa-তে

is_bkash = df["payment"] == "bKash"
is_dhaka = df["district"] == "ঢাকা"
pricey = df["price_paisa"] > limit
m = is_bkash & is_dhaka & pricey
print("True গোনা:", is_bkash.sum(), is_dhaka.sum(), pricey.sum(), "->", m.sum())
print(df.loc[m, ["order_id", "product", "price_paisa"]])

q = df.query("payment == 'bKash' and district == 'ঢাকা'"
             " and price_paisa > @limit")
print("query একই?", q.equals(df[m]))

print("না-bKash:", df.loc[~is_bkash, "order_id"].tolist())
print("ঢাকায় COD বা card:",
      df.loc[is_dhaka & ~is_bkash, "order_id"].tolist())

try:
    df[is_bkash and is_dhaka]
except ValueError as e:
    print("and ->", e)

try:
    df[df["payment"] == "bKash" & df["qty"] > 2]
except TypeError as e:
    print("বন্ধনী ছাড়া ->", type(e).__name__)

True গোনা: 8 7 8 -> 2
   order_id       product  price_paisa
2      1003      ইয়ারফোন        95000
8      1009  স্মার্টওয়াচ       250000
query একই? True
না-bKash: [1002, 1004, 1005, 1008, 1011, 1012]
ঢাকায় COD বা card: [1005, 1011]
and -> The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().
বন্ধনী ছাড়া -> TypeError

৫ · isin, between আর str — তালিকা, সীমা আর বাংলা লেখায় খোঁজা

অনেক শর্ত বারবার একই রূপে আসে, আর pandas তাদের জন্য ছোট method দেয়, যা পড়তে সহজ আর ভুলের সুযোগ কম।

isin — “এই তালিকার যেকোনো একটি”। (df.district == "ঢাকা") | (df.district == "সিলেট")-এর বদলে df["district"].isin(["ঢাকা", "সিলেট"]). বাজারঘরের ডেটায় এটি ৯টি সারিতে True. উল্টো চাইলে ~df["district"].isin([...]).

between — “এই দুই সীমার মাঝে”। df["price_paisa"].between(30000, 95000) মানে 30000 ≤ দাম ≤ 95000; default-এ দুই প্রান্তই ধরা (inclusive="both"). আমাদের run-এ এটি অর্ডার 1003, 1004, 1006, 1007, 1012, 1013 দিয়েছে। inclusive="left" দিলে 95000 বাদ পড়ে, আর 1003 ও 1012 চলে যায়। দাম বা নম্বরের সীমায় এক প্রান্ত ধরা হবে কি না, কাজের নিয়ম থেকে ঠিক করুন, আর কোডে স্পষ্ট লিখুন।

বাংলা লেখায় str.contains আর str.startswith

লেখার কলামে .str দিয়ে Python-এর string method পুরো কলামে একসঙ্গে চলে: str.contains, str.startswith, str.endswith, str.lower, str.split ইত্যাদি। pandas 3-এর নতুন str dtype-এ এগুলো আগের চেয়ে পরিষ্কার আচরণ করে: ফাঁকা ঘরে str.contains সরাসরি False দেয়, তাই ফল একটি খাঁটি bool mask. পুরোনো object কলামে ফাঁকা ঘরে NaN আসত, আর সেই mask দিয়ে বাছাই করতে গেলে error হতো, তাই পুরোনো কোডে na=False লেখার অভ্যাস দেখবেন।

এবার বাংলা লেখার একটি বাস্তব ফাঁদ। ধরুন আপনি “চা” বিক্রির হিসাব চান। নিচে ডেস্কটপে সত্যিকারের run (Python 3.14.4, pandas 3.0.2):

>>> p = df["product"]
>>> p.dtype
str
>>> p[p.str.contains("চা")].tolist()
['চা পাতা', 'চার্জার', 'মিনিকেট চাল', 'চা পাতা']
>>> p[p.str.startswith("চা")].tolist()
['চা পাতা', 'চার্জার', 'চা পাতা']
>>> p[p.str.split().str[0] == "চা"].tolist()
['চা পাতা', 'চা পাতা']
>>> p[p.str.match(r"চা\b")].tolist()
['চার্জার']

চারটি লাইন, চারটি শিক্ষা। contains("চা") অক্ষরের টুকরো খোঁজে, শব্দ নয়: “চার্জার” আর “মিনিকেট চাল”-এর ভেতরেও “চা” আছে, তাই চায়ের বিক্রি দ্বিগুণ দেখাবে। startswith চাল বাদ দেয়, কিন্তু চার্জার রাখে। শব্দ ধরে মেলাতে প্রথম শব্দ আলাদা করে পুরো মিল (str.split().str[0] == "চা") বা পুরো নাম মেলানো (p == "চা পাতা") নিরাপদ। শেষ লাইনটি সবচেয়ে অবাক করা: regular expression-এর \b (শব্দের সীমা) উল্টো ফল দিয়েছে, শুধু চার্জার! কারণ Python-এর re “া” (আ-কার, U+09BE)-কে শব্দের অক্ষর ধরে না ("া".isalnum() হলো False), তাই “চা” আর “র”-এর মাঝে সে একটি শব্দসীমা দেখে, আর “চা” আর ফাঁকা জায়গার মাঝে দেখে না। ইংরেজির জন্য লেখা regex-এর অভ্যাস বাংলায় চুপচাপ ভেঙে যায়।

৬ · query() — শর্তকে বাক্যের মতো লেখা

query() একটি শর্তকে string হিসেবে নেয় আর ভেতরে নিজেই mask বানায়। অংশ ৪-এর কোডে দেখেছেন, দুটি ফল হুবহু এক (q.equals(df[m]) True). পার্থক্য শুধু লেখায়:

# mask
df[(df["payment"] == "bKash") & (df["district"] == "ঢাকা") & (df["price_paisa"] > limit)]
# query
df.query("payment == 'bKash' and district == 'ঢাকা' and price_paisa > @limit")

লক্ষ করুন চারটি নিয়ম। (১) string-এর ভেতরে কলামের নাম সরাসরি, df[...] ছাড়া। (২) and, or, not এখানে চলে (pandas নিজে এগুলোকে &, |, ~-এ বদলে নেয়), আর তুলনার অগ্রাধিকারও স্বাভাবিক, তাই বন্ধনীর ফাঁদ নেই। (৩) Python-এর কোনো variable ব্যবহার করতে নামের আগে @: @limit. @ ছাড়া লিখলে pandas limit নামের কলাম খুঁজবে। (৪) কলামের নামে ফাঁকা জায়গা বা অদ্ভুত চিহ্ন থাকলে backtick: `unit price` > 100. তালিকার জন্য in চলে: df.query("district in ['সিলেট', 'খুলনা']") আমাদের run-এ 1004, 1006, 1012, 1014 দিয়েছে।

কখন query, কখন mask

গতি নিয়ে প্রচলিত কথা হলো query দ্রুত। আংশিক সত্য: numexpr package বসানো থাকলে খুব বড় টেবিলে কিছু শর্ত দ্রুত হতে পারে, ছোট টেবিলে বরং ধীর। তাই পড়ার সুবিধার জন্য query বেছে নিন, গতির জন্য নয়; গতি জরুরি হলে নিজের ডেটায় মাপুন (পর্ব ২৭)।

৭ · মান বসানো — loc, Copy-on-Write আর chained assignment

পড়ার চেয়ে লেখা কঠিন। বাজারঘর ঠিক করেছে, ৩টি বা বেশি জিনিসের অর্ডারে ফ্রি ডেলিভারি। একটি নতুন কলাম free_ship, সবার জন্য 0, আর বড় অর্ডারে 1. প্রথম যে লেখাটি মাথায় আসে, তা হলো “বড় অর্ডারগুলো নেওয়া, তারপর তাদের free_ship-এ 1 বসানো”: df[big]["free_ship"] = 1. এটি দুই ধাপের লেখা, যার নাম chained assignment, আর pandas 3-এ এটি কখনো মূল টেবিল বদলায় না।

চায়ের দোকানের হিসাবের খাতার কথা ভাবুন। মালিক একটি পাতার ফটোকপি দিলেন, আপনি তাতে টিক দিলেন; আসল খাতায় কোনো টিক পড়ল না। df[big] হলো সেই নামহীন ফটোকপি, আর ["free_ship"] = 1 তাতে লিখে তা ফেলে দেয়।

pandas 3-এর নিয়ম: Copy-on-Write

pandas 2 পর্যন্ত এই প্রশ্নের উত্তর ছিল জটিল: কোনো বাছাই view দিত (তখন লেখা মূলে পৌঁছাত), কোনোটি copy (পৌঁছাত না), আর কোনটি কী, তা নির্ভর করত ভেতরের memory বিন্যাসের ওপর। সন্দেহ হলে pandas একটি SettingWithCopyWarning দিত। pandas 3.0 এই অনিশ্চয়তা পুরো সরিয়ে দিয়েছে Copy-on-Write (CoW) দিয়ে, আর এখন এটি বন্ধ করার কোনো উপায়ও নেই। নিয়ম মাত্র দুটি:

1. যেকোনো বাছাই বা method-এর ফল আচরণে সবসময় একটি আলাদা object, একটি নতুন DataFrame বা Series. তাতে লিখলে মূলটি কখনো বদলায় না।
2. ভেতরে memory তখনই কপি হয়, যখন কেউ লেখে। col = df["qty"] লিখলে শুরুতে col আর df একই memory ভাগ করে (আমাদের ডেস্কটপ run-এ np.shares_memory True দিয়েছে), তাই বাছাই সস্তা। col.iloc[0] = 99 লেখার মুহূর্তে pandas col-এর জন্য নিজস্ব copy বানায়; df.loc[0, "qty"] আগের মতো 2 থাকে, আর memory আর ভাগ হয় না। “ভাগ করে রাখা, লেখার সময় কপি করা” — নামটি এখান থেকেই।

এর ফল: chained assignment-এর প্রথম ধাপ সবসময় একটি আলাদা object, তাই দ্বিতীয় ধাপের লেখা কখনো মূলে পৌঁছায় না। কোন টেবিল বদলাতে চান, সেটিকে সরাসরি এক ধাপে লিখতে হবে: df.loc[সারি, কলাম] = মান. নিচের ধাপে ভেতরের ঘটনাটি দেখুন।

1big = df["qty"] > 2        # ৫টি True2tmp = df[big]              # নতুন DataFrame3tmp["free_ship"] = 14df["free_ship"].sum()5df.loc[big, "free_ship"] = 16col = df["qty"]; col.iloc[0] = 99

চালিয়ে দেখুন — chained assignment-এর ফাঁদ আর loc-এর সমাধান

নিচের কোড ইচ্ছা করে দুটি ভুল লেখা চালায়, তাই pandas সতর্কবার্তা দেবে; সেটিই দেখানোর বিষয়।

import pandas as pd
df = pd.read_csv("orders.csv")
df["free_ship"] = 0                      # নতুন কলাম, সবাই 0
big = df["qty"] > 2                      # ৩টি বা বেশি জিনিস

# ভুল: দুই ধাপের (chained) assignment
df[big]["free_ship"] = 1
print("chained-এর পর:", df["free_ship"].sum(), "টি 1")

# আরেক রূপ: প্রথমে কলাম, তারপর সারি
df["free_ship"][big] = 1
print("দ্বিতীয় রূপের পর:", df["free_ship"].sum(), "টি 1")

# ঠিক: এক ধাপে, loc[সারি, কলাম]
df.loc[big, "free_ship"] = 1
print("loc-এর পর:", df["free_ship"].sum(), "টি 1")
print(df.loc[big, ["order_id", "qty", "free_ship"]])

# আলাদা নাম দিলে: নিজস্ব DataFrame, মূলটি অক্ষত
dhaka = df[df["district"] == "ঢাকা"]
dhaka["note"] = "ঢাকা"                   # কোনো সতর্কবার্তা নেই
print("df-এ note আছে?", "note" in df.columns)
print("pandas", pd.__version__)

main.py:7: ChainedAssignmentError: A value is being set on a copy of a DataFrame or Series through chained assignment.
Such chained assignment never works to update the original DataFrame or Series, because the intermediate object on which we are setting values always behaves as a copy (due to Copy-on-Write).

Try using '.loc[row_indexer, col_indexer] = value' instead, to perform the assignment in a single step.

See the documentation for a more detailed explanation: https://pandas.pydata.org/pandas-docs/stable/user_guide/copy_on_write.html#chained-assignment
  df[big]["free_ship"] = 1
chained-এর পর: 0 টি 1
main.py:11: ChainedAssignmentError: A value is being set on a copy … (একই বার্তা)
  df["free_ship"][big] = 1
দ্বিতীয় রূপের পর: 0 টি 1
loc-এর পর: 5 টি 1
    order_id  qty  free_ship
3       1004    3          1
5       1006    3          1
7       1008    5          1
9       1010    4          1
12      1013    3          1
df-এ note আছে? False
pandas 3.0.2

where আর mask — শর্ত দিয়ে মান রাখা বা বদলানো

কখনো সারি ছাঁকা নয়, শর্ত না মানা মানগুলো বদলানো দরকার, কিন্তু টেবিলের আকার আর ক্রম অক্ষত রেখে। এর জন্য দুটি method, যাদের অর্থ একে অপরের উল্টো (NumPy-র np.where-এর তিন-argument রূপের কাছাকাছি):

• s.where(শর্ত, other): শর্ত True হলে মান রাখে, False হলে other বসায় (না দিলে NaN).
• s.mask(শর্ত, other): শর্ত True হলে মান বদলায়, False হলে রাখে।

>>> p = df["price_paisa"]
>>> p.where(p < 200000).tolist()[:6]
[25000.0, 180000.0, 95000.0, 32000.0, nan, 60000.0]
>>> p.mask(p > 200000, 200000).tolist()[:6]
[25000, 180000, 95000, 32000, 200000, 60000]

(ডেস্কটপে সত্যিকারের run, pandas 3.0.2.) প্রথমটিতে ৩৫০০ টাকার শাড়ি (350000 paisa) NaN হয়ে গেছে, আর পুরো কলাম int থেকে float হয়েছে, কারণ NaN শুধু float-এ থাকে; এটি একটি নিঃশব্দ dtype বদল। দ্বিতীয়টি দাম কেটে ২০০০ টাকায় আনে, int অক্ষত। দুটিই নতুন Series দেয়; মূলে রাখতে চাইলে df["price_capped"] = p.mask(...), নতুন কলামে, যাতে আসল দাম হারিয়ে না যায়। একটি কলামের কিছু মান সরাসরি বদলাতে চাইলে সেই পরিচিত পথ: df.loc[p > 200000, "price_paisa"] = 200000.

৮ · সাজানো, সেরা k-টি, নমুনা আর ধরন ধরে কলাম

ক্রিকেটের স্কোরকার্ডে ব্যাটারদের রান অনুযায়ী সাজানো এক কাজ, আর “সেরা পাঁচজন” বাছাই আরেক কাজ, যদিও প্রথমটি দিয়ে দ্বিতীয়টি করা যায়। pandas-এ দুটির জন্যই আলাদা method আছে, আর সমান রানের দুজন থাকলে কে তালিকায় ঢুকবে, সেই প্রশ্নে দুটির আচরণ আলাদা।

sort_values. df.sort_values("total", ascending=False) মোট দামে বড় থেকে ছোট। একাধিক key দিতে তালিকা: sort_values(["district", "total"], ascending=[True, False]) মানে আগে জেলা ক-থেকে-হ, একই জেলার ভেতরে মোট দাম বড় থেকে ছোট। বাংলা লেখার ক্রম এখানে Unicode code point-এর ক্রম, যা বাংলা বর্ণমালার ক্রমের কাছাকাছি, কিন্তু যুক্তাক্ষর আর কার-চিহ্নে সবসময় অভিধানের ক্রম নয়। ফাঁকা মান default-এ শেষে যায়; na_position="first" দিলে শুরুতে, যা “কোন অর্ডার এখনো পৌঁছায়নি” আগে দেখাতে কাজের। সাজানোর পর index-এর label সারির সঙ্গে যায়, তাই loc আর iloc ভিন্ন সারি দেখায় (অংশ ৩)।

nlargest আর nsmallest. df.nlargest(5, "total") মোট দামে সেরা পাঁচটি সারি দেয়। pandas-এর docs বলে এটি sort_values(ascending=False).head(5)-এর মতো, কিন্তু বেশি কার্যকর, কারণ পুরো টেবিল সাজায় না, শুধু সেরা k-টি আলাদা করে (পর্ব ১৪-এর argpartition-এর মতো ধারণা)। আর keep parameter দিয়ে সমান মানের নিয়ম স্পষ্ট বলা যায়: "first" (default, টেবিলে আগে থাকা সারিটি), "last", বা "all" (সীমায় সমান সবগুলো, তাতে k-এর বেশি সারি আসতে পারে)। নিচের কোডে বাজারঘরের ডেটায় ঠিক এমন একটি সমতা আছে: অর্ডার 1002 আর 1006 দুটিরই মোট 180000 paisa, আর সেটি পঞ্চম স্থানে।

import pandas as pd
pd.set_option("display.width", 60)
df = pd.read_csv("orders.csv")
df["total"] = df["qty"] * df["price_paisa"]       # paisa
show = ["order_id", "district", "total"]

print(df.nlargest(5, "total")[show])
a = df.nlargest(5, "total")["order_id"].tolist()
b = df.sort_values("total", ascending=False).head(5)["order_id"].tolist()
c = df.sort_values("total", ascending=False,
                   kind="stable").head(5)["order_id"].tolist()
print("nlargest      :", a)
print("sort+head     :", b)
print("sort(stable)  :", c)
print("keep='all'    :", df.nlargest(5, "total", keep="all")["order_id"].tolist())

s = df.sort_values(["district", "total"], ascending=[True, False])
print(s[show].head(4))
late = df.sort_values("delivery_days", ascending=False, na_position="first")
print("delivery_days:", late["delivery_days"].head(4).tolist())

print("sample:", df.sample(3, random_state=42)["order_id"].tolist(),
      df.sample(3, random_state=42)["order_id"].tolist())
print("number:", df.select_dtypes("number").columns.tolist())
print("str   :", df.select_dtypes("str").columns.tolist()[:3], "…")
top = df.nlargest(1, "total").iloc[0]
print(f"সেরা অর্ডার {top['order_id']}: ৳{top['total'] / 100:,.0f}")

    order_id   district   total
13      1014      সিলেট  420000
4       1005       ঢাকা  350000
10      1011       ঢাকা  320000
8       1009       ঢাকা  250000
1       1002  চট্টগ্রাম  180000
nlargest      : [1014, 1005, 1011, 1009, 1002]
sort+head     : [1014, 1005, 1011, 1009, 1002]
sort(stable)  : [1014, 1005, 1011, 1009, 1002]
keep='all'    : [1014, 1005, 1011, 1009, 1002, 1006]
    order_id   district   total
3       1004      খুলনা   96000
11      1012      খুলনা   95000
1       1002  চট্টগ্রাম  180000
9       1010  চট্টগ্রাম  100000
delivery_days: [nan, nan, 5.0, 4.0]
sample: [1010, 1012, 1001] [1010, 1012, 1001]
number: ['order_id', 'qty', 'price_paisa', 'delivery_days', 'total']
str   : ['date', 'district', 'product'] …
সেরা অর্ডার 1014: ৳4,200

sort+head     : [1014, 1005, 1011, 1009, 1006]

sample আর select_dtypes

sample এলোমেলো সারি তোলে: df.sample(3, random_state=42) তিনটি, df.sample(frac=0.25, random_state=42) মোটের ২৫% (১৪-র ২৫% হলো ৩.৫, pandas round করে ৪টি দিয়েছে, আমাদের ডেস্কটপ run-এ 1010, 1012, 1001, 1013). random_state ছাড়া প্রতিবার ভিন্ন নমুনা আসে, আর তখন কোনো ফল অন্য কেউ পুনরুৎপাদন করতে পারে না; পর্ব ১১-এর seed-এর নিয়ম এখানেও। model-এর train আর test ভাগ করতে নিজে sample জোড়াতালি না দিয়ে পরে scikit-learn-এর train_test_split ব্যবহার করুন।

select_dtypes নাম নয়, ধরন দেখে কলাম বাছে: df.select_dtypes("number") সব সংখ্যার কলাম, df.select_dtypes("str") pandas 3-এর সব লেখার কলাম, আর exclude= দিয়ে উল্টোটা। সাবধান: order_id সংখ্যা হলেও feature নয়, শুধু একটি পরিচয়; “সব সংখ্যার কলাম” model-এ দিলে সে অর্থহীন order_id থেকেও প্যাটার্ন শিখতে চেষ্টা করবে। ধরন দিয়ে বাছার পর তালিকাটি একবার চোখে দেখে নিন।

৯ · AI-এর যুগে — AI সহকারীর pandas বাছাইয়ের কোড যাচাই

“ঢাকার bKash অর্ডারগুলোর ডেলিভারি দিন ০ করার কোড চাই” লিখলে একটি AI সহকারী সাথে সাথে pandas কোড দেবে। pandas-এর বিপুল পুরোনো কোড আর tutorial থেকে শেখা বলে এই বিষয়ে AI-এর ভুলের একটি চেনা ধরন আছে, আর বেশিরভাগ ভুল কোড চলে, error দেয় না:

• পুরোনো pandas-এর অভ্যাস: chained assignment (df[mask]["col"] = x), inplace=True দিয়ে বাছাইয়ের ফল বদলানো, SettingWithCopyWarning চাপা দেওয়ার পরামর্শ (pandas 3-এ সেই সতর্কবার্তাই নেই), pd.options.mode.copy_on_write = True লেখা, বা সরিয়ে দেওয়া .ix আর DataFrame.append.
• লেখার কলামকে object ধরে নেওয়া: df.select_dtypes("object") দিয়ে লেখার কলাম খোঁজা, যা pandas 3-এর str কলাম বাদ দিতে পারে; বা dtype == object দিয়ে শর্ত লেখা।
• loc আর iloc গুলিয়ে ফেলা: সাজানো বা ছাঁকা টেবিলে df.loc[0] লিখে “প্রথম সারি” ধরে নেওয়া, বা “শেষ সীমা বাদ” ভেবে loc-এর slice-এ এক কম লেখা।
• বাংলা লেখায় ইংরেজির অভ্যাস: str.contains("চা") দিয়ে শব্দ খোঁজা, \b দিয়ে শব্দের সীমা, normalization ছাড়া তুলনা; আর শর্তে “Dhaka” লেখা, অথচ ডেটায় “ঢাকা”, যার ফল চুপচাপ শূন্য সারি।
• ভুল প্রক্রিয়া: পুরো ডেটার ওপর nlargest বা filter দিয়ে “সেরা” গ্রাহক বেছে তারপর train-test ভাগ করা, যা data leakage; বা সমান মানে কোন সারি আসবে, তা না ভেবে “সেরা ১০” রিপোর্ট করা।

AI-এর কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• নিজে চালিয়েছি, প্রতিটি mask-এর .sum() আর ফলের .shape দেখেছি, আর ২–৩টি সারি হাতে মিলিয়েছি
• কোথাও df[...][...] = x নেই; সব লেখা df.loc[সারি, কলাম] = x রূপে, আর লেখার পর মূল টেবিলে মান সত্যিই বদলেছে কি না যাচাই করেছি
• loc আর iloc-এর slice-এ শেষ সীমা ঠিক আছে; সাজানো বা ছাঁকা টেবিলে “প্রথম সারি” চাইলে iloc[0], loc[0] নয়
• বাংলা লেখার শর্তে শব্দ ধরে মিল, normalization আর ফাঁকা জায়গা ভেবেছি; শর্তের মান ডেটার আসল বানানের সঙ্গে মিলিয়েছি (শূন্য সারি এলে সন্দেহ করেছি)
• প্রতিটি অচেনা method আর parameter নিজের pandas version-এর অফিসিয়াল docs-এ (pandas.pydata.org) মিলিয়েছি; pd.__version__ ছেপে রেখেছি
• কোনো warning লুকানো হয়নি; top-k-এ সমান মানের নিয়ম লেখা আছে; filter বা ranking train-test ভাগের পরে, আর আসল গ্রাহকের নাম-ফোন AI-তে পেস্ট করিনি