ডেটা সায়েন্সের প্রথম ধাপ — NumPy আর pandas

১ · ডেটা সায়েন্স মানে ডেটাকে প্রশ্ন করা

একটি স্কুলের প্রধান শিক্ষক জানতে চান: “এবার কোন বিষয়ে ছাত্রছাত্রীরা সবচেয়ে দুর্বল? কতজন সব বিষয়ে পাস করেছে?” একটি দোকানের মালিক জানতে চান: “কোন জেলায় বিক্রি সবচেয়ে বেশি, আর গত মাসের চেয়ে বাড়ল না কমল?” একজন কৃষি কর্মকর্তা জানতে চান: “কোন বিভাগে বৃষ্টি সবচেয়ে কম, সেখানে সেচের জন্য আগে প্রস্তুতি লাগবে কি?” তিনটি প্রশ্নেরই উত্তর লুকিয়ে আছে কোনো টেবিলে — মার্কশিটে, বিক্রির খাতায়, আবহাওয়ার রেকর্ডে।

ডেটা সায়েন্স-এর মূল কথা এটুকুই: ডেটাকে প্রশ্ন করা, আর বিশ্বাসযোগ্য উত্তর বের করা. নামটা ভারী শোনালেও কাজের শুরু খুব সাধারণ — যোগ, গড়, সর্বোচ্চ, গণনা, দলে ভাগ। পার্থক্য হলো আকারে। ৫০ জন ছাত্রের নম্বর হাতে বা Excel-এ হিসাব করা যায়। কিন্তু সারা দেশের লাখো পরীক্ষার্থী, একটি সুপারশপের পাঁচ বছরের প্রতিটি বিক্রি, বা প্রতি ঘণ্টার আবহাওয়ার রেকর্ড — তখন প্রোগ্রাম লাগে। আর প্রোগ্রাম লিখতে হয় এমনভাবে, যাতে কাল নতুন ডেটা এলে একই বিশ্লেষণ আবার এক ক্লিকে চলে।

কাজের ছয় ধাপ

অভিজ্ঞ ডেটা বিশ্লেষকরা প্রায় সবসময় একই পথে হাঁটেন। পথটা সোজা লাইন নয় — প্রায়ই মাঝখান থেকে আগের ধাপে ফিরতে হয় — কিন্তু ধাপগুলো চেনা থাকলে কোথায় আটকে আছেন বোঝা সহজ হয়:

তৃতীয় ধাপটি, data cleaning, শুনতে সবচেয়ে কম আকর্ষণীয়, কিন্তু বাস্তবে সবচেয়ে বেশি সময় নেয়। চতুর্থ ধাপকে বলা হয় EDA — exploratory data analysis, ডেটার সাথে প্রথম পরিচয়। এই পর্বে আপনি দ্বিতীয় থেকে পঞ্চম ধাপের যন্ত্রপাতি দেখবেন। প্রথম আর ষষ্ঠ ধাপে কোনো লাইব্রেরি সাহায্য করে না — ভালো প্রশ্ন আর সৎ উপস্থাপন মানুষের কাজ।

২ · আগে শুধু Python দিয়ে — csv আর statistics

লাইব্রেরি কী সমস্যা মেটায়, তা বুঝতে হলে আগে লাইব্রেরি ছাড়া কাজটা করে দেখা ভালো। পর্ব ২৬-এ csv.DictReader শিখেছেন, আর পর্ব ২৭-এ standard library-র ভ্রমণে statistics module-এর দেখা পেয়েছেন। এবার একটি স্কুলের পাঁচজন ছাত্রছাত্রীর মার্কশিট নিয়ে তিনটি প্রশ্নের উত্তর খুঁজি: প্রতিটি বিষয়ের গড়, মোট নম্বরে প্রথম কে, আর পাসের হার (এখানে প্রতিটি বিষয়ে ৩৩ বা তার বেশি পেলে পাস ধরা হয়েছে)। নম্বরগুলো শেখার জন্য বানানো। কোডটি এই পাতাতেই চালাতে পারবেন:

import csv
import io
import statistics

data = """name,bangla,english,math
Riya,78,85,91
Joy,65,58,72
Tania,88,92,95
Sakib,45,38,28
Nadia,82,79,85
"""
rows = list(csv.DictReader(io.StringIO(data)))
subjects = ["bangla", "english", "math"]
for s in subjects:
    print(s, statistics.mean(int(r[s]) for r in rows))
top = max(rows, key=lambda r: sum(int(r[s]) for s in subjects))
print("top:", top["name"])
passed = [r for r in rows if all(int(r[s]) >= 33 for s in subjects)]
print(f"pass rate: {len(passed) / len(rows):.0%}")

কাজ হলো, আর কোডও খারাপ নয়। তাহলে সমস্যা কোথায়? সমস্যা তিনটি, আর ডেটা বড় হলে তিনটিই বাড়ে।

প্রথম দুটি সমস্যা মেটায় NumPy, তৃতীয়টি pandas. দুটিই third-party package — Python-এর সাথে আসে না, পর্ব ২৩-এর মতো একটি virtual environment-এ pip দিয়ে বসাতে হয়:

python -m venv .venv
# Windows: .venv\Scripts\activate    Linux/Mac: source .venv/bin/activate
pip install numpy pandas matplotlib

৩ · NumPy-র ndarray — একই ধরনের সংখ্যার ঘন সারি

NumPy-র কেন্দ্রে একটিমাত্র ধারণা: ndarray (n-dimensional array). দেখতে list-এর মতো, কিন্তু দুটি কঠোর শর্ত মানে। এক, সব উপাদান একই ধরনের — সেই ধরনের নাম dtype, যেমন int64 (৮ byte-এর পূর্ণসংখ্যা) বা float64. দুই, উপাদানগুলো মেমরিতে ফাঁক ছাড়া পাশাপাশি বসে — contiguous memory, ঠিক C-র array-র মতো। প্রতিটি মান আলাদা Python object নয়, কাঁচা ৮ byte. এই দুই শর্তের বিনিময়ে মেলে গতি।

import numpy as np

marks = np.array([78, 65, 88, 45, 82])
print(marks)
print(marks.dtype, marks.shape, marks.ndim)
print(marks + 5)
print(marks * 1.1)
print(np.zeros(3), np.arange(0, 10, 2))
print(np.linspace(0, 1, 5))

[78 65 88 45 82]
int64 (5,) 1
[83 70 93 50 87]
[85.8 71.5 96.8 49.5 90.2]
[0. 0. 0.] [0 2 4 6 8]
[0.   0.25 0.5  0.75 1.  ]

লাইন ধরে পড়ুন। np নামে import করা সর্বজনীন প্রথা — প্রায় সব বই, টিউটোরিয়াল আর AI-এর কোডে এটাই পাবেন। array ছাপা হয় কমা ছাড়া, এটাই list থেকে চেনার সহজ উপায়। dtype হলো int64; shape হলো (5,) — একটি tuple, যার প্রতিটি সংখ্যা একটি মাত্রার দৈর্ঘ্য; ndim মাত্রার সংখ্যা। তারপর আসল চমক: marks + 5 প্রতিটি নম্বরে ৫ যোগ করেছে — কোনো লুপ ছাড়া। list-এ [78, 65] + 5 লিখলে TypeError হতো, আর [78, 65] * 2 list-টিকেই দুবার জুড়ে দিত। NumPy-তে গাণিতিক চিহ্ন মানে প্রতিটি উপাদানে সেই হিসাব. * 1.1-এর ফল দশমিক, তাই নতুন array-র dtype নিজেই float64 হয়েছে। শেষ দুই লাইন array বানানোর আরও কয়েকটি উপায়: শূন্যে ভরা, range-এর মতো ধাপে ধাপে, আর দুই প্রান্তের মধ্যে সমান ভাগে।

লুপটা আসলে কোথায় চলে?

পর্ব ৪৩-এ দেখেছেন, Python-এ দ্রুত হওয়ার বড় কৌশল হলো “লুপটা C-তে ঠেলে দেওয়া” — sum()-এর মতো built-in ব্যবহার করা। NumPy এই কৌশলকে পুরো একটি ভাষায় পরিণত করেছে। এর নাম vectorization: উপাদান ধরে ধরে লুপ না লিখে পুরো array-কে একটি নির্দেশ দেওয়া। ধাপে ধাপে দেখুন দুই পথে কী ঘটে:

list:  [ ●  ●  ●  ●  … ]      # প্রতিটি ● = ৮ byte-এর ঠিকানা
         ↓  ↓  ↓  ↓
       int(78) int(65) int(88) …   # মেমরির নানা জায়গায় ছড়ানো
# প্রতিটি int object-এ ধরন, reference count আর মান

১. পরের উপাদান আনো       # iterator থেকে
২. object-এর ধরন দেখো     # int? float? অন্য কিছু?
৩. ঠিক যোগটি খুঁজে ডাকো
৪. নতুন int object বানাও  # মেমরি বরাদ্দ
৫. list-এ ঠিকানা বসাও
# দশ লাখ উপাদান = এই চক্র দশ লাখ বার

dtype=int64, shape=(1000000,)
| 78 | 65 | 88 | 45 | 82 | … |   # প্রতিটি ৮ byte, পাশাপাশি
# ধরন একবারই লেখা আছে — প্রতিটি উপাদানে নয়
# মোট ≈ ৮ MB; list-এ ≈ ৩৬ MB

Python:  marks.__add__(5)        # একবার
  ↓
C লুপ:   for (i = 0; i < n; i++)
             out[i] = in[i] + 5;   # ধরন দেখা নেই, object নেই
# CPU একসাথে কয়েকটি সংখ্যা যোগ করতে পারে (SIMD)

list comprehension:   প্রতি উপাদানে কয়েক ডজন ন্যানোসেকেন্ড
NumPy:                প্রতি উপাদানে এক ন্যানোসেকেন্ডের মতো
# সঠিক অনুপাত মেশিনভেদে আলাদা — পর্ব ৪৩-এর মতো নিজে মাপুন

৪ · লুপ ছাড়া হিসাব — broadcasting, boolean mask আর সারাংশ

Broadcasting — একটি সংখ্যা পুরো array-তে

marks + 5-এ একটি জিনিস চুপচাপ ঘটেছে: একটি array (৫টি উপাদান) আর একটি একক সংখ্যা যোগ হয়েছে। দুটির আকার আলাদা, তবু কাজ হলো। NumPy-র এই নিয়মের নাম broadcasting — ছোট জিনিসটিকে বড়টির আকারে “ছড়িয়ে” দেওয়া, কিন্তু আসলে কপি না করে। একটি দোকানের দামের তালিকায় ১৫% VAT বসানো দিয়ে দেখি (১৫% বাংলাদেশে VAT-এর প্রচলিত হার; উদাহরণের দামগুলো বানানো):

1prices = np.array([120.0, 450.0, 80.0, 1250.0])2with_vat = prices * 1.153print(with_vat)

Boolean mask — শর্ত দিয়ে বাছাই

“৮০ বা তার বেশি পেয়েছে কারা?” list-এ লিখতেন [m for m in marks if m >= 80]. NumPy-তে এটি দুই ধাপের একটি সুন্দর ধারণা। প্রথমে তুলনা — marks >= 80 — যা নিজেই একটি vectorized হিসাব, আর ফল দেয় True/False-এর একটি array. একে বলে boolean mask. তারপর সেই mask দিয়ে মূল array-কে index করলে শুধু True জায়গার উপাদানগুলো আসে। ঘর ধরে দেখুন:

1marks = np.array([78, 65, 88, 45, 82])2mask = marks >= 803print(marks[mask], mask.sum())

সারাংশ — যোগ, গড়, সর্বোচ্চ আর তার অবস্থান

অনেক মানকে একটি মানে নামিয়ে আনাকে বলে aggregation. NumPy array-র এর জন্য method আছে, সবই C-তে চলে:

marks = np.array([78, 65, 88, 45, 82])
print(marks[marks < 50])
print(marks.sum(), marks.mean(), marks.max(), marks.argmax())

[45]
358 71.6 88 2

শেষ মানটি লক্ষ করুন। argmax সর্বোচ্চ মানটি দেয় না, দেয় সেটি কোথায় — index 2. কেন এটা দরকারি? কারণ নামগুলো যদি আরেকটি array-তে একই ক্রমে থাকে (names[marks.argmax()]), তবে সর্বোচ্চ নম্বর পাওয়া ছাত্রের নাম পাওয়া যায়। এমন “দুটি array-কে index দিয়ে মেলানো” NumPy-তে খুব প্রচলিত — আর এই ঝামেলাই pandas পরে মিটিয়ে দেবে, নাম আর নম্বর একই টেবিলে রেখে। এ ছাড়া আছে min, argmin, std (standard deviation), np.median, cumsum (চলমান যোগফল)।

৫ · axis — দুই মাত্রার মার্কশিটে কোন দিকে হিসাব

বাস্তবের ডেটা সাধারণত টেবিল: সারি আর কলাম। NumPy-তে এটি একটি দুই মাত্রার array — list of lists থেকে বানানো যায়। অংশ ২-এর পুরো মার্কশিটটি নিই: পাঁচ সারি (ছাত্র), তিন কলাম (বাংলা, ইংরেজি, গণিত):

import numpy as np

# সারি = Riya, Joy, Tania, Sakib, Nadia; কলাম = bangla, english, math
table = np.array([[78, 85, 91],
                  [65, 58, 72],
                  [88, 92, 95],
                  [45, 38, 28],
                  [82, 79, 85]])
print(table.shape)
print(table.mean(axis=0))   # প্রতিটি বিষয়ের গড়
print(table.sum(axis=1))    # প্রতিটি ছাত্রের মোট
print(table.sum(axis=1).argmax())
print((table >= 33).all(axis=1).mean())

(5, 3)
[71.6 70.4 74.2]
[254 195 275 111 246]
2
0.8

অংশ ২-এর ১৫ লাইনের কাজ এখানে প্রায় এক লাইন করে — আর ফল হুবহু এক: বিষয়ভিত্তিক গড় ৭১.৬, ৭০.৪, ৭৪.২; সর্বোচ্চ মোট index 2-এর (Tania, ২৭৫); পাসের হার ০.৮, অর্থাৎ ৮০%. শেষ লাইনটি খুলে দেখার মতো: table >= 33 পুরো টেবিলের একটি boolean mask বানায় (৫ × ৩), .all(axis=1) প্রতিটি সারিতে জিজ্ঞেস করে “সব ঘর True কি?” — ফল ৫টি bool, আর তাদের mean() মানে True-র অনুপাত।

কিন্তু axis আসলে কী? এটি বলে দেয় কোন মাত্রাটি হিসাবের পর “হারিয়ে যাবে”. shape (5, 3)-এ মাত্রা 0 হলো সারি (৫টি), মাত্রা 1 হলো কলাম (৩টি)।

একটি সূক্ষ্ম কথা: ছাত্রের নম্বর বেরোল 2, নাম নয়। NumPy array-তে সারি বা কলামের কোনো নাম থাকে না — কোন সারি কে, কোন কলাম কোন বিষয়, তা আপনাকে মাথায় বা আলাদা list-এ রাখতে হয়। কলামের ক্রম ভুল করলে NumPy টেরও পাবে না। ঠিক এই ফাঁক পূরণ করতে এসেছে pandas.

৬ · pandas — নাম-লেখা টেবিল: Series আর DataFrame

pandas-কে সহজে ভাবুন প্রোগ্রাম দিয়ে চালানো spreadsheet হিসেবে। Excel-এ যা যা করেন — কলামের নাম দেখে কাজ, ফিল্টার, নতুন কলামে সূত্র, Pivot Table — pandas-এ সবই কোড, তাই পুনরাবৃত্তিযোগ্য: নতুন মাসের ফাইল এলে একই স্ক্রিপ্ট আবার চালালেই হলো। ভেতরে প্রতিটি কলাম আসলে একটি NumPy-ধাঁচের array, তাই গতিও আসে।

pandas-এর দুটি মূল ধরন। Series হলো এক মাত্রার array, যার প্রতিটি মানের একটি লেবেল আছে — সেই লেবেলগুলোর নাম index. আর DataFrame হলো অনেকগুলো Series পাশাপাশি — একটি টেবিল, যার প্রতিটি কলামের নাম আর নিজস্ব dtype আছে, আর সব কলাম একই index ভাগ করে।

import pandas as pd

s = pd.Series([78, 65, 88], index=["Riya", "Joy", "Tania"], name="bangla")
print(s)
print(s["Joy"], s.mean())

Riya     78
Joy      65
Tania    88
Name: bangla, dtype: int64
65 77.0

NumPy-র সমস্যাটা মিটে গেল: এখন s["Joy"] — নাম দিয়ে খোঁজা, dict-এর মতো — অথচ s.mean() চলে array-র গতিতে। pandas-কেও pd নামে import করাই প্রথা।

CSV থেকে DataFrame — read_csv

বাস্তবে DataFrame সাধারণত হাতে বানানো হয় না, ফাইল থেকে পড়া হয়। একটি দোকানের দুই মাসের বিক্রির খাতা নিই — জেলা, মাস, পণ্য, পরিমাণ আর একক দাম (সংখ্যাগুলো শেখার জন্য বানানো)। লক্ষ করুন, সিলেটের চায়ের দামের ঘরটি ফাঁকা:

district,month,item,qty,price
Dhaka,Jan,Rice,40,1300
Sylhet,Jan,Tea,25,
Chattogram,Jan,Rice,30,1300
Dhaka,Feb,Oil,50,950
Sylhet,Feb,Rice,12,1300
Chattogram,Feb,Tea,20,400

import pandas as pd

df = pd.read_csv("sales.csv", encoding="utf-8-sig")
print(df.head(3))
print(df.shape)
df.info()

     district month  item  qty   price
0       Dhaka   Jan  Rice   40  1300.0
1      Sylhet   Jan   Tea   25     NaN
2  Chattogram   Jan  Rice   30  1300.0
(6, 5)
<class 'pandas.DataFrame'>
RangeIndex: 6 entries, 0 to 5
Data columns (total 5 columns):
 #   Column    Non-Null Count  Dtype
---  ------    --------------  -----
 0   district  6 non-null      str
 1   month     6 non-null      str
 2   item      6 non-null      str
 3   qty       6 non-null      int64
 4   price     5 non-null      float64
dtypes: float64(1), int64(1), str(3)
memory usage: 372.0 bytes

এক লাইনে অনেক কিছু ঘটেছে। পর্ব ২৬-এর মতো হাতে int() করতে হয়নি — read_csv প্রতিটি কলাম দেখে ধরন অনুমান করেছে: qty পূর্ণসংখ্যা, লেখার কলাম str. ফাঁকা ঘরটি হয়েছে NaN (পর্ব ০৭-এর NaN — “মান নেই” বোঝাতে pandas এটাই ব্যবহার করে)। আর NaN একটি float, তাই পুরো price কলামটিই float64 হয়ে গেছে — 1300 হয়েছে 1300.0. বাঁ পাশের 0, 1, 2 হলো ডিফল্ট index.

নতুন ডেটা হাতে পেলে প্রথম তিনটি কাজ প্রায় সবসময় এই: head() (প্রথম কয়েকটি সারি, চোখে দেখা), info() (কলাম, ধরন আর কোথায় কত ফাঁকা — price-এ ৬-এর মধ্যে ৫টি non-null), আর describe() — সংখ্যার কলামের descriptive statistics:

print(df["qty"].describe())

count     6.0000
mean     29.5000
std      13.7659
min      12.0000
25%      21.2500
50%      27.5000
75%      37.5000
max      50.0000
Name: qty, dtype: float64

গণনা, গড়, বিস্তার (std), সর্বনিম্ন-সর্বোচ্চ আর quartile — ৫০% সারিটি median. বড় ডেটায় এই এক লাইন প্রায়ই প্রথম ভুল ধরিয়ে দেয়: বয়সের কলামে min −1, বা নম্বরের কলামে max 780 (কেউ 78-এর পরে একটি 0 বেশি লিখেছে)।

৭ · বাছাই, ছাঁকা, নতুন কলাম আর ফাঁকা ঘর

কলাম বাছাই আর শর্ত দিয়ে সারি ছাঁকা

একটি কলাম চাইলে df["qty"] — ফল একটি Series. কয়েকটি কলাম চাইলে নামের একটি list: df[["district", "qty"]] (দুই জোড়া বন্ধনী — ভেতরেরটি list) — ফল আরেকটি DataFrame. আর সারি ছাঁকা হয় ঠিক NumPy-র boolean mask দিয়ে, শুধু এবার কলামের নাম ধরে:

print(df[["district", "qty"]].head(2))
big = df[(df["qty"] >= 25) & (df["month"] == "Jan")]
print(big)

  district  qty
0    Dhaka   40
1   Sylhet   25
     district month  item  qty   price
0       Dhaka   Jan  Rice   40  1300.0
1      Sylhet   Jan   Tea   25     NaN
2  Chattogram   Jan  Rice   30  1300.0

df["qty"] >= 25 একটি True/False Series বানায়, & দুটি শর্ত জোড়ে (প্রতিটি শর্ত বন্ধনীতে — অংশ ৪-এর নিয়ম), আর df[mask] শুধু True সারিগুলো রাখে। লক্ষ করুন index (0, 1, 2) মূল টেবিলের মতোই থেকে গেছে — প্রতিটি সারি তার পরিচয় সাথে নিয়ে চলে। নির্দিষ্ট সারি ও কলাম একসাথে বাছতে আছে df.loc[শর্ত, "কলাম"] (লেবেল দিয়ে) আর df.iloc[0:3, 1] (অবস্থান দিয়ে); বিস্তারিত Python for AI কোর্সের pandas পর্বে।

ফাঁকা মান — খোঁজা, বাদ দেওয়া, ভরা

বাস্তবের প্রায় প্রতিটি ডেটাসেটে missing value থাকে: কেউ জরিপের প্রশ্নের উত্তর দেননি, কোনো দিনের রেকর্ড হারিয়েছে, কেউ দাম লিখতে ভুলে গেছেন। এগুলোকে চুপচাপ উপেক্ষা করা বিপজ্জনক — তাই আগে গুনুন, তারপর সিদ্ধান্ত নিন:

print(df.isna().sum())
print(df.dropna().shape)
df["price"] = df["price"].fillna(400)
df["revenue"] = df["qty"] * df["price"]
print(df[["district", "item", "revenue"]])

district    0
month       0
item        0
qty         0
price       1
dtype: int64
(5, 5)
     district  item  revenue
0       Dhaka  Rice  52000.0
1      Sylhet   Tea  10000.0
2  Chattogram  Rice  39000.0
3       Dhaka   Oil  47500.0
4      Sylhet  Rice  15600.0
5  Chattogram   Tea   8000.0

তিনটি অস্ত্র: isna() প্রতিটি ঘরের জন্য “ফাঁকা কি?” বলে, আর .sum() কলাম ধরে গোনে — price-এ একটি। dropna() যেকোনো ফাঁকা ঘরসহ সারি বাদ দেয় — ৬ থেকে ৫ সারি। fillna(মান) ফাঁকা ঘর ভরে। কোনটি বেছে নেবেন, তা প্রোগ্রামিংয়ের নয়, বিচারের প্রশ্ন. এখানে দোকান থেকে জেনে নেওয়া গেছে যে চায়ের দাম ৪০০, তাই 400 বসানো ঠিক। কিন্তু অনুপস্থিত ছাত্রের নম্বরে 0 বসালে গড় অন্যায়ভাবে কমে যাবে, আর গড় দিয়ে ভরলে সে “গড় ছাত্র” হয়ে যাবে — যা সত্য নয়। কী করেছেন, সেটা রিপোর্টে লিখে রাখাই সততা।

শেষ দুই লাইনে আরেকটি জিনিস ঘটেছে: নতুন হিসাব করা কলাম. df["qty"] * df["price"] দুটি কলামকে সারি ধরে গুণ করেছে — vectorized, লুপ ছাড়া — আর ফল revenue নামে নতুন কলাম হয়ে বসেছে। Excel-এ একটি কলামে সূত্র লিখে নিচ পর্যন্ত টেনে দেওয়ার মতো, শুধু টানতে হয় না।

৮ · groupby — ভাগ করুন, হিসাব করুন, জোড়া দিন

“জেলাভিত্তিক মোট বিক্রি কত?” — ডেটা বিশ্লেষণের সবচেয়ে প্রচলিত প্রশ্নের ধাঁচ এটি: প্রতিটি দলের সারাংশ। প্রতিটি বিষয়ের গড়, প্রতিটি মাসের মোট, প্রতিটি বিভাগের বৃষ্টিপাত। আগে শুধু Python দিয়ে করে দেখি, পর্ব ২৭-এর defaultdict দিয়ে:

from collections import defaultdict

sales = [
    ("Dhaka", "Jan", 52000), ("Sylhet", "Jan", 10000),
    ("Chattogram", "Jan", 39000), ("Dhaka", "Feb", 47500),
    ("Sylhet", "Feb", 15600), ("Chattogram", "Feb", 8000),
]
groups = defaultdict(list)                     # ১. ভাগ (split)
for district, month, revenue in sales:
    groups[district].append(revenue)

summary = {d: (sum(v), len(v)) for d, v in groups.items()}   # ২. হিসাব (apply)
ranked = sorted(summary.items(), key=lambda kv: kv[1][0], reverse=True)
for d, (total, orders) in ranked:              # ৩. জোড়া (combine)
    print(f"{d:<11} total={total:>7} orders={orders}")

এই তিন ধাপের একটি নাম আছে: split-apply-combine. পরিসংখ্যানের R ভাষার জন্য Hadley Wickham ২০১১ সালের একটি গবেষণাপত্রে নামটি জনপ্রিয় করেন, কিন্তু ধারণাটা SQL-এর GROUP BY আর Excel-এর Pivot Table-এরও মূল কথা। pandas-এ পুরো কাজটি করে groupby, একটি শিকলে:

summary = (df.groupby("district")
             .agg(total=("revenue", "sum"), orders=("revenue", "count"))
             .sort_values("total", ascending=False))
print(summary)
print(df.groupby("month")["revenue"].sum())
summary.to_csv("district_summary.csv", encoding="utf-8-sig")

              total  orders
district
Dhaka       99500.0       2
Chattogram  47000.0       2
Sylhet      25600.0       2
month
Feb     71100.0
Jan    101000.0
Name: revenue, dtype: float64

প্রথম টেবিল বিশুদ্ধ Python-এর ফলের সাথে হুবহু মেলে (float হয়েছে, কারণ price কলাম float ছিল)। দ্বিতীয়টি দেখায় একটি কলামে groupby করে একটি মাত্র কলামের যোগফল নিলে ফল একটি Series — index হিসেবে মাসের নাম, বর্ণানুক্রমে সাজানো (Feb আগে, Jan পরে; ক্যালেন্ডারের ক্রম চাইলে আলাদা করে বলতে হয়)। শেষ লাইন ফলটিকে নতুন CSV-তে সেভ করে — index (জেলা) প্রথম কলাম হিসেবে লেখা হয়; না চাইলে index=False. Excel-এ খোলার জন্য utf-8-sig.

৯ · চার্ট, Jupyter আর ডেটার নৈতিকতা

একটি চার্টের ঝলক — matplotlib

সংখ্যার টেবিল থেকে প্যাটার্ন খোঁজার চেয়ে একটি চার্টে চোখ বোলানো অনেক দ্রুত। Python-এর সবচেয়ে পুরোনো ও প্রচলিত চার্ট লাইব্রেরি matplotlib; pandas-এর .plot ভেতরে এটিই ডাকে। আট বিভাগের বার্ষিক বৃষ্টিপাতের একটি অনুভূমিক bar chart দেখি। সংখ্যাগুলো আনুমানিক, শুধু শেখার জন্য — সাধারণ প্যাটার্নটা (সিলেটে সবচেয়ে বেশি, রাজশাহীতে সবচেয়ে কম) বাস্তবের মতো, কিন্তু আসল কাজে বাংলাদেশ আবহাওয়া অধিদপ্তরের মতো নির্ভরযোগ্য উৎসের ডেটা ব্যবহার করবেন:

import matplotlib.pyplot as plt
import pandas as pd

rain = pd.Series({"Sylhet": 4000, "Chattogram": 2900, "Barishal": 2500,
                  "Mymensingh": 2500, "Rangpur": 2200, "Dhaka": 2100,
                  "Khulna": 1800, "Rajshahi": 1500})     # মিমি, আনুমানিক
ax = rain.sort_values().plot.barh(color="steelblue")
ax.set_xlabel("Annual rainfall (mm, illustrative)")
ax.set_title("Rainfall by division")
plt.tight_layout()
plt.show()                       # Jupyter/Colab-এ চার্টটি নিচেই দেখাবে
print(rain.mean(), rain.idxmax(), rain.idxmin())

2437.5 Sylhet Rajshahi

চার্টটি দেখতে এমন: আটটি আড়াআড়ি নীল দণ্ড, নিচে সবচেয়ে ছোট রাজশাহী (১,৫০০) থেকে ওপরে সবচেয়ে লম্বা সিলেট (৪,০০০) পর্যন্ত। sort_values() আগে সাজিয়ে দিয়েছে বলে চোখ এক নজরে ক্রম ধরে ফেলে — সিলেটের দণ্ড রাজশাহীর আড়াই গুণেরও বেশি লম্বা। অনুভূমিক দণ্ড বেছে নেওয়ার কারণ: লম্বা নামগুলো (Chattogram, Mymensingh) বাঁ পাশে আরামে আঁটে। দুটি ছোট অভ্যাস চার্টকে সৎ রাখে — অক্ষের নামে একক (mm) লেখা, আর bar chart-এ অক্ষ শূন্য থেকে শুরু করা, যাতে দণ্ডের দৈর্ঘ্য সত্যিকারের অনুপাত দেখায়। ভালো চার্টের নিয়ম নিয়ে পুরো আলোচনা আছে ডেটা সায়েন্স কোর্সের visualization পর্বে।

কোথায় চালাবেন — Jupyter আর Google Colab

ডেটা নিয়ে কাজ সাধারণ স্ক্রিপ্টের মতো “লিখে, চালিয়ে, শেষ” নয় — বরং প্রশ্ন-উত্তরের মতো: একটু দেখি, একটি গড় বের করি, চার্ট আঁকি, তারপর নতুন প্রশ্ন। এর জন্য প্রচলিত পরিবেশ Jupyter notebook, যার কথা পর্ব ০৩-এর সেটআপে এসেছিল: কোড লেখা হয় ঘরে ঘরে (cell), প্রতিটি ঘর আলাদা চালানো যায়, আর ফল — টেবিল বা চার্ট — ঠিক নিচেই দেখা যায়। ডেটা একবার পড়ে মেমরিতে রেখে বারবার প্রশ্ন করা যায়।

pip install numpy pandas matplotlib jupyterlab
jupyter lab

ডেটার নৈতিকতা — মানুষের ডেটা মানে মানুষ

মার্কশিট, রোগীর রেকর্ড, bKash লেনদেন, চাকরির আবেদন — এগুলোর প্রতিটি সারি একজন মানুষ। নাম, ফোন নম্বর, NID, ঠিকানা বা রোলের সাথে নম্বর হলো personal data — যা দিয়ে একজনকে চেনা যায়। তিনটি সহজ নিয়ম মনে রাখুন:

• যে ডেটা যে কাজের জন্য দেওয়া হয়েছে, শুধু সেই কাজেই ব্যবহার; Facebook গ্রুপে, GitHub-এ বা Colab-এ খোলাখুলি তোলার আগে অনুমতি আছে কি না নিশ্চিত হওয়া
• বিশ্লেষণের আগে anonymization — নাম, ফোন, NID সরিয়ে বা একটি অর্থহীন ID দিয়ে বদলে দেওয়া; যে কলাম প্রশ্নের জন্য লাগে না, সেটি না রাখা
• ছোট দলের ফল সাবধানে প্রকাশ — “অমুক স্কুলের ক্লাস টেনের একমাত্র মেয়ে শিক্ষার্থীর গড়” নাম ছাড়াই একজনকে চিনিয়ে দেয়

অনেক দেশে ব্যক্তিগত তথ্য সুরক্ষার আইন আছে (যেমন ইউরোপের GDPR, ২০১৮ থেকে কার্যকর), আর আইন না থাকলেও দায়িত্ব থাকে। আরেকটি দিক: ডেটা কাদের নিয়ে আর কাদের বাদ দিয়ে তৈরি, সেটাও ফলকে বাঁকাতে পারে — শুধু শহরের স্কুলের ডেটা দিয়ে “সারা দেশের ছাত্ররা” নিয়ে সিদ্ধান্ত টানা যায় না।

এরপর কোথায়

এই পর্ব ছিল একটি সেতু। NumPy-র indexing, reshape, linear algebra আর pandas-এর গভীর কাজ (merge, pivot, সময়ভিত্তিক ডেটা) শিখতে ABCL TECH-এর Python for AI কোর্স দেখুন — সেখানে NumPy আর pandas নিয়ে আলাদা আলাদা পর্ব আছে, মেশিন লার্নিংয়ের দিকে এগিয়ে। আর পরিসংখ্যান, EDA, ফাঁকা ডেটা সামলানোর কৌশল, চার্ট আর ড্যাশবোর্ড — পুরো ডেটা বিশ্লেষকের পথ — আছে ডেটা সায়েন্স কোর্সে।

১০ · AI-এর যুগে — AI-এর লেখা pandas কোড যাচাই

“এই CSV থেকে জেলাভিত্তিক বিক্রি বের করো” — AI এমন pandas কোড মুহূর্তে লেখে, আর প্রায়ই চলেও। কিন্তু pandas-এর কোডে ভুল খুব কমই error দেয়; বেশিরভাগ সময় দেয় ভুল সংখ্যা, যা দেখতে একদম স্বাভাবিক। নিচের ধাঁচগুলো বারবার দেখা যায়:

AI-এর লেখা ডেটা-কোড পেলে — যাচাইয়ের চেকলিস্ট

• কোডে ব্যবহৃত প্রতিটি কলামের নাম আমার df.columns-এ আছে কি না মিলিয়েছি
• কোথাও df[...][...] = ... ধাঁচের chained indexing নেই; মান বসানো হয়েছে df.loc দিয়ে
• iterrows/apply দিয়ে সারি ধরে লুপের জায়গায় কলামভিত্তিক হিসাব সম্ভব কি না দেখেছি
• ফাঁকা মান গোনা হয়েছে, আর বাদ দেওয়া বা ভরার সিদ্ধান্ত স্পষ্ট ও যুক্তিসংগত
• ছোট একটি নমুনায় (৫–১০ সারি) ফলটা হাতে বা শুধু-Python কোডে হিসাব করে মিলিয়েছি
• প্রতিটি ধাপের পর সারির সংখ্যা (shape) দেখেছি — কোনো filter বা dropna অপ্রত্যাশিত সারি ফেলে দেয়নি
• ডেটায় কারও ব্যক্তিগত তথ্য থাকলে তা AI চ্যাটে পেস্ট করিনি — শুধু কলামের নাম আর বানানো নমুনা দিয়েছি