ডেটা পড়া আর লেখা — CSV, Excel, JSON, SQL আর Parquet

১ · ফাইল থেকে DataFrame, DataFrame থেকে ফাইল

বাজারঘরের (এই কোর্সের কাল্পনিক অনলাইন দোকান) একটি সাধারণ সকাল ভাবুন। ডেলিভারির অংশীদার পাঠিয়েছে একটি CSV, হিসাব বিভাগ একটি Excel ফাইল, ওয়েবসাইটের log জমেছে JSON Lines-এ, অর্ডারগুলো আছে একটি ডেটাবেসে, আর ডেটা দল গতকালের বিশ্লেষণ রেখেছে Parquet-এ। বিশ্লেষণ বা model শেখানোর আগে প্রথম কাজ: সবগুলোকে একই রূপে আনা — pandas-এর DataFrame (পর্ব ২০-এ পরিচয়)।

এই format-গুলোর ভেতরের গঠন — CSV-এর quote, JSON Lines, Parquet-এর কলাম ধরে রাখা, UTF-8 আর বাংলা লেখা — আপনি পর্ব ১০-এ দেখেছেন। এখানে সেগুলো আবার ব্যাখ্যা করা হবে না। এই পর্বের প্রশ্ন ব্যবহারিক: pandas-এর কোন function, কোন option, আর পড়ার পর কী যাচাই।

নামের ছাঁচটি মনে রাখলে বাকিটা সহজ: পড়ার function থাকে pd-এর ওপর আর নতুন DataFrame ফেরত দেয়; লেখার function থাকে DataFrame-এর ওপর (method) আর একটি ফাইল বা টেবিল তৈরি করে। এই পর্বের সব কোড pandas 3 ধরে লেখা। পাতার ভেতরের Python চলে আপনার ব্রাউজারে (Pyodide, সেখানে pandas 3.0.2); যেগুলো ব্রাউজারে চলে না, সেগুলো একটি ল্যাপটপে সত্যিকারের run — Python 3.14.4, pandas 3.1.1, pyarrow 26.0.1, openpyxl 3.1.5 (লেখার সময়ের version; uv দিয়ে বানানো virtual environment, পর্ব ০৭).

২ · read_csv-এর যে option-গুলো আসলে দরকার

pd.read_csv-এর parameter পঞ্চাশটির মতো। সবগুলো মুখস্থ করার দরকার নেই; বাস্তবের বেশিরভাগ সমস্যা মেটে নিচের ডজনখানেক দিয়ে। প্রতিটির পেছনে একটি প্রশ্ন আছে, যার উত্তর ফাইলের মালিক জানেন কিন্তু pandas জানে না।

একটি উদাহরণে দেখা যাক। বাজারঘরের ডেলিভারি অংশীদার একটি ফাইল পাঠিয়েছে, যার প্রথম লাইনে একটি মন্তব্য, delimiter সেমিকোলন, দামে হাজারের কমা, “নেই” বোঝাতে কোথাও - কোথাও N/A. (এই পর্বের সব ফোন নম্বর স্পষ্টতই বানানো।) ফাইলটি পাতার ভেতরে রাখা, কোড একে partner_orders.csv নামে পড়ে।

# partner export, 2026-11-01
order_id;date;district;phone;qty;price_tk;payment
1001;2026-10-03;ঢাকা;01700000000;2;1,250;bKash
1002;2026-10-03;খুলনা;01800000001;1;-;COD
1003;2026-10-04;সিলেট;01900000002;3;780;card
1004;2026-10-05;ঢাকা;01500000003;N/A;2,400;bKash

প্রথমে ধাপে ধাপে দেখুন, প্রতিটি option যোগ করলে DataFrame কীভাবে বদলায়। প্রতিটি ধাপের ফল নিচের কোড-বাক্সের সত্যিকারের আউটপুট থেকে নেওয়া।

shape (5, 2)
columns: ['# partner export',
          ' 2026-11-01']
প্রথম লাইনটিই header হয়ে গেছে

        phone  qty price_tk
0  1700000000  2.0    1,250
1  1800000001  1.0        -
phone int64 · qty float64
price_tk str

         phone
0  01700000000
1  01800000001
শুরুর শূন্য ফিরে এসেছে

   qty  price_tk
0  2.0    1250.0
1  1.0       NaN   ← "-"
2  3.0     780.0
3  NaN    2400.0   ← "N/A"

        date  price_paisa
0 2026-10-03       125000
1 2026-10-03         <NA>
2 2026-10-04        78000
3 2026-10-05       240000

shape (4, 8)
missing: {'qty': 1,
          'price_tk': 1,
          'price_paisa': 1}
৪টি অর্ডার = ফাইলের ৪টি record ✓

import pandas as pd
pd.set_option("display.width", 60)
f = "partner_orders.csv"

d = pd.read_csv(f)                          # 1) all defaults
print("defaults:", d.shape, d.columns.tolist())

d0 = pd.read_csv(f, sep=";", skiprows=1)    # 2) right separator
c0 = ["phone", "qty", "price_tk"]
print("before:", d0.dtypes[c0].astype(str).to_dict())
print(d0[c0].head(2))

df = pd.read_csv(                           # 3) say what you know
    f, sep=";", skiprows=1, encoding="utf-8",
    dtype={"order_id": str, "phone": str},
    parse_dates=["date"],
    na_values=["-", "N/A"], thousands=",",
)
df["price_paisa"] = (df["price_tk"] * 100).astype("Int64")
cols = ["date", "phone", "qty", "price_paisa"]
print("after :", df.dtypes[cols].astype(str).to_dict())
print(df[cols])
print("shape", df.shape)
print("missing:", df.isna().sum()[lambda s: s > 0].to_dict())

defaults: (5, 2) ['# partner export', ' 2026-11-01']
before: {'phone': 'int64', 'qty': 'float64', 'price_tk': 'str'}
        phone  qty price_tk
0  1700000000  2.0    1,250
1  1800000001  1.0        -
after : {'date': 'datetime64[us]', 'phone': 'str', 'qty': 'float64', 'price_paisa': 'Int64'}
        date        phone  qty  price_paisa
0 2026-10-03  01700000000  2.0       125000
1 2026-10-03  01800000001  1.0         <NA>
2 2026-10-04  01900000002  3.0        78000
3 2026-10-05  01500000003  NaN       240000
shape (4, 8)
missing: {'qty': 1, 'price_tk': 1, 'price_paisa': 1}

যে option-গুলো উদাহরণে আসেনি

header আর names লাগে যখন ফাইলে কলামের নামই নেই, বা নাম এত খারাপ যে বদলাতে চান। header=None বলে “প্রথম লাইনও ডেটা”, আর names দেয় নিজের নাম। usecols শুধু দরকারি কলাম পড়ে — ৫০ কলামের ফাইলের ৩টি দরকার হলে মেমরি আর সময় দুটোই বাঁচে। nrows দিয়ে বড় ফাইলের প্রথম কয়েক হাজার সারি পড়ে আগে চেহারা দেখে নেওয়া যায়। একই ফাইলে ল্যাপটপে একটি সত্যিকারের run:

d2 = pd.read_csv("partner_orders.csv", sep=";", skiprows=2,
                 header=None,
                 names=["id", "date", "district", "phone",
                        "qty", "price", "pay"],
                 usecols=["id", "phone", "price"],
                 nrows=2, dtype={"phone": str})
print(d2)

     id        phone  price
0  1001  01700000000  1,250
1  1002  01800000001      -

এখানে skiprows=2 মন্তব্য আর আসল header দুটোই বাদ দিয়েছে, তাই নাম এসেছে names থেকে। thousands আর na_values দেওয়া হয়নি বলে price আবার লেখা — option-গুলো একে অপরের বদলি নয়, প্রতিটি আলাদা প্রশ্নের উত্তর।

৩ · লেখা — to_csv আর বাড়তি index কলামের ফাঁদ

পড়ার উল্টো কাজ df.to_csv(path). এখানে একটি পরিচিত ফাঁদ: প্রতিটি DataFrame-এর একটি index থাকে (বাঁ দিকের ০, ১, ২ …), আর to_csv default-এ সেটিকেও একটি কলাম হিসেবে লেখে। আবার পড়লে pandas সেই কলামকে সাধারণ ডেটা ভাবে আর নাম দেয় Unnamed: 0. প্রতিবার পড়া-লেখায় এমন একটি করে কলাম জমতে থাকে — অনেক প্রকল্পের ফাইলে Unnamed: 0.1, Unnamed: 0.2 দেখা যায় ঠিক এই কারণে।

import pandas as pd

df = pd.DataFrame({"order_id": [1001, 1002, 1003],
                   "qty": [2, 1, 3]})
df.to_csv("a.csv")                      # default: index=True
with open("a.csv") as fh:
    print(fh.read())

back = pd.read_csv("a.csv")
print("read 1:", back.columns.tolist())
back.to_csv("a.csv")                    # write it again...
print("read 2:", pd.read_csv("a.csv").columns.tolist())

df.to_csv("b.csv", index=False)         # the fix
back2 = pd.read_csv("b.csv")
print("index=False:", back2.columns.tolist(), df.equals(back2))

# but a meaningful index must be kept: reset it first
s = df.assign(d=["Dhaka", "Khulna", "Dhaka"]).groupby("d")["qty"].sum()
print(s.to_frame().to_csv(index=False).split())
print(s.reset_index().to_csv(index=False).split())

,order_id,qty
0,1001,2
1,1002,1
2,1003,3

read 1: ['Unnamed: 0', 'order_id', 'qty']
read 2: ['Unnamed: 0.1', 'Unnamed: 0', 'order_id', 'qty']
index=False: ['order_id', 'qty'] True
['qty', '5', '1']
['d,qty', 'Dhaka,5', 'Khulna,1']

to_csv-এর আরও দুটি কাজের option: Excel ব্যবহারকারী বাংলা লেখা খুলবেন জানলে encoding="utf-8-sig" (কেন, তা পর্ব ১০-এ), আর দশমিক সংখ্যার লম্বা লেজ কাটতে float_format="%.2f". তবে টাকা পয়সায় পূর্ণসংখ্যা হিসেবে রাখলে দ্বিতীয়টির দরকারই পড়ে না।

৪ · Excel — sheet, ExcelWriter আর openpyxl

অফিসের ডেটার বড় অংশ এখনো Excel-এ। pandas xlsx পড়া-লেখার জন্য openpyxl package ব্যবহার করে, যা আলাদা install করতে হয় (uv pip install openpyxl). একটি xlsx ফাইলে কয়েকটি sheet থাকতে পারে, তাই Excel-এর API-তে নতুন দুটি ধারণা:

• pd.read_excel(path, sheet_name=...) — নাম ("orders"), ক্রমিক নম্বর (0 = প্রথম sheet), বা None = সব sheet একসঙ্গে, নাম থেকে DataFrame-এর একটি dict হিসেবে।
• pd.ExcelWriter — একটি ফাইলে একাধিক sheet লিখতে। প্রতিটি to_excel একই writer-এ আলাদা sheet_name দিয়ে লেখে; with ব্লক শেষ হলে ফাইল সেভ হয়।

openpyxl ব্রাউজারের Pyodide-এ নেই, তাই এটি ল্যাপটপে চালানো। সত্যিকারের run:

import pandas as pd, openpyxl

orders = pd.DataFrame({
    "order_id": [1001, 1002, 1003, 1004],
    "district": ["ঢাকা", "খুলনা", "সিলেট", "ঢাকা"],
    "phone": ["01700000000", "01800000001", "01900000002", "01500000003"],
    "qty": [2, 1, 3, 1],
})
summary = orders.groupby("district", as_index=False)["qty"].sum()

with pd.ExcelWriter("out/shop.xlsx") as xw:          # one file, two sheets
    orders.to_excel(xw, sheet_name="orders", index=False)
    summary.to_excel(xw, sheet_name="summary", index=False)

print("pandas", pd.__version__, "| openpyxl", openpyxl.__version__)
book = pd.read_excel("out/shop.xlsx", sheet_name=None)   # every sheet
print({name: frame.shape for name, frame in book.items()})
o = pd.read_excel("out/shop.xlsx", sheet_name="orders",
                  dtype={"phone": str}, usecols=["order_id", "phone"])
print(o.head(2))
print(pd.read_excel("out/shop.xlsx", sheet_name=1))

~/bazarghar-ai$ python excel_io.py
pandas 3.1.1 | openpyxl 3.1.5
{'orders': (4, 4), 'summary': (3, 2)}
   order_id        phone
0      1001  01700000000
1      1002  01800000001
  district  qty
0    খুলনা    1
1     ঢাকা    3
2    সিলেট    3

লক্ষ করার মতো তিনটি বিষয়। sheet_name=None একটি dict দিয়েছে — দুটি sheet, প্রতিটির নিজের আকার। read_excel-ও read_csv-এর মতো dtype, usecols, nrows, skiprows বোঝে; ফোন নম্বরে dtype={"phone": str} না দিলে xlsx-এর ভেতরে লেখা হিসেবে থাকলেও pandas তাকে সংখ্যা বানাতে পারে (পর্ব ১০-এর run-এ ঠিক এটি দেখা গেছে)। আর summary sheet-এ জেলাগুলো এসেছে Unicode-এর বর্ণক্রমে (খ, ঢ, স), কারণ groupby default-এ key সাজিয়ে দেয়।

৫ · JSON — orient আর lines=True

একটি টেবিলকে JSON-এ সাজানোর কয়েকটি উপায় আছে: সারি ধরে record-এর list, কলাম ধরে dict, নাকি কলামের নাম আর ডেটা আলাদা? to_json-এর orient parameter ঠিক এটিই বেছে নেয়। একটি এক-সারির DataFrame বিভিন্ন orient-এ (ল্যাপটপে সত্যিকারের run, তারিখ কলাম বাদ দিয়ে):

AI আর ডেটার কাজে সবচেয়ে বেশি লাগে orient="records" সঙ্গে lines=True — অর্থাৎ JSON Lines: প্রতিটি লাইনে একটি record. lines=True শুধু "records"-এর সঙ্গেই চলে; অন্য orient দিলে pandas পরিষ্কার error দেয়: ValueError: 'lines' keyword only valid when 'orient' is records.

JSON-এর ধরন ছোট — string, সংখ্যা, true/false, null — তাই ফেরত পড়ার সময় read_json-কেও অনুমান করতে হয়, আর এর অনুমান read_csv-এর চেয়েও আগ্রাসী। দুটি আচরণ জানা জরুরি (ল্যাপটপে pandas 3.1.1-এ যাচাই করা, পাতার ব্রাউজারেও অংশ ৬-এর কোডে দেখবেন):

• সংখ্যার মতো লেখা সংখ্যা হয়ে যায়। ফাইলে "phone":"01700000000" quote-সহ লেখা থাকলেও default read_json কলামটিকে int64 বানায় — শূন্য হারায়। প্রতিকার পরিচিত: dtype={"phone": str}.
• নাম দেখে তারিখ। date, datetime, modified নামের কলাম, কিংবা _at বা _time-এ শেষ হওয়া নামের কলামকে read_json তারিখে রূপ দেওয়ার চেষ্টা করে (keep_default_dates). সুবিধাজনক, কিন্তু “created_at” নামে একটি ID কলাম থাকলে বিপদ; convert_dates দিয়ে নিজে বলে দিন।

৬ · Parquet — type অক্ষত, শুধু দরকারি কলাম

পর্ব ১০-এ দেখেছেন, Parquet কলাম ধরে রাখে আর schema-য় প্রতিটি কলামের type লেখা থাকে। pandas-এ এর API সবচেয়ে সরল, কারণ অনুমানের কিছু নেই: df.to_parquet(path) আর pd.read_parquet(path), ভেতরে pyarrow. পড়ার সময় দুটি দরকারি option: columns= (শুধু কয়েকটি কলাম পড়া, বাকিগুলো ডিস্ক থেকে তোলাই হয় না) আর filters= (শর্ত মেলে না এমন অংশ বাদ)। ল্যাপটপে ১,০০,০০০ সারির একটি seed-দেওয়া অর্ডার-টেবিলে সত্যিকারের run:

import numpy as np, pandas as pd, pyarrow as pa

rng = np.random.default_rng(42)
n = 100_000
orders = pd.DataFrame({
    "order_id": np.arange(1, n + 1),
    "date": pd.Timestamp("2026-01-01") + pd.to_timedelta(rng.integers(0, 300, n), unit="D"),
    "district": pd.Categorical(rng.choice(["Dhaka", "Khulna", "Sylhet"], n)),
    "qty": rng.integers(1, 6, n),
    "price_paisa": rng.integers(50, 5000, n) * 100,
})
orders.to_parquet("out/orders.parquet", index=False)      # pyarrow engine
print("pandas", pd.__version__, "| pyarrow", pa.__version__)

back = pd.read_parquet("out/orders.parquet")
print(back.dtypes.astype(str).to_dict())
pd.testing.assert_frame_equal(orders, back)
print("round trip: identical")

two = pd.read_parquet("out/orders.parquet", columns=["district", "qty"])
print("columns= ->", two.shape)
dhaka = pd.read_parquet("out/orders.parquet",
                        filters=[("district", "==", "Dhaka")])
print("filters= ->", dhaka.shape, dhaka["district"].unique().tolist())

~/bazarghar-ai$ python parquet_io.py
pandas 3.1.1 | pyarrow 26.0.1
{'order_id': 'int64', 'date': 'datetime64[us]', 'district': 'category', 'qty': 'int64', 'price_paisa': 'int64'}
round trip: identical
columns= -> (100000, 2)
filters= -> (33200, 5) ['Dhaka']

তারিখ ফিরেছে তারিখ হয়ে, category ফিরেছে category হয়ে, আর assert_frame_equal কোনো আপত্তি তোলেনি — কোনো dtype বা parse_dates বলে দিতে হয়নি। filters=-এ শুধু ঢাকার ৩৩,২০০টি সারি এসেছে। (বড় ফাইলে filters row group-এর min/max দেখে পুরো অংশ না পড়েই বাদ দিতে পারে; এই ছোট ফাইলে একটিই row group, তাই এখানে কাজটি মূলত পড়ার পরে বাছাই।)

দুই format, একই পরীক্ষা — ব্রাউজারে চালিয়ে দেখুন

এবার একই ছোট টেবিল JSON Lines আর Parquet-এ লিখে আবার পড়া হবে, আর প্রতিবার মূলের সঙ্গে মেলানো হবে। একটি সৎ নোট: লেখার সময়ের Pyodide-এ df.to_parquet একটি ArrowKeyError দেয় (pandas আর pyarrow-এর version-অমিল), আর একই কারণে pd.read_parquet-ও। তাই পাতায় লেখা আর পড়া দুটোই সরাসরি pyarrow দিয়ে: লিখতে pa.Table.from_pandas তারপর pq.write_table, পড়তে pq.read_table(...).to_pandas(). নিজের কম্পিউটারে df.to_parquet আর pd.read_parquet ঠিকঠাক চলে (ওপরের run).

import pandas as pd
import pyarrow as pa, pyarrow.parquet as pq
from pandas.testing import assert_frame_equal

df = pd.DataFrame({
    "order_id": [1001, 1002, 1003],
    "phone": ["01700000000", "01800000001", "01900000002"],
    "date": pd.to_datetime(["2026-10-03", "2026-10-03", "2026-10-04"]),
    "district": ["ঢাকা", "খুলনা", "সিলেট"],
    "price_paisa": [125000, 8000, 78000],
})
df.to_json("o.jsonl", orient="records", lines=True,
           date_format="iso", force_ascii=False)
with open("o.jsonl", encoding="utf-8") as fh:
    print(fh.readline().strip())

b1 = pd.read_json("o.jsonl", lines=True)              # let pandas guess
print("guess :", b1["phone"].dtype, b1["phone"].tolist()[:1])
b2 = pd.read_json("o.jsonl", lines=True, dtype={"phone": str})
print("dtype :", b2["phone"].dtype, b2["phone"].tolist()[:1])
print("equals:", df.equals(b1), df.equals(b2))
try:
    assert_frame_equal(df, b1)
except AssertionError as e:
    print("assert:", str(e).splitlines()[0])
assert_frame_equal(df, b2)
print("JSONL round trip OK")

pq.write_table(pa.Table.from_pandas(df, preserve_index=False), "o.parquet")
b3 = pq.read_table("o.parquet").to_pandas()
assert_frame_equal(df, b3)
print("Parquet round trip OK:", b3.dtypes.astype(str).tolist())

{"order_id":1001,"phone":"01700000000","date":"2026-10-03T00:00:00.000","district":"ঢাকা","price_paisa":125000}
guess : int64 [1700000000]
dtype : str ['01700000000']
equals: False True
assert: Attributes of DataFrame.iloc[:, 1] (column name="phone") are different
JSONL round trip OK
Parquet round trip OK: ['int64', 'str', 'datetime64[us]', 'str', 'int64']

৭ · SQL — to_sql, read_sql আর parameterized query

বাজারঘরের আসল অর্ডারগুলো থাকে একটি ডেটাবেসে, কোনো ফাইলে নয়। pandas ডেটাবেসের সঙ্গে কথা বলে দুটি function দিয়ে: pd.read_sql(query, con) একটি SQL প্রশ্নের উত্তর DataFrame হিসেবে আনে, আর df.to_sql(name, con) DataFrame-কে একটি টেবিলে লেখে। এখানে con হলো ডেটাবেসের সঙ্গে একটি connection.

শেখার জন্য সবচেয়ে সহজ ডেটাবেস SQLite: একটি ফাইলেই পুরো ডেটাবেস, কোনো সার্ভার লাগে না, আর Python-এর সঙ্গেই আসে sqlite3 module হিসেবে — ব্রাউজারের Pyodide-এও। pandas-এর docs অনুযায়ী con হিসেবে একটি sqlite3 connection সরাসরি দেওয়া যায়; PostgreSQL বা MySQL-এর মতো অন্য ডেটাবেসের জন্য pandas একটি SQLAlchemy engine (বা ADBC connection) চায়। SQL ভাষা নিজে এই কোর্সে শেখানো হবে না — তার জন্য আছে DBMS & SQL কোর্স, বিশেষত GROUP BY পর্ব; Python থেকে SQLite ব্যবহারের পুরো ছবি আছে Python কোর্সের SQLite পর্বে.

মান কখনো string জোড়া দিয়ে নয়

ধরুন, ব্যবহারকারী একটি payment পদ্ধতি বেছে নেন, আর সেটি দিয়ে query বানাতে হবে। সহজ মনে হয় f-string: f"... WHERE payment = '{p}'". কিন্তু p-এর ভেতরেই যদি SQL-এর টুকরো থাকে — যেমন x' OR '1'='1 — তাহলে সেটি query-র অংশ হয়ে যায়, আর শর্তটি সব সারির জন্য সত্য। একে বলে SQL injection. প্রতিকার parameterized query: query-তে মানের জায়গায় শুধু একটি চিহ্ন (sqlite3-এ ? বা :name), আর মান আলাদাভাবে params= দিয়ে পাঠানো। ডেটাবেস তখন মানটিকে সবসময় ডেটা হিসেবে দেখে, কোড হিসেবে কখনো নয়। আক্রমণ আর প্রতিরক্ষার বিস্তারিত আছে Cybersecurity কোর্সের injection প্রতিরক্ষা পর্বে আর DBMS কোর্সের নিরাপত্তা পর্বে.

যা দরকার শুধু তা-ই আনা

দ্বিতীয় প্রশ্ন: filter আর যোগফল কোথায় করবেন? দুই পথ আছে। এক, SELECT * FROM orders দিয়ে সব সারি pandas-এ এনে সেখানে filter আর groupby. দুই, SQL-এই WHERE, GROUP BY আর SUM করে শুধু ছোট ফলটি আনা। ৮টি সারিতে পার্থক্য নেই; ২ কোটি সারির টেবিলে প্রথম পথে সব ডেটা নেটওয়ার্ক পেরিয়ে আপনার ল্যাপটপের মেমরিতে আসে, দ্বিতীয় পথে আসে হয়তো ৬৪টি জেলার ৬৪টি সারি। নিচে ধাপে ধাপে দেখুন, একটি query কীভাবে একটি ছোট DataFrame হয়ে ফেরে।

id    district payment qty price_paisa
1001  Dhaka    COD     2   72500
1002  Sylhet   COD     1   61500
1003  Khulna   bKash   3   42100
1004  Khulna   card    2   75800
1005  Khulna   card    2   53600
1006  Sylhet   card    2   45400
1007  Dhaka    card    1   46000
1008  Sylhet   card    3   28100

SELECT district, COUNT(*) AS n,
  SUM(qty * price_paisa) AS total_paisa
FROM orders WHERE payment = ?
GROUP BY district
ORDER BY total_paisa DESC

? ← "card"  (ডেটা হিসেবে)

1004  Khulna  2 × 75800 = 151600
1005  Khulna  2 × 53600 = 107200
1006  Sylhet  2 × 45400 =  90800
1007  Dhaka   1 × 46000 =  46000
1008  Sylhet  3 × 28100 =  84300

Khulna: 151600 + 107200
Sylhet:  90800 +  84300
Dhaka :  46000

Khulna  n=2  total=258800
Sylhet  n=2  total=175100
Dhaka   n=1  total= 46000

  district  n  total_paisa
0   Khulna  2       258800
1   Sylhet  2       175100
2    Dhaka  1        46000
district str · n int64
total_paisa int64

import sqlite3
import numpy as np, pandas as pd

rng = np.random.default_rng(42)
n = 8
orders = pd.DataFrame({
    "order_id": np.arange(1001, 1001 + n),
    "district": rng.choice(["Dhaka", "Khulna", "Sylhet"], n),
    "payment": rng.choice(["COD", "bKash", "card"], n),
    "qty": rng.integers(1, 4, n),
    "price_paisa": rng.integers(100, 900, n) * 100,
})
con = sqlite3.connect(":memory:")          # a database in RAM
print("rows written:", orders.to_sql("orders", con, index=False))

q = """SELECT district, COUNT(*) AS n,
       SUM(qty * price_paisa) AS total_paisa
FROM orders WHERE payment = ?
GROUP BY district ORDER BY total_paisa DESC"""
res = pd.read_sql(q, con, params=("card",))  # ? gets "card"
print(res)
print(res.dtypes.astype(str).to_dict())

# the same answer computed in pandas
card = orders[orders["payment"] == "card"]
t = (card["qty"] * card["price_paisa"]).groupby(card["district"]).sum()
print(t.sort_values(ascending=False).to_dict())

evil = "x' OR '1'='1"                      # a hostile "payment" value
s = f"SELECT COUNT(*) FROM orders WHERE payment = '{evil}'"
print("f-string :", con.execute(s).fetchone()[0], "rows")
p = "SELECT COUNT(*) FROM orders WHERE payment = ?"
print("parameter:", con.execute(p, (evil,)).fetchone()[0], "rows")
con.close()

rows written: 8
  district  n  total_paisa
0   Khulna  2       258800
1   Sylhet  2       175100
2    Dhaka  1        46000
{'district': 'str', 'n': 'int64', 'total_paisa': 'int64'}
{'Khulna': 258800, 'Sylhet': 175100, 'Dhaka': 46000}
f-string : 8 rows
parameter: 0 rows

to_sql-এর দুটি দরকারি option: if_exists ("fail" default — টেবিল থাকলে ValueError: Table 'orders' already exists.; "append" শেষে যোগ; "replace" মুছে নতুন করে) আর index — এখানেও default True, যা টেবিলে একটি বাড়তি "index" কলাম বানায় (ল্যাপটপে যাচাই করা)। আর SQLite-এ তারিখের আলাদা type নেই: to_sql তারিখকে লেখা হিসেবে রাখে, তাই ফেরত পড়তে read_sql(..., parse_dates=["date"]) দিন।

৮ · বিশ্বাসের আগে যাচাই — round trip, chunk আর URL

এই পর্বের প্রতিটি উদাহরণে একই শিক্ষা ফিরে এসেছে: পড়ার function প্রায় কখনো ব্যর্থ হয় না, কিন্তু প্রায়ই ভুল বোঝে। তাই প্রতিটি নতুন উৎস পড়ার পর চারটি জিনিস দেখার অভ্যাস করুন:

Round-trip test — লিখে আবার পড়া

লেখার দিকের যাচাই হলো round-trip test: DataFrame লিখুন, সেই ফাইল আবার পড়ুন, আর মূলের সঙ্গে মেলান। df.equals(other) শুধু True/False দেয়; pandas.testing.assert_frame_equal অমিল পেলে assertion error-এ বলে কোন কলাম, কোন বৈশিষ্ট্য (dtype, মান, index). একে একটি ছোট unit test-এ রাখলে (পর্ব ১১, Python কোর্সের pytest পর্ব) কেউ পরে লেখার কোড বদলালেও ভুল ধরা পড়ে। নিচের ধাপগুলো ল্যাপটপের একটি সত্যিকারের run থেকে।

order_id  int64
phone     str
date      datetime64[us]
district  category

order_id,phone,date,district
1001,01700000000,2026-10-03,Dhaka
1002,01800000001,2026-10-04,Khulna

order_id  int64
phone     int64   ← ছিল str
date      str     ← ছিল datetime
district  str     ← ছিল category

False
কেন, কোথায় — কিছুই বলে না

Attributes of DataFrame.iloc[:, 1]
(column name="phone") are different
Attribute "dtype" are different
[left]:  <StringDtype(na_value=nan)>
[right]: int64

pd.read_csv(f,
  dtype={"phone": str,
         "district": "category"},
  parse_dates=["date"])
assert_frame_equal → OK

বড় ফাইল — টুকরো করে পড়া

ফাইল ল্যাপটপের মেমরির চেয়ে বড় হলে read_csv(..., chunksize=N) পুরো ফাইল একবারে না এনে chunk ধরে ধরে DataFrame দেয়; প্রতিটি টুকরো থেকে দরকারি যোগফল রেখে টুকরোটি ফেলে দেওয়া যায়। ফেরত বস্তুটি একটি reader, তাই with দিয়ে খোলা ভালো, যাতে শেষে ফাইল বন্ধ হয়। ল্যাপটপে ১০ লাখ সারির একটি CSV-তে সত্যিকারের run:

import pandas as pd

total = 0
rows = 0
with pd.read_csv("out/orders.csv", chunksize=250_000,
                 usecols=["qty", "price_paisa"]) as reader:
    for chunk in reader:                       # each chunk is a DataFrame
        rows += len(chunk)
        total += int((chunk["qty"] * chunk["price_paisa"]).sum())
        print("chunk", chunk.shape)
print("rows", rows, "| revenue (taka)", f"{total / 100:,.0f}")

~/bazarghar-ai$ python chunks.py
chunk (250000, 2)
chunk (250000, 2)
chunk (250000, 2)
chunk (250000, 2)
rows 1000000 | revenue (taka) 7,578,335,574

হিসাবটি নিজে করুন: ১০,০০,০০০ ÷ ২,৫০,০০০ = ৪টি chunk. প্রতিটিতে ২টি int64 কলাম, তাই মেমরিতে মোটামুটি ২,৫০,০০০ × ২ × ৮ byte = ৪০,০০,০০০ byte ≈ ৪ MB — পুরো ফাইলের সব কলাম একসঙ্গে আনার চেয়ে অনেক কম। ভাগ মিলে না গেলে শেষ chunk ছোট হয়: ১০ লাখ সারি ৩,০০,০০০ করে নিলে ৩টি পূর্ণ chunk আর শেষটিতে ১,০০,০০০, মোট ৪টি (⌈১০,০০,০০০ ÷ ৩,০০,০০০⌉ = ৪)। যোগফল, গণনা বা সর্বোচ্চ মানের মতো কাজ chunk ধরে সহজে চলে; median বা সাজানোর মতো কাজে পুরো ডেটা লাগে, সেখানে chunk যথেষ্ট নয়। বড় ডেটার বাকি কৌশল — dtype কমানো, category, Polars — আসবে পর্ব ২৭-এ।

URL থেকে পড়া — একটি সতর্ক নোট

pd.read_csv, read_json আর read_parquet একটি ফাইলের নামের জায়গায় একটি https:// URL-ও নেয়, আর সরাসরি ইন্টারনেট থেকে পড়ে। (এই পাতার কোড-বাক্সে নেটওয়ার্ক বন্ধ, তাই এখানে উদাহরণ নেই।) সুবিধাজনক, কিন্তু তিনটি সাবধানতা: URL-এর ফাইল কাল বদলে গেলে আপনার ফলও বদলাবে, তাই একবার নামিয়ে একটি স্থানীয় কপি আর তার hash রাখুন (পর্ব ১২); অচেনা উৎসের ফাইলকে অবিশ্বস্ত ডেটা ধরুন — বিশেষত pickle-এর মতো format কখনো অচেনা উৎস থেকে খুলবেন না, কারণ pickle খোলার সময় কোড চলতে পারে; আর URL-এ কখনো আসল password বা token লিখবেন না।

৯ · AI-এর যুগে — ডেটা পড়ার কোডে AI সহকারী

“এই CSV pandas দিয়ে পড়ার কোড দাও” — AI সহকারীর কাছে সবচেয়ে সাধারণ অনুরোধগুলোর একটি। কোড প্রায় সবসময় চলে; বিপদ হলো ডেটা নীরবে বদলে যাওয়া। AI সহকারী এই কাজে সাধারণত যে ভুলগুলো করে:

AI সহকারীর কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• কোডটি নিজে চালিয়েছি, আর shape, dtypes, isna().sum() ও কয়েকটি সারি দেখেছি
• সারির সংখ্যা উৎসের record-সংখ্যা বা COUNT(*)-এর সঙ্গে মিলিয়েছি
• প্রতিটি parameter আমার pandas version-এর অফিসিয়াল docs-এ আছে কি না দেখেছি
• লেখার কোডে index-এর সিদ্ধান্ত সচেতনভাবে নেওয়া, আর একটি round-trip test আছে
• SQL-এ কোনো মান string জোড়া দিয়ে ঢোকানো হয়নি; সব params= দিয়ে
• কোনো warning বা error চাপা দেওয়া হয়নি
• আসল গ্রাহকের নাম, ফোন বা ঠিকানা, আর ডেটাবেসের password AI chatbot-এ পেস্ট করিনি