ডেটার ফাইল — CSV, JSON, Parquet আর বাংলা লেখার encoding

১ · ফাইল মানে byte — text আর binary

AI-এর যেকোনো প্রকল্পে প্রথম কাজটি প্রায় সবসময় একই: কোথাও থেকে একটি ফাইল আসে, আর সেটি ঠিকমতো পড়তে হয়। বাজারঘরের (এই কোর্সের কাল্পনিক অনলাইন দোকান) হিসাব বিভাগ পাঠায় Excel ফাইল, ওয়েবসাইট লেখে log, ডেলিভারির অংশীদার পাঠায় CSV, আর ডেটা দল রাখে Parquet. Model যত ভালোই হোক, ফাইল পড়ার ধাপে একটি ফোন নম্বরের শূন্য হারালে বা একটি বাংলা নাম ভেঙে গেলে পরের সব কাজ ভুল ডেটায় চলে।

Python-এ ফাইল খোলা, with আর pathlib আপনি Python কোর্সের File handling পর্বে শিখেছেন, আর csv ও json module-এর ব্যবহার আছে CSV ও JSON পর্বে. এখানে সেগুলো আবার শেখানো হবে না। এই পর্বের প্রশ্ন অন্য: ফাইলের ভেতরে ডেটা কীভাবে সাজানো থাকে, আর AI-এর কাজে কোন format কেন বেছে নেবেন।

দুই ক্ষেত্রেই ডিস্কে থাকে শুধু byte — ০ থেকে ২৫৫-এর সংখ্যা। Text ফাইলে byte-গুলো একটি character encoding (যেমন UTF-8) মেনে অক্ষর বোঝায়; সংখ্যা 350 আসলে তিনটি অক্ষর 3, 5, 0. Binary ফাইলে byte-গুলো একটি নির্দিষ্ট গঠন মেনে চলে: “প্রথম ৮ byte একটি ৬৪-বিটের পূর্ণসংখ্যা”, “এরপর একটি তারিখ”, ইত্যাদি। তাই binary ফাইলে type হারায় না, কিন্তু নোটপ্যাডে খুললে অর্থহীন চিহ্ন দেখা যায়।

কোনোটি সবসময় ভালো নয়: ছোট, আদান-প্রদানের ডেটায় text-এর সুবিধা বেশি; বড়, বারবার পড়া ডেটায় binary columnar format এগিয়ে।

২ · CSV-এর ভেতরে — delimiter, header আর quote

CSV (Comma-Separated Values) সবচেয়ে পুরোনো আর সবচেয়ে প্রচলিত ডেটা ফাইলগুলোর একটি। নিয়মগুলো শুনতে সরল: প্রতিটি লাইন একটি সারি (record), আর একটি delimiter — সাধারণত কমা — দিয়ে সারির মানগুলো (field) আলাদা করা। প্রথম লাইনে প্রায়ই কলামের নাম থাকে, যাকে বলে header.

order_id,customer,phone,amount
1001,রহিমা,01700000000,350
1002,কামাল,01800000001,1200

সমস্যা শুরু হয় যখন মানের ভেতরেই কমা থাকে। ঠিকানা “আগ্রাবাদ, চট্টগ্রাম” লিখলে কমাটি কি field-এর অংশ, নাকি নতুন field-এর শুরু? এর সমাধান quoting: পুরো field-টি দুটি double quote (")-এর মধ্যে রাখা। Quote-এর ভেতরে কমা, এমনকি নতুন লাইনও, সাধারণ অক্ষর। আর field-এর ভেতরেই যদি " থাকে? তখন সেটি পরপর দুবার লেখা হয়: "".

নিচের একটি লাইনে এই তিন নিয়মই আছে। একটি CSV parser লাইনটি কীভাবে বাম থেকে ডানে পড়ে, “পরে” চেপে দেখুন। লক্ষ রাখুন, parser প্রতিটি মুহূর্তে একটি অবস্থায় থাকে: হয় সাধারণ field-এ, নয়তো quote-এর ভেতরে।

এই কারণেই CSV পড়তে কখনো নিজে split(",") লেখা উচিত নয়। Python-এর csv module বা pandas-এর read_csv ঠিক উপরের মতো অবস্থা ধরে ধরে পড়ে।

৩ · CSV-এর ফাঁদ — হারানো শূন্য, Excel আর অদৃশ্য BOM

CSV-তে type লেখা থাকে না। পড়ার প্রোগ্রাম প্রতিটি কলাম দেখে অনুমান করে: সব মান অঙ্ক হলে সংখ্যা, তারিখের মতো দেখালে তারিখ। এই অনুমানই বাংলাদেশের ডেটায় সবচেয়ে বেশি ক্ষতি করে, কারণ এখানে মোবাইল নম্বর শুরু হয় 01 দিয়ে। 01700000000-কে সংখ্যা ধরলে প্রথম শূন্যটি অর্থহীন, তাই বাদ পড়ে: 1700000000. এখন সেটি আর কোনো নম্বর নয়, আর SMS পাঠানোর কোডও ভুল জায়গায় যাবে। (এই পর্বের সব ফোন নম্বর স্পষ্টতই বানানো।)

নিচে বাজারঘরের ডেলিভারি অংশীদারের পাঠানো একটি এলোমেলো CSV আছে। এতে চারটি ফাঁদ: ঠিকানার ভেতরে কমা, একটি রিভিউর ভেতরে নতুন লাইন, দ্বিগুণ quote, আর ফাইলের একদম শুরুতে একটি অদৃশ্য BOM. ফাইলটি পাতার ভেতরেই রাখা, কোড তাকে orders_messy.csv নামে পড়ে।

order_id,customer,phone,address,review,amount
1001,রহিমা,01700000000,"মিরপুর ১০, ঢাকা",ভালো,350
1002,কামাল,01800000001,"আগ্রাবাদ, চট্টগ্রাম","দাম ঠিক, ডেলিভারি দেরি",1200
1003,সুমি,01900000002,খুলনা,"প্যাকেট ভালো
তবে দেরি",780
1004,জামাল,01500000003,সিলেট,"বললেন ""আবার কিনব""",95

import csv
import pandas as pd

raw = open("orders_messy.csv", encoding="utf-8").read()
lines = raw.splitlines()
print("text lines in file:", len(lines))
print("naive split(',') on line 3:", len(lines[2].split(",")), "pieces")

with open("orders_messy.csv", encoding="utf-8", newline="") as f:
    first = next(csv.DictReader(f))
print("csv + utf-8     first key:", repr(list(first)[0]))
with open("orders_messy.csv", encoding="utf-8-sig", newline="") as f:
    rows = list(csv.DictReader(f))
print("csv + utf-8-sig first key:", repr(list(rows[0])[0]))
print("records:", len(rows), "| fields in record 2:", len(rows[1]))

df = pd.read_csv("orders_messy.csv")
print("\npandas default :", df["phone"].dtype, df["phone"].tolist()[:2])
df = pd.read_csv("orders_messy.csv", dtype={"phone": str})
print("dtype phone=str:", df["phone"].dtype, df["phone"].tolist()[:2])
print(df[["order_id", "address", "amount"]].to_string(index=False))
print(repr(df.loc[2, "review"]), "|", df.loc[3, "review"])

text lines in file: 6
naive split(',') on line 3: 8 pieces
csv + utf-8     first key: '\ufefforder_id'
csv + utf-8-sig first key: 'order_id'
records: 4 | fields in record 2: 6

pandas default : int64 [1700000000, 1800000001]
dtype phone=str: str ['01700000000', '01800000001']
 order_id             address  amount
     1001     মিরপুর ১০, ঢাকা     350
     1002 আগ্রাবাদ, চট্টগ্রাম    1200
     1003               খুলনা     780
     1004               সিলেট      95
'প্যাকেট ভালো\nতবে দেরি' | বললেন "আবার কিনব"

Excel — সবচেয়ে বেশি ব্যবহৃত, সবচেয়ে বেশি “সাহায্যকারী”

অনেক অফিসে CSV মানেই Excel-এ ডাবল-ক্লিক করে খোলা। Excel খোলার সময় নিজে থেকে মান “ঠিক” করে দেয়, আর আবার সেভ করলে সেই বদল ফাইলে স্থায়ী হয়ে যায়। সাধারণত দেখা যায় এমন কয়েকটি ঘটনা (Excel-এর version আর কম্পিউটারের অঞ্চল-সেটিং অনুযায়ী আচরণ বদলায়):

শেষ দুটির সমাধান উল্টো দিক থেকে আসে: যে CSV Excel ব্যবহারকারী খুলবেন, তা লেখার সময় df.to_csv("out.csv", encoding="utf-8-sig") দিন। শুরুর তিনটি byte EF BB BF (BOM) দেখে Excel বোঝে এটি UTF-8. অর্থাৎ BOM একই সঙ্গে ফাঁদ (Python-এর csv-এ অদৃশ্য অক্ষর) আর সমাধান (Excel-এ বাংলা ঠিক দেখানো)। আর ফোন নম্বর বা ID কলাম ঠিক রাখতে Excel-এ ফাইল খোলার সময় Data → From Text/CSV দিয়ে কলামের type “Text” বেছে নেওয়া নিরাপদ।

৪ · JSON আর JSON Lines — record, nested ডেটা আর log

CSV একটি সমতল টেবিল: প্রতিটি সারিতে একই কলাম। কিন্তু বাজারঘরের একটি অর্ডারে কয়েকটি পণ্য থাকে, প্রতিটি পণ্যের নিজের দাম আর পরিমাণ। এমন ডেটা টেবিলে আঁটে না। JSON (JavaScript Object Notation) এখানে স্বাভাবিক: object ({}), list ([]), string, সংখ্যা, true/false আর null — এক অপরের ভেতরে যত খুশি।

{"order_id": 1002, "district": "চট্টগ্রাম",
 "ordered_at": "2026-11-04T09:30:00+06:00",
 "items": [{"sku": "TEA-250", "qty": 2, "price": 180.0},
           {"sku": "MUG-01",  "qty": 1, "price": 350.0}]}

JSON-এর type ব্যবস্থা ছোট, আর সেখানেই কয়েকটি ফাঁদ: তারিখের কোনো type নেই — তারিখ আসে লেখা হিসেবে, তাই ISO 8601 (অংশ ৯) মেনে লেখা জরুরি। NaN বা Infinity মান নেই (JSON-এর মান RFC 8259); pandas missing মানকে null লেখে। আর খুব বড় পূর্ণসংখ্যা (২^৫৩-এর বেশি) অনেক JavaScript-ভিত্তিক টুলে নিখুঁত থাকে না, কারণ সেখানে সব সংখ্যা ৬৪-বিট floating point. তাই বড় ID প্রায়ই string হিসেবে পাঠানো ভালো।

JSON Lines — প্রতিটি লাইনে একটি record

একটি বড় JSON list-এ লাখো অর্ডার রাখলে দুটি সমস্যা: পুরো ফাইল একসঙ্গে মেমরিতে না নিয়ে পড়া কঠিন, আর নতুন অর্ডার যোগ করতে শেষের ] সরিয়ে আবার লিখতে হয়। JSON Lines (JSONL, প্রায় একই ধারণার আরেক নাম NDJSON) এর সহজ সমাধান: প্রতিটি লাইনে একটি সম্পূর্ণ JSON record, আর কিছু নয়।

{"ts": "2026-11-04T09:30:12+06:00", "event": "search", "q": "চা পাতা"}
{"ts": "2026-11-04T09:30:40+06:00", "event": "add_to_cart", "sku": "TEA-250"}
{"ts": "2026-11-04T09:31:05+06:00", "event": "checkout", "amount": 360}

Log লেখার প্রোগ্রাম শুধু শেষে একটি লাইন জুড়ে দেয়; মাঝপথে বন্ধ হলে বড়জোর শেষ লাইনটি ভাঙে; আর লাইন ধরে পড়া যায় বলে ফাইল মেমরির চেয়ে বড় হলেও সমস্যা নেই। অনেক ML আর ভাষা-model-এর ডেটাসেট (প্রশ্ন–উত্তরের জোড়া, লেবেল দেওয়া রিভিউ) এই format-এ বিতরণ করা হয়। pandas-এ পড়া-লেখা এক লাইনে: pd.read_json("log.jsonl", lines=True) আর df.to_json("out.jsonl", orient="records", lines=True). JSON Lines কোনো আনুষ্ঠানিক মান নয়, jsonlines.org-এ লেখা একটি প্রচলিত রীতি: UTF-8, প্রতি লাইনে একটি বৈধ JSON মান, লাইন শেষ \n.

৫ · Parquet আর Arrow — কলাম ধরে রাখা

CSV আর JSONL সারি ধরে লেখে: একটি অর্ডারের সব মান পাশাপাশি, তারপর পরের অর্ডার। একে বলে row-oriented রাখা। কিন্তু বিশ্লেষণ আর ML-এর প্রশ্ন সাধারণত কলাম ধরে: “জেলাভিত্তিক মোট বিক্রি কত?” — এতে লাগে শুধু district আর price, বাকি কলাম নয়। Parquet একটি binary format, যা ডেটা কলাম ধরে রাখে (columnar storage).

কলাম ধরে রাখার তিনটি সুবিধা নিচের ছোট টেবিলে ধাপে ধাপে দেখুন। টেবিলে বাজারঘরের চারটি অর্ডার: id, district, qty, price.

id  district  qty  price
1   Dhaka     2    350
2   Dhaka     1    1200
3   Khulna    3    780
4   Dhaka     1    95

1,Dhaka,2,350⏎        14 byte
2,Dhaka,1,1200⏎       15 byte
3,Khulna,3,780⏎       15 byte
4,Dhaka,1,95⏎         13 byte

id:       1 2 3 4               int64
district: Dhaka Dhaka Khulna Dhaka
qty:      2 1 3 1               int64
price:    350 1200 780 95       double

CSV:     ৪টি লাইনের সব ৫৭ byte
         পড়ে, ভেঙে, তারপর ৪র্থ field
Parquet: শুধু price খণ্ড (৪টি মান)
উত্তর:   350+1200+780+95 = 2425

dictionary:
  0 = Dhaka
  1 = Khulna
codes: 0 0 1 0
"Dhaka" ৩ বারের বদলে একবার,
তারপর শুধু ছোট সংখ্যা

Parquet-এর সঙ্গী Apache Arrow. Parquet হলো ডিস্কে রাখার format; Arrow হলো মেমরিতে একই কলাম-ভিত্তিক সাজানোর একটি মান, যাতে pandas, Polars, DuckDB, Spark-এর মতো আলাদা টুল একই ডেটা কপি না করেই ভাগ করতে পারে। Python-এ দুটির কাজই করে pyarrow package; pandas-এর to_parquet আর read_parquet ভেতরে pyarrow ব্যবহার করে।

এবার নিজে চালিয়ে দেখুন। নিচের কোড seed দিয়ে বাজারঘরের ২০,০০০ অর্ডারের একটি টেবিল বানায় (অর্ডারের সময় Asia/Dhaka time zone-সহ), তারপর একই টেবিল চারভাবে লেখে আর আকার তুলনা করে। Pyodide-এ pyarrow আছে, তাই Parquet আপনার ব্রাউজারেই লেখা হয়। একটি সৎ নোট: লেখার সময়ের Pyodide-এ pandas আর pyarrow-এর version-অমিলে df.to_parquet error দেয়, তাই এখানে সরাসরি pyarrow-এর pa.Table.from_pandas আর pq.write_table ব্যবহার করা হয়েছে — এতে Arrow টেবিলটিও চোখে পড়ে। নিজের কম্পিউটারে df.to_parquet(...) ঠিকঠাক চলে (নিচের সত্যিকারের run).

import os
import numpy as np, pandas as pd
import pyarrow as pa, pyarrow.parquet as pq
import tzdata   # IANA time-zone rules (Pyodide needs it for Asia/Dhaka)

rng = np.random.default_rng(42)
N = 20_000
districts = ["Dhaka", "Chattogram", "Khulna", "Rajshahi",
             "Sylhet", "Barishal", "Rangpur", "Mymensingh"]
start = pd.Timestamp("2026-01-01", tz="Asia/Dhaka")
df = pd.DataFrame({
    "order_id": np.arange(1, N + 1),
    "ordered_at": start + pd.to_timedelta(rng.integers(0, 300 * 86400, N), unit="s"),
    "district": pd.Categorical(rng.choice(districts, N)),
    "qty": rng.integers(1, 6, N),
    "price": rng.integers(50, 5000, N).astype("float64"),
})
df.to_csv("o.csv", index=False)
df.to_json("o.jsonl", orient="records", lines=True, date_format="iso")
table = pa.Table.from_pandas(df, preserve_index=False)   # pandas -> Arrow
pq.write_table(table, "o.parquet")                        # snappy by default
pq.write_table(table, "o_zstd.parquet", compression="zstd")
print("pyarrow", pa.__version__, "| rows", N)
for f in ["o.csv", "o.jsonl", "o.parquet", "o_zstd.parquet"]:
    print(f"{f:15}{os.path.getsize(f) / 1024:8.0f} KB")

print("\nCSV line 2  :", open("o.csv").readlines()[1].strip())
print("JSONL line 1:", open("o.jsonl").readline()[:66])
back_csv = pd.read_csv("o.csv")
back_pq = pq.read_table("o.parquet").to_pandas()          # Arrow -> pandas
print("csv  ->", back_csv["ordered_at"].dtype, back_csv["district"].dtype)
print("parq ->", back_pq["ordered_at"].dtype, back_pq["district"].dtype)
print("schema:", pq.read_schema("o.parquet").field("price"))

pyarrow 22.0.0 | rows 20000
o.csv               952 KB
o.jsonl            2007 KB
o.parquet           364 KB
o_zstd.parquet      305 KB

CSV line 2  : 1,2026-01-27 18:36:24+06:00,Sylhet,4,4632.0
JSONL line 1: {"order_id":1,"ordered_at":"2026-01-27T12:36:24.000Z","district":"
csv  -> str str
parq -> datetime64[us, Asia/Dhaka] category
schema: pyarrow.Field<price: double>

বড় টেবিলে সত্যিকারের তুলনা

ব্রাউজারের ছোট টেবিলে সময় মাপা অর্থহীন, তাই একটি ল্যাপটপে একটি বাড়তি স্ক্রিপ্ট (bench.py) দিয়ে একই ধরনের টেবিল ১০ লাখ সারিতে বানিয়ে মাপা হয়েছে। প্রতিটি পড়া তিনবার চালিয়ে সবচেয়ে কম সময় নেওয়া হয়েছে। সত্যিকারের run, লেখার সময়ের version: Python 3.14.4, pandas 3.1.0, pyarrow 26.0.1; virtual environment uv দিয়ে বানানো (পর্ব ০৭-এ দেখেছেন)।

uv pip install pandas pyarrow openpyxl
python bench.py 1000000

~/bazarghar-ai$ python bench.py 1000000
python 3.14.4  pandas 3.1.0  pyarrow 26.0.1
rows 1000000 cols 7
in-memory MB 49.0
file                        MB  write s   read s
orders.csv                57.0     9.47     0.05
  csv dtypes back: str str
orders.jsonl             139.0     7.21     2.99
orders.parquet            15.8     0.15     0.02
  parquet dtypes back: datetime64[us, Asia/Dhaka] category
orders_zstd.parquet       12.0     0.13     0.02
csv + parse_dates + category: 0.59 s  -> datetime64[us, UTC+06:00]
one column: csv 0.07 s  parquet 0.006 s
row groups 1  columns 7
  order_id      INT64      SNAPPY    4.28 MB
  ordered_at    INT64      SNAPPY    7.63 MB
  district      BYTE_ARRAY SNAPPY    0.38 MB
  product_id    INT64      SNAPPY    1.13 MB
  qty           INT64      SNAPPY    0.38 MB
  price         DOUBLE     SNAPPY    1.65 MB
  delivery_days INT64      SNAPPY    0.38 MB

এই একটি local run থেকে যা পড়া যায় (অন্য মেশিনে সংখ্যা বদলাবে, প্রবণতা সাধারণত একই থাকে):

• আকার: Parquet (snappy) CSV-র প্রায় ২৮%, zstd-তে প্রায় ২১%. JSONL CSV-র প্রায় আড়াই গুণ।
• লেখা: CSV লিখতে ৯.৪৭ সেকেন্ড, Parquet-এ ০.১৫ — প্রায় ৬০ গুণ পার্থক্য। CSV-তে প্রতিটি সংখ্যা আর time zone-সহ তারিখকে লেখায় রূপান্তর করতে হয়।
• পড়া: এখানে একটি সৎ বিস্ময় — pandas-এর CSV reader নিজেও খুব দ্রুত (০.০৫ সেকেন্ড)। কিন্তু তখন তারিখ আর জেলা শুধু লেখা। একই type পেতে (parse_dates, category) লাগল ০.৫৯ সেকেন্ড, আর তখনও zone-এর নাম হারিয়ে শুধু UTC+06:00 offset রইল। Parquet ০.০২ সেকেন্ডে সব type অক্ষতসহ দিল।
• একটি কলাম: শুধু price পড়তে Parquet-এ ০.০০৬ সেকেন্ড, কারণ বাকি কলাম ছোঁয়াই হয়নি।
• কোন কলাম কত জায়গা নেয়: district মাত্র ০.৩৮ MB — আটটি আলাদা মান, dictionary encoding-এ চাপা। সবচেয়ে বড় ordered_at, কারণ প্রায় প্রতিটি সময় আলাদা।

৬ · Excel ফাইল — xlsx আর openpyxl

অফিসের ডেটার বড় অংশ আসে Excel-এর xlsx ফাইলে। xlsx আসলে একটি ZIP ফাইল, যার ভেতরে কয়েকটি XML ফাইল (Office Open XML format) — প্রতিটি sheet, style আর শেয়ার করা লেখার জন্য আলাদা। এতে type থাকে (সংখ্যা, লেখা, তারিখ), একাধিক sheet থাকে, কিন্তু formula, merge করা cell, রং দিয়ে বোঝানো অর্থ — এগুলো ডেটা বিশ্লেষণে প্রায়ই ঝামেলা বাড়ায়। একটি sheet-এ সর্বোচ্চ ১০,৪৮,৫৭৬টি সারি ধরে, তাই বড় ডেটার জন্য xlsx ঠিক জায়গা নয়।

Python-এ xlsx পড়া-লেখার প্রধান package openpyxl; pandas-এর read_excel আর to_excel xlsx-এর জন্য ভেতরে এটিই ব্যবহার করে। openpyxl Pyodide-এ নেই, তাই এটি ল্যাপটপে চালানো হয়েছে। সত্যিকারের run, openpyxl 3.1.5:

import pandas as pd, openpyxl
df = pd.DataFrame({"customer": ["রহিমা", "কামাল"],
                   "phone": ["01700000000", "01800000001"],
                   "ordered_on": pd.to_datetime(["2026-03-05", "2026-11-04"])})
df.to_excel("out/customers.xlsx", index=False, sheet_name="orders")
print("openpyxl", openpyxl.__version__)
back = pd.read_excel("out/customers.xlsx", sheet_name="orders")
print(back)
print(back.dtypes.astype(str).to_dict())
wb = openpyxl.load_workbook("out/customers.xlsx")
ws = wb["orders"]
print([(c.value, c.data_type, c.number_format) for c in ws[2]])

~/bazarghar-ai$ python excel.py
openpyxl 3.1.5
  customer       phone ordered_on
0    রহিমা  1700000000 2026-03-05
1    কামাল  1800000001 2026-11-04
{'customer': 'str', 'phone': 'int64', 'ordered_on': 'datetime64[us]'}
[('রহিমা', 's', 'General'), ('01700000000', 's', 'General'),
 (datetime.datetime(2026, 3, 5, 0, 0), 'd', 'YYYY-MM-DD HH:MM:SS')]

এই ফলটি শিক্ষণীয়। শেষ লাইনে openpyxl দেখাচ্ছে, ফাইলের ভেতরে ফোন নম্বর ঠিকঠাক লেখা ('s' = string) হিসেবেই আছে — শূন্যসহ। তবুও pd.read_excel পড়ার সময় কলামটিকে সংখ্যা বানিয়ে শূন্য ফেলে দিয়েছে, ঠিক CSV-র মতো। প্রতিকারও একই: pd.read_excel(..., dtype={"phone": str}); একই run-এ এটি দিলে ফিরেছে ['01700000000', '01800000001']. শিক্ষা: binary format-এ type থাকলেও, পড়ার টুল নিজের অনুমান চাপাতে পারে — ফল সবসময় যাচাই করুন।

৭ · Encoding — byte থেকে বাংলা লেখা

Python-এ দুটি আলাদা জিনিস আছে: str (লেখা, অর্থাৎ অক্ষরের সারি) আর bytes (০–২৫৫ সংখ্যার সারি)। ফাইল, নেটওয়ার্ক আর ডিস্ক শুধু bytes বোঝে। লেখাকে bytes বানানো হলো encode, আর উল্টোটা decode; কোন নিয়মে বানানো হবে, সেটিই encoding.

প্রথম ধাপ Unicode: পৃথিবীর প্রায় সব লিপির প্রতিটি অক্ষর-চিহ্নকে একটি নম্বর দেয়, যার নাম code point. বাংলা লিপির জন্য বরাদ্দ U+0980 থেকে U+09FF. “দ” হলো U+09A6, আকার-চিহ্ন “া” U+09BE, “ম” U+09AE. লক্ষ করুন, চোখে “দা” একটি অক্ষর মনে হলেও Unicode-এ দুটি code point. দ্বিতীয় ধাপ UTF-8: প্রতিটি code point-কে ১ থেকে ৪ byte-এ লেখার নিয়ম। ইংরেজি অক্ষর (ASCII) ১ byte-এ, আর বাংলার প্রতিটি code point ৩ byte-এ। নিচে “দাম” শব্দটির যাত্রা দেখুন।

দ  →  U+09A6
া  →  U+09BE   (আকার-চিহ্ন)
ম  →  U+09AE

U+09A6 = 0000 1001 1010 0110
ছাঁচ:  1110xxxx 10xxxxxx 10xxxxxx
       11100000 10100110 10100110
     =   E0       A6       A6

দ: e0 a6 a6
া: e0 a6 be
ম: e0 a6 ae
৩টি অক্ষর → ৯ byte; "Dhaka" → ৫ byte

e0 a6 a6 | e0 a6 be | e0 a6 ae
   দ          া          ম
→ দাম

e0→à  a6→¦  a6→¦  e0→à  a6→¦
be→¾  e0→à  a6→¦  ae→®
→ দাম  (৯টি "অক্ষর")

“Mojibake” শব্দটি জাপানি, মোটামুটি অর্থ “অক্ষরের রূপ বদলে যাওয়া”। বাংলা UTF-8 লেখা cp1252 বা Latin-1 ধরে পড়লে সবসময় à¦ বা à§ দিয়ে শুরু হওয়া চিহ্নের ঝাঁক দেখা যায় — কারণ বাংলার সব code point-এর UTF-8 রূপ শুরু হয় E0 A6 বা E0 A7 দিয়ে। এই চেহারা চিনে রাখুন: “ঔ দেখলেই বুঝবেন, এখানে UTF-8 বাংলা ভুলভাবে পড়া হয়েছে। নিজে চালিয়ে দেখুন:

word = "দাম"
data = word.encode("utf-8")          # text -> bytes
print(len(word), "characters ->", len(data), "bytes")
for ch in word:
    print(" ", ch, f"U+{ord(ch):04X}", "->", ch.encode("utf-8").hex(" "))

print("read as utf-8 :", data.decode("utf-8"))
wrong = data.decode("cp1252")        # the classic mistake
print("read as cp1252:", wrong)

# mojibake can often be undone, if nothing was lost
fixed = wrong.encode("cp1252").decode("utf-8")
print("repaired      :", fixed, fixed == word)

# but some UTF-8 bytes have no cp1252 meaning at all
moon = "চাঁদ".encode("utf-8")
print("\nচাঁদ bytes:", moon.hex(" "))
try:
    moon.decode("cp1252")
except UnicodeDecodeError as e:
    print("UnicodeDecodeError at byte", hex(moon[e.start]))
lost = moon.decode("cp1252", errors="replace")
print("errors='replace':", lost, "-> back:",
      lost.encode("cp1252", errors="replace").decode("utf-8", errors="replace"))
print("bytes for 'Dhaka':", len("Dhaka".encode("utf-8")))

3 characters -> 9 bytes
  দ U+09A6 -> e0 a6 a6
  া U+09BE -> e0 a6 be
  ম U+09AE -> e0 a6 ae
read as utf-8 : দাম
read as cp1252: দাম
repaired      : দাম True

চাঁদ bytes: e0 a6 9a e0 a6 be e0 a6 81 e0 a6 a6
UnicodeDecodeError at byte 0x81
errors='replace': চাà¦�দ -> back: চা�?দ
bytes for 'Dhaka': 5

বাস্তব নিয়ম তিনটি। এক, লেখার সময় সবসময় encoding="utf-8" স্পষ্ট লিখুন; Windows-এ Python-এর পুরোনো version-গুলো open()-এ encoding না দিলে সিস্টেমের codepage ধরে নিত (Python 3.15 থেকে UTF-8 ডিফল্ট হওয়ার কথা, PEP 686) — স্পষ্ট লিখলে প্রশ্নই ওঠে না। দুই, শুরুতে BOM থাকতে পারে এমন ফাইল (Excel বা Notepad থেকে আসা) পড়তে encoding="utf-8-sig" — BOM থাকলে ফেলে দেয়, না থাকলে সাধারণ UTF-8-এর মতোই পড়ে। তিন, encoding অজানা হলে প্রথম কয়েকশো byte open(path, "rb").read(300) দিয়ে দেখুন; e0 a6-এর ঝাঁক মানে UTF-8 বাংলা।

৮ · Unicode normalization — “য়”-এর দুই রূপ

Encoding ঠিক থাকলেও বাংলা লেখায় আরেকটি সূক্ষ্ম ফাঁদ আছে। কিছু অক্ষর Unicode-এ দুইভাবে লেখা যায়। “য়” হতে পারে একটি code point U+09DF (BENGALI LETTER YYA), অথবা দুটি: “য” (U+09AF) আর তার নিচে নুক্তা চিহ্ন (U+09BC). স্ক্রিনে দুটি হুবহু এক দেখায়। কিন্তু Python-এর কাছে এরা আলাদা string, তাই == মিথ্যা হয়, খোঁজা ব্যর্থ হয়, আর groupby একই জেলাকে দুই দলে ভাগ করে। একই ব্যাপার “ড়” আর “ঢ়”-এর ক্ষেত্রেও। কে কোন রূপ পাবেন, তা অনেক সময় নির্ভর করে কোন keyboard, ফোন বা রূপান্তর-টুলে লেখা হয়েছে তার ওপর।

এর সমাধান Unicode normalization: সব লেখাকে একটি নির্দিষ্ট “প্রমিত রূপে” আনা। সবচেয়ে প্রচলিত রূপ NFC. নিচের কোডে বাজারঘরের অর্ডারে “ময়মনসিংহ” দুইভাবে টাইপ করা আছে:

import unicodedata as ud
import pandas as pd

one = "\u09df"            # য় as a single code point
two = "\u09af\u09bc"      # য followed by the nukta sign
for s in (one, two):
    print(s, len(s), [f"U+{ord(c):04X}" for c in s])
print("equal?", one == two)

# the same district typed on two different keyboards
city_a = "ম" + one + "মনসিংহ"
city_b = "ম" + two + "মনসিংহ"
orders = pd.DataFrame({"district": [city_a, city_b, city_b, "ঢাকা"],
                       "amount": [500, 300, 200, 900]})
print(orders.groupby("district")["amount"].sum())

nfc = lambda s: ud.normalize("NFC", s)
print("\nNFC of one:", [f"U+{ord(c):04X}" for c in nfc(one)])
print("NFC of two:", [f"U+{ord(c):04X}" for c in nfc(two)])
orders["district"] = orders["district"].map(nfc)
print(orders.groupby("district")["amount"].sum())
print("search 'ময়মনসিংহ' finds:",
      (orders["district"] == nfc("ম\u09dfমনসিংহ")).sum(), "rows")

য় 1 ['U+09DF']
য় 2 ['U+09AF', 'U+09BC']
equal? False
district
ঢাকা         900
ময়মনসিংহ    500
ময়মনসিংহ     500
Name: amount, dtype: int64

NFC of one: ['U+09AF', 'U+09BC']
NFC of two: ['U+09AF', 'U+09BC']
district
ঢাকা          900
ময়মনসিংহ    1000
Name: amount, dtype: int64
search 'ময়মনসিংহ' finds: 3 rows

৯ · তারিখ, আকারের হিসাব আর format বাছাই

তারিখ আর time zone

“০৫/০৩/২০২৬” — এটি ৫ মার্চ, নাকি ৩ মে? বাংলাদেশে সাধারণত দিন আগে লেখা হয়, যুক্তরাষ্ট্রে মাস আগে। ফাইলে তারিখ লেখার নিরাপদ নিয়ম ISO 8601: বড় একক থেকে ছোট, 2026-03-05; সময়সহ 2026-03-05T18:36:24+06:00. লেখা হিসেবে সাজালেও ক্রম ঠিক থাকে।

শেষের +06:00 হলো UTC থেকে পার্থক্য (offset). বাংলাদেশের time zone-এর নাম IANA tz database-এ Asia/Dhaka, এখন UTC+06:00. Offset আর zone-এর নাম এক জিনিস নয়: zone-এর নাম ইতিহাসও বহন করে। যেমন, বাংলাদেশ ২০০৯ সালের মাঝামাঝি থেকে বছরের শেষ পর্যন্ত কয়েক মাস daylight saving time চালু করেছিল, তখন ঘড়ি এক ঘণ্টা এগোনো ছিল; Asia/Dhaka জানে সেই সময়ের offset ছিল +07:00. শুধু “+06:00” লিখে রাখলে এই তথ্য থাকে না। অংশ ৫-এর run-এ ঠিক এটিই দেখা গেছে: CSV থেকে পড়া তারিখে শুধু UTC+06:00, Parquet-এ পুরো Asia/Dhaka.

ব্যবহারিক নিয়ম: সার্ভার আর log-এ সময় রাখুন UTC-তে (ISO 8601, Z বা +00:00-সহ), আর মানুষকে দেখানোর বা “ঢাকার সকাল ৯টার অর্ডার” জাতীয় বিশ্লেষণের সময় Asia/Dhaka-তে রূপান্তর করুন। কখনো offset ছাড়া সময় (naive time) একাধিক উৎস থেকে মেশাবেন না — কোনটি ঢাকার সময় আর কোনটি UTC, পরে আর বোঝা যাবে না। Time series-এর কাজ বিস্তারিত আসবে পর্ব ২৬-এ।

ডেটার আকার আগে থেকে হিসাব

একটি ফাইল খোলার আগেই মোটামুটি বলা যায় মেমরিতে কত জায়গা লাগবে:

মেমরি ≈ সারির সংখ্যা × কলামের সংখ্যা × প্রতি মানের byte

এখানে প্রতি মানের byte নির্ভর করে type-এর ওপর: int64 আর float64 ৮ byte, int8 ১ byte, category-র code সাধারণত ১–২ byte; লেখার কলামে প্রতিটি মানের নিজের দৈর্ঘ্য আর বাড়তি খরচ। কষে দেখা উদাহরণ: অংশ ৫-এর টেবিলে ১০ লাখ সারি; ৬টি কলাম ৮-byte-এর (order_id, ordered_at, product_id, qty, price, delivery_days) আর ১টি category (৮টি জেলা, code ১ byte). হিসাব: ১০,০০,০০০ × ৬ × ৮ = ৪,৮০,০০,০০০ byte = ৪৮ MB, আর জেলার code ১০,০০,০০০ × ১ = ১ MB; মোট ≈ ৪৯ MB. Local run-এর মাপ: in-memory MB 49.0 — হুবহু মিলে গেছে।

CSV-র আকার অনুমানে দরকার গড় লাইনের দৈর্ঘ্য: ৫৭ MB ÷ ১০ লাখ লাইন ≈ ৫৭ byte প্রতি লাইন। বাংলা লেখার কলামে মনে রাখুন, প্রতিটি বাংলা code point UTF-8-এ ৩ byte: গড়ে ৪০ code point-এর একটি রিভিউ ≈ ১২০ byte, ১০ লাখ রিভিউ ≈ ১২০ MB শুধু লেখাতেই। আর pandas-এ পড়া ডেটা সাধারণত ফাইলের চেয়ে বেশি মেমরি নেয়, তাই ল্যাপটপের RAM-এর কাছাকাছি আকারের ফাইল একবারে খোলার আগে ভাবুন।

কোন কাজে কোন format

১০ · AI-এর যুগে — ফাইল পড়ার কোডে AI সহকারী

CSV পড়ার কোড AI সহকারীর কাছে সবচেয়ে সাধারণ অনুরোধগুলোর একটি। বিপদ হলো, কোড “চলে”, কিন্তু ডেটা নীরবে বদলে যায়। AI সহকারী প্রায়ই যে ভুলগুলো করে:

AI সহকারীর কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• কোডটি নিজে চালিয়েছি, আর df.shape, df.dtypes ও প্রথম-শেষ কয়েকটি সারি দেখেছি
• সারির সংখ্যা মূল উৎসের সংখ্যার সঙ্গে মিলিয়েছি (লাইন গোনা নয়, record গোনা)
• ফোন নম্বর আর ID কলাম লেখা হিসেবে আছে, দৈর্ঘ্য ঠিক আছে
• বাংলা লেখা চোখে পড়ে মিলিয়েছি — কোথাও “ঔ বা “�” নেই
• লেখার কলাম NFC-তে normalize করেছি, আর আগে-পরে nunique তুলনা করেছি
• তারিখ কলামে time zone আছে, বা কেন নেই তা জানি
• প্রতিটি parameter আমার version-এর অফিসিয়াল docs-এ আছে কি না দেখেছি; কোনো error বা warning চাপা দেওয়া হয়নি
• আসল গ্রাহকের নাম, ফোন বা ঠিকানা AI chatbot-এ পেস্ট করিনি