CSV আর JSON — ডেটা আদান-প্রদান

১ · প্রোগ্রামেরা কীভাবে ডেটা ভাগ করে — একমত হওয়া লেখার ফরম্যাট

পর্ব ২১-এ পরীক্ষার ফলের একটি টুল বানিয়েছিলেন। সেখানে সব ছাত্রের নাম আর নম্বর থাকত একটি dict-এ — যতক্ষণ প্রোগ্রাম চলছে, ততক্ষণ। প্রোগ্রাম বন্ধ হলেই সব হারিয়ে যেত। পর্ব ২৫-এ শিখেছেন কীভাবে ফাইলে লেখা যায়। কিন্তু একটি প্রশ্ন বাকি: ফাইলে কোন আকারে লিখবেন? একটি nested dict তো সরাসরি ডিস্কে বসানো যায় না — ফাইলে থাকে শুধু লেখা (বা byte).

আরও বড় প্রশ্ন: সেই ফাইল যদি অন্য কেউ পড়ে? স্কুলের শিক্ষক Google Sheets-এ নম্বর তুলেছেন, আপনার Python প্রোগ্রাম সেটি পড়বে। আপনার প্রোগ্রামের ফল একটি ওয়েবসাইট দেখাবে, যা JavaScript-এ লেখা। একটি মোবাইল অ্যাপ সার্ভার থেকে আবহাওয়ার খবর চাইবে। প্রতিটি ক্ষেত্রে দুটি আলাদা প্রোগ্রাম — হয়তো আলাদা ভাষায়, আলাদা কম্পিউটারে — একই ডেটা বুঝতে হবে। এর একমাত্র উপায়: আগে থেকে একমত হওয়া একটি ডেটা ফরম্যাট — লেখার এমন নিয়ম, যা দুই পক্ষই জানে।

মেমরির ভেতরের object (dict, list) থেকে এমন লেখায় বদলানোকে বলে serialization, আর লেখা থেকে আবার object বানানোকে deserialization. এই পর্বে দুটি সবচেয়ে প্রচলিত লেখা-ভিত্তিক ফরম্যাট শিখবেন — দুটিরই জন্য Python-এর standard library-তে তৈরি module আছে, কিছু install করতে হবে না।

একই ছাত্রের তথ্য দুই ফরম্যাটে দেখুন। CSV-তে প্রতিটি ছাত্র একটি সারি, আর প্রতিটি ঘরে একটি মাত্র মান:

roll,name,address,bangla,math
101,রিয়া,"মিরপুর, ঢাকা",78,91
102,জয়,"আম্বরখানা, সিলেট",65,72

JSON-এ একই ডেটা, কিন্তু এবার একটি ঘরে একটি list রাখা যায়, আর ঠিকানাকে ভেঙে ভেতরে আরেকটি object বানানো যায়:

{
  "roll": 101,
  "name": "রিয়া",
  "address": {"area": "মিরপুর", "district": "ঢাকা"},
  "marks": [78, 91],
  "passed": true
}

২ · CSV দেখতে সরল — তবু split(",") কেন ভাঙে

CSV দেখে প্রথম চিন্তা আসে: “এ তো সহজ! প্রতিটি লাইন পড়ব, line.split(",") দিয়ে ভাগ করব”. পর্ব ০৯-এর string method দিয়েই হয়ে যাবে। অনেক AI-ও ঠিক এই কোড দেয়। সমস্যা হলো, ঘরের ভেতরে কমা থাকতে পারে — ঠিকানায় (“মিরপুর, ঢাকা”), পণ্যের নামে (“চাল, মিনিকেট”), টাকার অঙ্কে (“1,250”). CSV এর সমাধান করে উদ্ধৃতি চিহ্ন দিয়ে: যে ঘরে কমা আছে, তাকে "…"-এর ভেতরে রাখা হয়। উদ্ধৃতির ভেতরের কমা ঘর আলাদা করে না, ডেটার অংশ। split এই নিয়ম জানে না। ধাপে ধাপে দেখুন কী ঘটে:

101,রিয়া,"মিরপুর, ঢাকা",78,91
# ৫টি কলাম চাই: roll, name, address, bangla, math
# ঠিকানার ভেতরে একটি কমা — তাই উদ্ধৃতি দিয়ে ঘেরা

['101', 'রিয়া', '"মিরপুর', ' ঢাকা"', '78', '91']
# len = 6 — একটি বেশি!
# উদ্ধৃতি চিহ্নগুলো ডেটার ভেতরে ঢুকে গেছে

address = '"মিরপুর'
bangla  = ' ঢাকা"'   → int() দিলে ValueError
math    = '78'       → আসলে বাংলার নম্বর!
# zip(header, parts) করলে শেষ টুকরো '91' চুপচাপ বাদ পড়ে

সাধারণ অবস্থা:   ,  → ঘর শেষ
                  "  → উদ্ধৃতির ভেতরে ঢুকলাম
উদ্ধৃতির ভেতরে:  ,  → সাধারণ অক্ষর, ডেটার অংশ
                  "" → একটি আসল " চিহ্ন
                  "  → উদ্ধৃতি শেষ

['101', 'রিয়া', 'মিরপুর, ঢাকা', '78', '91']
# ঘরের ভেতরে লাইন-ভাঙা থাকলেও:
a,"line1
line2",b   →  [['a', 'line1\nline2', 'b']]

৩ · csv.reader আর csv.writer — আর তিনটি বাস্তব ফাঁদ

পর্ব ২৫-এ with open(...) দিয়ে ফাইল খোলা শিখেছেন। CSV পড়া তার ওপর একটি ছোট স্তর মাত্র। csv.reader(f) একটি iterator দেয়: প্রতিবার লুপ ঘুরলে একটি সারি, একটি list of str হিসেবে। লেখার জন্য csv.writer(f), যার writerow(list) একটি সারি আর writerows(...) অনেকগুলো সারি লেখে — দরকার হলে উদ্ধৃতি নিজেই বসায়।

import csv

with open("marks.csv", newline="", encoding="utf-8") as f:
    for row in csv.reader(f):
        print(row)          # ['101', 'রিয়া', 'মিরপুর, ঢাকা', '78', '91']

rows = [["district", "division"], ["নাটোর", "রাজশাহী"], ["ভোলা", "বরিশাল"]]
with open("districts.csv", "w", newline="", encoding="utf-8") as f:
    csv.writer(f).writerows(rows)

দুই জায়গাতেই খেয়াল করুন একটি অদ্ভুত argument: newline="". এটিই প্রথম ফাঁদ।

ফাঁদ ১: newline="" না দিলে

পর্ব ২৫-এ দেখেছেন, text mode-এ Python লাইন-শেষের চিহ্ন নিজে অনুবাদ করে (newline translation): পড়ার সময় \r\n বা \r-কে \n বানায়, আর Windows-এ লেখার সময় প্রতিটি \n-কে \r\n. সাধারণ লেখার জন্য এটা সুবিধা। কিন্তু csv module লাইন-শেষ নিজেই সামলাতে চায়: CSV-র প্রচলিত নিয়মে (RFC 4180) প্রতিটি সারি শেষ হয় \r\n দিয়ে, তাই csv.writer ডিফল্টভাবে নিজেই \r\n লেখে। এখন Windows-এ newline="" না দিলে Python সেই \n-কে আবার \r\n বানায় — ফাইলে যায় \r\r\n. Excel-এ খুললে প্রতিটি সারির পরে একটি ফাঁকা সারি. পড়ার সময়ও সমস্যা: উদ্ধৃতির ভেতরের লাইন-ভাঙা অনুবাদ হয়ে বদলে যেতে পারে। Python-এর ডকুমেন্টেশন তাই স্পষ্ট বলে — csv-এর জন্য ফাইল সবসময় newline="" দিয়ে খুলুন। Linux বা Mac-এ এই বাগ চোখে পড়ে না, তাই কোড “আমার মেশিনে তো ঠিক আছে” হয়ে Windows ব্যবহারকারীর কাছে গিয়ে ভাঙে।

ফাঁদ ২: সব দেশে কমা নয় — delimiter

অনেক ইউরোপীয় দেশে দশমিক বিন্দুর জায়গায় কমা লেখা হয় (3,5). সেসব দেশের Excel তাই CSV-তে ঘর আলাদা করতে কমার বদলে সেমিকোলন ব্যবহার করে — নাম CSV হলেও! কোনো ব্যাংক বা বিদেশি প্রতিষ্ঠানের ফাইলে এমন পেতে পারেন, আবার কখনো ট্যাব দিয়ে আলাদা (TSV). ঘর আলাদা করার চিহ্নটিকে বলে delimiter, আর reader-কে তা বলে দিতে হয়: csv.reader(f, delimiter=";") বা ট্যাবের জন্য delimiter="\t". ফাইলের প্রথম কয়েক লাইন দেখে delimiter অনুমান করার জন্য csv.Sniffer আছে, তবে অনুমান তো অনুমানই — জানা থাকলে স্পষ্ট করে বলে দেওয়া ভালো।

ফাঁদ ৩: Excel আর বাংলা — utf-8-sig

পর্ব ২৫-এ শিখেছেন, বাংলা লেখা ফাইলে রাখতে encoding ঠিক করতে হয়, আর আধুনিক মান UTF-8. Excel এখানে একটু জেদি। Excel-এ “CSV UTF-8” হিসেবে সেভ করলে সে ফাইলের একদম শুরুতে তিনটি অদৃশ্য byte বসায় — BOM (byte order mark), যাতে পরে খোলার সময় বুঝতে পারে ফাইলটি UTF-8. সাধারণ encoding="utf-8" দিয়ে পড়লে সেই চিহ্ন প্রথম কলামের নামের সাথে লেগে থাকে: হেডার হয়ে যায় 'roll', আর row["roll"] দেয় KeyError — অথচ চোখে দেখতে সব ঠিক।

উল্টো দিকও আছে। আপনার প্রোগ্রাম BOM ছাড়া UTF-8 CSV লিখলে, Windows-এ সেটি double-click করে Excel-এ খুললে বাংলা অনেক সময় অর্থহীন চিহ্নে (যেমন রি) ভরে যায়, কারণ Excel তখন পুরোনো কোনো encoding ধরে নেয়। দুই সমস্যারই সমাধান একটি encoding নাম:

৪ · DictReader আর DictWriter — হেডার দিয়ে সারিকে dict বানানো

csv.reader-এর প্রতিটি সারি একটি list, তাই কলাম পেতে লিখতে হয় row[3]. কিন্তু “3 মানে কোন কলাম?” — ছয় মাস পরে কেউ মনে রাখবে না। আর শিক্ষক যদি Sheets-এ একটি নতুন কলাম মাঝখানে যোগ করেন, সব index এক ঘর সরে যাবে। সমাধান: প্রথম লাইনের header row থেকে কলামের নাম নিয়ে প্রতিটি সারিকে একটি dict বানানো। ঠিক এই কাজ করে csv.DictReader:

1with open("marks.csv", newline="", encoding="utf-8-sig") as f:2    for row in csv.DictReader(f):3        total = int(row["bangla"]) + int(row["math"])4        print(row["name"], total)

দুটি খুঁটিনাটি জেনে রাখুন। কোনো সারিতে হেডারের চেয়ে কম ঘর থাকলে বাকি চাবিগুলোর মান হয় None (restval দিয়ে বদলানো যায়); বেশি থাকলে বাড়তিগুলো একটি list হয়ে None চাবির নিচে জমা হয়। দুটিই সাধারণত ভাঙা ফাইলের লক্ষণ — চোখ রাখুন।

লেখা — DictWriter

উল্টো কাজের জন্য csv.DictWriter. তাকে আগে বলে দিতে হয় কোন কোন কলাম, কোন ক্রমে (fieldnames); তারপর writeheader() হেডার লাইন লেখে, আর writerow(dict) প্রতিটি dict থেকে ঠিক সেই ক্রমে ঘর বসায়। dict-এ কোনো চাবি না থাকলে ঘরটি ফাঁকা থাকে; আর dict-এ fieldnames-এর বাইরের কোনো চাবি থাকলে ডিফল্টভাবে ValueError আসে — বানান ভুল ধরার জন্য ভালো। এবার পুরো কাজটি একসাথে: শিক্ষকের মার্কশিট পড়ে প্রত্যেকের গড় বের করে একটি নতুন results.csv লেখা। কোডটি নিজের কাজের ফোল্ডারেই নমুনা ফাইল বানিয়ে নেয়:

import csv
from pathlib import Path

Path("marks.csv").write_text(
    "roll,name,address,bangla,math\n"
    '101,রিয়া,"মিরপুর, ঢাকা",78,91\n'
    '102,জয়,"আম্বরখানা, সিলেট",65,72\n', encoding="utf-8")

line = '101,রিয়া,"মিরপুর, ঢাকা",78,91'
print(len(line.split(",")), next(csv.reader([line])))

with open("marks.csv", newline="", encoding="utf-8") as f:
    rows = list(csv.DictReader(f))
print(rows[0]["address"], type(rows[0]["math"]).__name__)

with open("results.csv", "w", newline="", encoding="utf-8") as f:
    writer = csv.DictWriter(f, fieldnames=["roll", "name", "average"])
    writer.writeheader()
    for r in rows:
        avg = (int(r["bangla"]) + int(r["math"])) / 2
        writer.writerow({"roll": r["roll"], "name": r["name"], "average": avg})
print(Path("results.csv").read_text(encoding="utf-8"), end="")

আরও একটি ধাপ — সারাংশ রিপোর্ট

বাস্তবে শিক্ষক শুধু গড় চান না; চান একটি ছোট সারাংশ — কতজন পাস, সর্বোচ্চ কে, প্রতিটি বিষয়ের গড়। কৌশল একই: পড়ার সময় str থেকে সংখ্যায় বদলান, পর্ব ১৬-১৮-এর dict আর comprehension দিয়ে হিসাব করুন, তারপর csv.writer দিয়ে ["বিষয়", "গড়"] ধাঁচের সারি লিখুন। একটি অভ্যাস করে নিন: সীমানায় রূপান্তর. ফাইল থেকে পড়ামাত্র ডেটাকে সঠিক ধরনে আনুন (int, float, তারিখ), প্রোগ্রামের ভেতরে শুধু পরিষ্কার ডেটা নিয়ে কাজ করুন, আর লেখার ঠিক আগে আবার লেখায় বদলান। তাহলে প্রোগ্রামের মাঝখানে কোথাও "78" + 1 ধরনের ভুল লুকিয়ে থাকে না।

৫ · JSON — object আর array, আর Python-এর সাথে ধরনের মানচিত্র

CSV-তে একটি ঘরে একটি মান। কিন্তু পর্ব ২১-এর ফল-টুলের ডেটা দেখুন: প্রতিটি ছাত্রের একটি নাম আর একটি list নম্বর, আর সবাই মিলে একটি dict of dicts. একে CSV-তে রাখতে হলে নম্বরগুলো আলাদা কলামে ভাঙতে হবে, আর বিষয় বাড়লে কলামও বাড়বে। JSON এই ধরনের ডেটার জন্যই বানানো। এর মাত্র ছয় ধরনের মান: object {}, array [], string, number, true/false আর null. আর object ও array একে অপরের ভেতরে যত গভীরে খুশি বসানো যায় — পর্ব ১৬-এর nested dict-এর মতোই।

Python-এর json module এই ছয় ধরনকে Python-এর ধরনে অনুবাদ করে। মানচিত্রটি মুখস্থ রাখার মতো:

চারটি function — s থাকলে string

json module-এর মূল কাজ চারটি function-এ। নাম মনে রাখার কৌশল: শেষে s মানে string.

একটি dict-কে JSON বানিয়ে আবার ফিরিয়ে আনলে কী কী বদলায়, ধাপে ধাপে দেখুন — এই round trip না বুঝলে পরে অদ্ভুত KeyError পাবেন:

db = {
    "rahim": {"name": "Rahim", "marks": (78, 85, 90)},
    101: "রোল",
}

dict  → object { }
"rahim", "name" → string
(78, 85, 90) → array [78, 85, 90]   tuple বলে কিছু JSON-এ নেই
101 (চাবি)  → "101"              JSON চাবি শুধু string
"রোল" → "\u09b0\u09cb\u09b2"      ডিফল্টে বাংলা escape হয়

{"rahim": {"name": "Rahim", "marks": [78, 85, 90]}, "101": "\u09b0\u09cb\u09b2"}
# এটি এখন শুধু অক্ষরের সারি — ফাইলে লেখা যায়,
# JavaScript, Java, Go যেকোনো ভাষা পড়তে পারে

object → dict
array [78, 85, 90] → list     আগে tuple ছিল — সেই তথ্য JSON-এ ছিলই না
"101" → str চাবি "101"
"\u09b0\u09cb\u09b2" → "রোল"           escape খুলে আবার বাংলা

back == db              → False
back["rahim"]["marks"]  → [78, 85, 90]
list(back)              → ['rahim', '101']
back[101]               → KeyError: 101   back["101"] লিখতে হবে

৬ · বাংলা পড়ার মতো রাখা, সুন্দর করে সাজানো, আর যা JSON-এ যায় না

উপরের stepper-এ দেখেছেন, "রোল" হয়ে গিয়েছিল "\u09b0\u09cb\u09b2". এটি ভুল নয় — JSON-এর নিয়মে যেকোনো অক্ষর \u দিয়ে লেখা যায়, আর পড়লে আবার আসল অক্ষর ফেরে। json module ডিফল্টে ensure_ascii=True রাখে, যাতে আউটপুটে শুধু ASCII অক্ষর থাকে — খুব পুরোনো, শুধু ইংরেজি বোঝা কোনো সিস্টেমও যেন ভাঙে না। কিন্তু বাংলার জন্য এর দাম অনেক: ফাইল খুলে মানুষ কিছুই পড়তে পারে না, আর আকারও বড় হয়। তিনটি বিকল্প ধাপে ধাপে দেখুন:

1city = {"জেলা": "ঢাকা", "কোড": 1000}2a = json.dumps(city)3b = json.dumps(city, ensure_ascii=False)4c = json.dumps(city, ensure_ascii=False, indent=2, sort_keys=True)5print(json.loads(a) == json.loads(b) == json.loads(c))

যা JSON-এ যায় না — default= hook

একটি দোকানের বিক্রির রেকর্ডে তারিখ (datetime.date), পণ্যের set, বা টাকার জন্য Decimal (পর্ব ০৭) থাকা খুব স্বাভাবিক। কিন্তু JSON-এ তারিখ বা set বলে কোনো ধরন নেই, তাই json.dumps সরাসরি থেমে যায়:

>>> json.dumps({"date": date(2026, 1, 15)})
Traceback (most recent call last):
  ...
TypeError: Object of type date is not JSON serializable

সমাধান default= argument: একটি function দিন, যাকে json module ডাকবে যখনই এমন কোনো object পাবে যা সে নিজে চেনে না। আপনার function সেই object-কে JSON-এ যায় এমন কিছুতে বদলে দেবে — তারিখকে ISO 8601 ধাঁচের string "2026-01-15", set-কে সাজানো list. না চিনলে নিজেও TypeError তুলুন, যাতে অজানা ধরন চুপচাপ ভুলভাবে লেখা না হয়। মনে রাখবেন, এটি একমুখী: পড়ার সময় "2026-01-15" একটি সাধারণ str হয়েই আসবে; তারিখ চাইলে নিজে date.fromisoformat() দিয়ে বদলাতে হবে।

এবার সব একসাথে — পর্ব ২১-এর ধাঁচের ফল-ডেটা JSON-এ, একটি ফাইলে লিখে আবার পড়া, বাংলা ঠিক রেখে, আর default hook:

import json
from datetime import date
db = {"rahim": {"name": "Rahim", "marks": (78, 85, 90)}, 101: "রোল"}
back = json.loads(json.dumps(db))
print(json.dumps(db))
print(back == db, back["rahim"]["marks"], list(back))
city = {"জেলা": "ঢাকা", "থানা": ["মিরপুর", "উত্তরা"]}
with open("city.json", "w", encoding="utf-8") as f:
    json.dump(city, f, ensure_ascii=False, indent=2)
with open("city.json", encoding="utf-8") as f:
    loaded = json.load(f)
print(json.dumps(loaded, ensure_ascii=False), loaded == city)
def to_json(obj):
    if isinstance(obj, date):
        return obj.isoformat()
    if isinstance(obj, set):
        return sorted(obj)
    raise TypeError(f"{type(obj).__name__} JSON-এ যায় না")
sale ={"date": date(2026, 1, 15), "items": {"ডাল", "চাল"}}
print(json.dumps(sale, default=to_json, ensure_ascii=False))

৭ · ভাঙা ফাইল, config, JSON Lines — আর নিরাপত্তা

ভাঙা JSON — json.JSONDecodeError

JSON-এর নিয়ম কড়া: শেষে বাড়তি কমা নিষেধ, একক উদ্ধৃতি নিষেধ, comment নিষেধ। হাতে সম্পাদনা করা config ফাইলে বা অর্ধেক লেখার পর বিদ্যুৎ চলে যাওয়া (load-shedding!) ফাইলে এমন ভুল খুব স্বাভাবিক। তখন json.loads বা json.load একটি json.JSONDecodeError তোলে, যা জানায় ঠিক কোন লাইনের কোন কলামে সমস্যা:

>>> json.loads('{"name": "রিয়া",}')
Traceback (most recent call last):
  ...
json.decoder.JSONDecodeError: Illegal trailing comma before end of object: line 1 column 17 (char 16)
>>> json.loads("{'name': 'রিয়া'}")
json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)

(বার্তার শব্দ Python version অনুযায়ী একটু আলাদা হতে পারে; বাড়তি কমার জন্য এই স্পষ্ট বার্তা Python 3.13 থেকে।) JSONDecodeError হলো ValueError-এর একটি subclass, আর এর lineno, colno আর msg attribute আছে। পর্ব ২৪-এ শিখেছেন exception কীভাবে ধরতে হয় — এখানে সেই জ্ঞান সরাসরি কাজে লাগে।

একটি দোকানের অ্যাপের config ফাইল

ধরুন একটি মুদি দোকানের বিলিং অ্যাপ বানাচ্ছেন। দোকানের নাম, VAT-এর হার, জেলা অনুযায়ী ডেলিভারি চার্জ — এগুলো কোডে লিখে রাখলে প্রতিবার বদলাতে প্রোগ্রামারকে ডাকতে হবে। ভালো নকশা: একটি config file, যেমন shop_config.json, যা দোকানি নিজে সম্পাদনা করতে পারেন। কিন্তু মানুষ সম্পাদনা করবে মানেই ফাইল হারাতে বা ভাঙতে পারে। তাই config পড়ার কোডে তিনটি পরিস্থিতি সামলাতে হয়:

import json
from pathlib import Path

DEFAULTS = {"shop": "আমার দোকান", "vat": 0.05, "delivery": {"ঢাকা": 60}}

def load_config(path="shop_config.json"):
    try:
        with open(path, encoding="utf-8") as f:
            user = json.load(f)
    except FileNotFoundError:
        return DEFAULTS                      # ফাইল নেই: ডিফল্ট দিয়ে চলুক
    except json.JSONDecodeError as e:
        raise SystemExit(f"{path}: লাইন {e.lineno}, কলাম {e.colno} — {e.msg}")
    if not isinstance(user, dict):
        raise SystemExit(f"{path}: ভেতরে একটি JSON object থাকতে হবে")
    return DEFAULTS | user                   # ফাইলের মান ডিফল্টের ওপরে বসে

লক্ষ করুন সিদ্ধান্তগুলো: ফাইল না থাকা স্বাভাবিক (প্রথমবার অ্যাপ চালানো) — তাই ডিফল্ট দিয়ে চলা। কিন্তু ফাইল ভাঙা থাকলে চুপচাপ ডিফল্টে চলে যাওয়া বিপজ্জনক — দোকানি ভাববেন তাঁর বদলানো VAT কাজ করছে, অথচ করছে না। তাই স্পষ্ট বার্তা দিয়ে থামানো, লাইন আর কলামসহ। তৃতীয়ত, বৈধ JSON মানেই সঠিক ডেটা নয় — ফাইলে শুধু [1, 2] থাকলেও তা বৈধ JSON, তাই ধরন যাচাই। শেষে পর্ব ১৬-এর | দিয়ে মেশানো: ফাইলে যা আছে তা ডিফল্টের ওপরে বসে, যা নেই তা ডিফল্ট থেকে আসে। (এই মেশানো শুধু ওপরের স্তরে; “delivery”-র ভেতরের dict পুরোটাই বদলে যায়।)

JSON Lines — প্রতি লাইনে একটি রেকর্ড

একটি সাধারণ JSON ফাইল পুরোটা মিলে একটি মান — সাধারণত একটি বড় list. এতে দুটি সমস্যা: নতুন একটি রেকর্ড যোগ করতে পুরো ফাইল পড়ে আবার লিখতে হয়, আর কোটি রেকর্ডের ফাইল একসাথে মেমরিতে আনতে হয়। JSON Lines (ফাইলের শেষে সাধারণত .jsonl) একটি সহজ সমাধান: প্রতিটি লাইনে আলাদা একটি সম্পূর্ণ JSON মান। লেখা মানে ফাইলের শেষে "a" mode-এ একটি লাইন যোগ — f.write(json.dumps(rec, ensure_ascii=False) + "\n"). পড়া মানে লাইন ধরে লুপ, প্রতিটি লাইনে json.loads. একটি লাইন ভাঙলে শুধু সেটিই নষ্ট, বাকিগুলো ঠিক থাকে। log, বিক্রির ধারাবাহিক রেকর্ড আর AI মডেলের প্রশিক্ষণের ডেটাসেটে এই ফরম্যাট খুব প্রচলিত। (এর জন্য JSON লেখায় indent দেওয়া যাবে না — তাহলে একটি রেকর্ড অনেক লাইনে ছড়িয়ে যাবে।)

নিরাপত্তা — json নিরাপদ, pickle আর eval নয়

বাইরের ডেটা — ইন্টারনেট থেকে, ব্যবহারকারীর আপলোড থেকে, অন্য কারও পাঠানো ফাইল থেকে — সবসময় অবিশ্বস্ত ধরুন। এখানে json-এর একটি বড় গুণ: json.loads শুধু ছয় ধরনের মান বানাতে পারে (dict, list, str, int/float, bool, None). যত অদ্ভুত লেখাই দিন, সে কোনো কোড চালায় না, কোনো function ডাকে না। (তবু অনেক বড় বা অনেক গভীর ডেটা দিয়ে মেমরি ভরানো যায়, তাই সার্ভারে আকারের সীমা রাখা আর পড়ার পর চাবি ও ধরন যাচাই করা দরকার।)

Python-এর আরেকটি module আছে — pickle — যা প্রায় যেকোনো Python object (নিজের class, set, তারিখ সহ) byte-এ বদলে আবার ফেরাতে পারে। শুনতে json-এর চেয়ে শক্তিশালী, আর নিজের প্রোগ্রামের নিজের ডেটা সাময়িক রাখার জন্য কাজেরও। কিন্তু Python-এর ডকুমেন্টেশন বড় করে সতর্ক করে: pickle নিরাপদ নয়। একটি pickle ফাইল আসলে পুনর্গঠনের নির্দেশের তালিকা, আর সেই নির্দেশে “এই function-টি এই argument দিয়ে ডাকো” থাকতে পারে। তাই একটি বিশেষভাবে বানানো pickle ফাইল খোলার মুহূর্তেই আপনার কম্পিউটারে যেকোনো কোড চলতে পারে — একে বলে arbitrary code execution. নিয়ম সোজা: অবিশ্বস্ত উৎসের ডেটা কখনো pickle.load করবেন না। বাইরের সাথে ডেটা বদলের জন্য JSON.

একই কারণে JSON দেখতে Python dict-এর মতো বলে eval(text) দিয়ে পড়ার চিন্তাও বাদ দিন। পর্ব ১০-এ দেখেছেন, eval লেখাকে Python কোড হিসেবে চালায় — অর্থাৎ JSON-এর জায়গায় কেউ কোড পাঠালে তা চলবে, এক ধরনের injection. তা ছাড়া বৈধ JSON-এর true/null Python-এ নামই নয়, তাই eval প্রায়ই NameError দেয়। JSON-এর জন্য একমাত্র সঠিক রাস্তা json.loads.

৮ · কোনটি কখন — CSV, JSON, নাকি database

এখন দুটি ফরম্যাটই জানেন। বাস্তব প্রশ্ন হলো, নিজের প্রজেক্টে কোনটি নেবেন? নিচের টেবিলটি একটি শুরু:

মোটা দাগে: মানুষ টেবিল হিসেবে দেখবে বা Excel-এ খুলবে — CSV. ভেতরে list বা ভেতরের রেকর্ড আছে, বা অন্য প্রোগ্রাম/API-র সাথে কথা — JSON. ডেটা বড় হচ্ছে, বারবার “এই মাসে ঢাকায় কত বিক্রি?” ধরনের প্রশ্ন করবেন, বা একসাথে কয়েকজন লিখবে — তখন ফাইল ছেড়ে database. সুখবর: Python-এর standard library-তেই sqlite3 আছে, একটি পুরো database যা একটি মাত্র ফাইলে থাকে — পরের পর্বের লাইব্রেরি ভ্রমণে তার একটি ঝলক দেখবেন।

সামনে যা আসছে — API-র JSON আর বড় টেবিল

পর্ব ৪৭-এ যখন ইন্টারনেটের API থেকে ডেটা আনবেন — আবহাওয়া, মুদ্রার হার, কোনো সরকারি খোলা ডেটা — উত্তর প্রায় সবসময় আসবে JSON-এ, প্রায়ই অনেক স্তরে nested: data["results"][0]["location"]["district"]. এই পর্বের সব শিক্ষা সেখানে লাগবে: কোন চাবি সবসময় থাকবে না (get, পর্ব ১৬), কোন সংখ্যা str হয়ে এসেছে, আর ভাঙা উত্তরে JSONDecodeError. আর পর্ব ৪৬-এ দেখবেন pandas, যার pd.read_csv("sales.csv") এক লাইনে লাখো সারির CSV পড়ে, কলামের ধরন নিজে অনুমান করে, আর হিসাব করে অনেক দ্রুত। তবে pandas-ও ভেতরে একই সমস্যাগুলো সামলায় — delimiter, encoding, ফাঁকা ঘর — তাই আজকের ভিত্তি না জানলে pandas-এর ভুলও ধরতে পারবেন না।

৯ · AI-এর যুগে — AI-এর লেখা CSV/JSON কোড যাচাই

“এই CSV পড়ে গড় বের করো” বা “ডেটা JSON-এ সেভ করো” — AI এমন কোড সেকেন্ডে লিখে দেয়, আর ছোট ইংরেজি নমুনায় সেটি চলেও। সমস্যাগুলো বেরোয় আসল ডেটায়: বাংলা নাম, ঠিকানায় কমা, Excel-এর ফাইল, Windows. নিচের ভুলগুলো বারবার দেখা যায়:

AI-এর লেখা CSV/JSON কোড পেলে — যাচাইয়ের চেকলিস্ট

• কোথাও split(",") দিয়ে CSV ভাগ করা হয়েছে কি না খুঁজেছি
• প্রতিটি CSV open()-এ newline="" আর স্পষ্ট encoding আছে কি না দেখেছি
• CSV থেকে আসা প্রতিটি সংখ্যা ব্যবহারের আগে রূপান্তর হয়েছে, আর ফাঁকা ঘরে কী হবে তা ঠিক করা আছে
• বাংলা থাকলে json.dump-এ ensure_ascii=False আর ফাইলে encoding="utf-8" আছে
• JSON থেকে পড়ার পর int চাবি বা tuple আশা করা হয়েছে কি না দেখেছি (ফিরে আসে str চাবি আর list)
• কোথাও pickle বা eval দিয়ে বাইরের ডেটা পড়া হচ্ছে না
• ঠিকানায় কমা, বাংলা নাম, ফাঁকা ঘর আর একটি ভাঙা JSON ফাইল দিয়ে কোডটি নিজে চালিয়ে দেখেছি