ডেটা পরিষ্কার — missing value, duplicate, type আর বাংলা লেখা

১ · বাস্তবের ডেটা কেন এলোমেলো — বাজারঘরের অর্ডার খাতা

বইয়ের উদাহরণে ডেটা সবসময় পরিপাটি: প্রতিটি ঘর ভরা, প্রতিটি সংখ্যা সংখ্যা, প্রতিটি নাম এক বানানে। বাস্তবের ডেটা এমন হয় না। বাজারঘরের (এই কোর্সের কাল্পনিক অনলাইন দোকান) অর্ডার আসে তিন পথে: ওয়েবসাইট, ফেসবুক পেজের মেসেজ থেকে হাতে তোলা অর্ডার, আর একটি পুরোনো Excel খাতা। প্রতিটি পথের নিজের অভ্যাস। কেউ দামের সামনে “৳” লেখেন, কেউ কমা দেন; কেউ জেলা লেখেন “ঢাকা”, কেউ “Dhaka”, কেউ ভুল করে শেষে একটি ফাঁকা জায়গা রেখে দেন; বাংলা keyboard-এ ফোন নম্বর টাইপ করলে অঙ্কগুলো আসে বাংলায়।

নিচে বাজারঘরের এক সপ্তাহের অর্ডারের একটি ছোট CSV, ইচ্ছা করে এলোমেলো রাখা। এতে বাস্তবে যা যা দেখা যায় তার প্রায় সবই আছে। ফাইলটি পাতার ভেতরেই রাখা, কোড একে orders.csv নামে পড়ে। (সব ফোন নম্বর স্পষ্টতই বানানো।)

order_id,date,district,product,qty,price,payment,phone
1001,2026-03-05,ঢাকা,চা পাতা,2,৳350,bKash,01700000001
1002,05/03/2026,Dhaka,হেডফোন,1,"৳1,250",COD,০১৮০০০০০০০২
1003,2026-03-06,dhaka ,চাল ৫kg,1,N/A,card,01900000003
1004,2026-03-06,চট্টগ্রাম,হেডফোন,1,"2,400",COD,01500000004
1005,7 Mar 2026,Chattogram,চা পাতা,3,-,bKash,০১৬০০০০০০০৫
1006,2026-03-07,Chittagong,মগ,-2,৳180,COD,01700000006
1006,2026-03-07,Chittagong,মগ,-2,৳180,COD,01700000006
1007,2026-03-08,খুলনা,চাল ৫kg,2,৳ 720,card,01800000007
1008,2026-03-08,Khulna,হেডফোন,1,,COD,01900000008
1009,2026-03-09,ময়মনসিংহ,চা পাতা,1,৳340,bKash,01500000009
1010,2026-03-09,ময়মনসিংহ,মগ,4,৳170,COD,01600000010
1011,2026-13-09,DHAKA,হেডফোন,1,"৳2,450",card,0170000001
1004,2026-03-06,চট্টগ্রাম ,হেডফোন,1,"2,400",bKash,01500000004
1012,2026-03-10,,চা পাতা,1,৳360,,01800000012

মাত্র ১৪টি সারিতে কতগুলো সমস্যা লুকিয়ে আছে, নিচের তালিকায় দেখুন। প্রতিটি সমস্যার জন্য এই পর্বের একটি অংশ।

এগুলো আসে মানুষের হাতে লেখা (বানান, ফাঁকা জায়গা), একাধিক উৎস জোড়া (প্রতিটির নিজের রীতি) আর প্রযুক্তির ত্রুটি (একই অর্ডার দুবার পাঠানো) থেকে। পরিষ্কারের লক্ষ্য তাই “সুন্দর টেবিল” নয়; লক্ষ্য হলো টেবিলটি যেন বাস্তব ঘটনাকে সৎভাবে দেখায়, আর যেখানে আমরা অনুমান করেছি, সেটি যেন লেখা থাকে।

এই পর্বে ধরে নেওয়া হচ্ছে আপনি DataFrame, Series আর index চেনেন (পর্ব ২০), আর loc ও boolean mask দিয়ে সারি বাছতে পারেন (পর্ব ২২)। Boolean mask-এর মূল ধারণা NumPy-তেই দেখেছেন, পর্ব ১৪-এ।

২ · আগে মাপুন — টেবিলের স্বাস্থ্য পরীক্ষা আর missing value খোঁজা

ডাক্তার ওষুধ লেখার আগে রোগীর জ্বর, রক্তচাপ আর ওজন মাপেন। ডেটাতেও প্রথম ধাপ profiling: কিছু না বদলে শুধু দেখা — কয়টি সারি, প্রতিটি কলামের dtype কী, কোথায় মান নেই, কয়টি সারি দুবার আছে, একটি কলামে কয়টি আলাদা মান। এই মাপগুলো পরে আরেকটি কাজেও লাগে: পরিষ্কারের পরে আবার মেপে তুলনা করা যায়, কী বদলাল।

pandas-এ “মান নেই” বোঝাতে কয়েকটি চিহ্ন আছে: সংখ্যার কলামে NaN, তারিখের কলামে NaT, আর nullable কলামে <NA>. সবগুলোকে একসঙ্গে বলে missing value. খোঁজার মূল হাতিয়ার isna(): প্রতিটি ঘরের জন্য True বা False. এর ওপর .sum() চালালে প্রতিটি কলামে কয়টি ঘর ফাঁকা, তা আসে — কারণ যোগ করার সময় True মানে ১।

একটি সূক্ষ্ম বিষয় মনে রাখুন: pandas কোন লেখাকে “মান নেই” ধরবে, তা ঠিক হয় পড়ার সময়. read_csv নিজে থেকে একটি তালিকা চেনে — ফাঁকা ঘর, NA, N/A, NaN, null ইত্যাদি। কিন্তু অফিসের খাতায় যে “-” বা “নেই” লেখা হয়, তা ওই তালিকায় নেই। সেগুলো চেনাতে na_values দিতে হয়। নিচের কোডে দুটোই দেখুন।

import pandas as pd
pd.set_option("display.width", 60)

raw = pd.read_csv("orders.csv")
print(raw.shape, "| pandas", pd.__version__)
print(raw.dtypes.astype(str).to_dict())
print("\nnulls (default read):")
print(raw.isna().sum()[lambda s: s > 0].to_dict())
print("price of 1003, 1005:", raw.loc[[2, 4], "price"].tolist())
print("exact duplicate rows:", raw.duplicated().sum())
print("repeated order_id   :", raw["order_id"].duplicated().sum())
print("district spellings  :", raw["district"].nunique())
print(raw["district"].dropna().unique().tolist())

df = pd.read_csv("orders.csv", dtype={"phone": str},
                 na_values=["-"])
print("\nwith na_values=['-']:")
print(df.isna().sum()[lambda s: s > 0].to_dict())
print("rows with any null:", df.isna().any(axis=1).sum())
print("qty < 0:", (df["qty"] < 0).sum(), "rows")

(14, 8) | pandas 3.0.2
{'order_id': 'int64', 'date': 'str', 'district': 'str', 'product': 'str', 'qty': 'int64', 'price': 'str', 'payment': 'str', 'phone': 'str'}

nulls (default read):
{'district': 1, 'price': 2, 'payment': 1}
price of 1003, 1005: [nan, '-']
exact duplicate rows: 1
repeated order_id   : 2
district spellings  : 12
['ঢাকা', 'Dhaka', 'dhaka ', 'চট্টগ্রাম', 'Chattogram', 'Chittagong', 'খুলনা', 'Khulna', 'ময়মনসিংহ', 'ময়মনসিংহ', 'DHAKA', 'চট্টগ্রাম ']

with na_values=['-']:
{'district': 1, 'price': 3, 'payment': 1}
rows with any null: 4
qty < 0: 2 rows

৩ · Missing value সামলানো — বাদ দেওয়া, পূরণ করা আর তার দাম

ফাঁকা ঘর পেলে হাতে মূলত দুটি পথ: সারিটি বাদ দেওয়া, অথবা কোনো যুক্তিসংগত মান বসানো। দ্বিতীয়টিকে বলে imputation. দুটোরই pandas-এ সহজ রূপ আছে, আর দুটোরই লুকোনো দাম আছে।

বাদ দেওয়া — dropna, subset আর thresh

df.dropna() সবচেয়ে কড়া: যেকোনো কলামে একটি ফাঁকা থাকলেই সারি বাদ। বাস্তবে প্রায়ই এটি অতিরিক্ত, কারণ একটি অপ্রয়োজনীয় কলামের ফাঁকার জন্য একটি ভালো সারি হারায়। তাই দুটি নিয়ন্ত্রণ আছে: subset — শুধু এই কলামগুলোতে ফাঁকা থাকলে বাদ; আর thresh — কমপক্ষে এতগুলো ঘর ভরা থাকলে রাখা। নিচে চারটি সারির একটি ছোট টেবিলে তিনটির পার্থক্য দেখুন (সত্যিকারের run, নিজের ল্যাপটপে, Python 3.14.4, pandas 3.1.1):

import numpy as np
import pandas as pd

df = pd.DataFrame({"order_id": [1, 2, 3, 4],
                   "district": ["ঢাকা", None, "খুলনা", None],
                   "price": [35000, np.nan, np.nan, np.nan],
                   "phone": ["01700000001", "01800000002", None, None]})
print("rows:", len(df))
print("dropna()                  :", len(df.dropna()))
print("dropna(subset=['district']):", len(df.dropna(subset=["district"])))
print("dropna(thresh=2)          :", len(df.dropna(thresh=2)))
print("fillna('অজানা')           :", df["district"].fillna("অজানা").tolist())

stock = pd.Series([50, np.nan, np.nan, 42, np.nan],
                  index=pd.date_range("2026-03-01", periods=5, freq="D"))
print("ffill()       :", stock.ffill().tolist())
print("ffill(limit=1):", stock.ffill(limit=1).tolist())

~/bazarghar-ai$ python na_demo.py
rows: 4
dropna()                  : 1
dropna(subset=['district']): 2
dropna(thresh=2)          : 3
fillna('অজানা')           : ['ঢাকা', 'অজানা', 'খুলনা', 'অজানা']
ffill()       : [50.0, 50.0, 50.0, 42.0, 42.0]
ffill(limit=1): [50.0, 50.0, nan, 42.0, 42.0]

চারটি সারির মধ্যে কড়া dropna() রেখেছে মাত্র ১টি — ৭৫% ডেটা গেল। শুধু জেলা দরকার হলে subset=["district"] রাখে ২টি। আর thresh=2 মানে “কমপক্ষে ২টি ঘর ভরা থাকলে রাখা হবে”: সারি ২ (order_id আর phone) আর সারি ৩ (order_id আর district) টিকে গেল, শুধু সারি ৪ (শুধু order_id) বাদ। কোন নিয়ম ঠিক, তা নির্ভর করে পরের কাজে কোন কলাম লাগবে।

পূরণ করা — ধ্রুবক, দলের median আর forward fill

ধ্রুবক: fillna("অজানা") — লেখার কলামে সৎ একটি বিকল্প, কারণ “অজানা” নিজেই একটি তথ্য: এটি পরে আলাদা দল হিসেবে দেখা যায়। কিন্তু সংখ্যার কলামে fillna(0) প্রায়ই বিপজ্জনক: দাম ০ বসালে গড় দাম কমে যায়, আর model শেখে “কিছু পণ্য বিনা পয়সায় বিক্রি হয়”।

দলের median: দাম পণ্যের ওপর নির্ভর করে, তাই একটি হারানো দামের সবচেয়ে ভালো অনুমান সাধারণত একই পণ্যের অন্য দামগুলোর median — পুরো টেবিলের নয়। pandas-এ এর রূপ groupby("product")["price"].transform("median"): প্রতিটি সারির পাশে তার নিজের দলের median বসে, তারপর fillna শুধু ফাঁকা ঘরে সেটি বসায়। groupby নিজে পর্ব ২৪-এর বিষয়; এখানে শুধু এই একটি ব্যবহার। Mean-এর বদলে median কেন? কারণ median একটি-দুটি অস্বাভাবিক মানে (outlier) কম নড়ে। নিচে বাজারঘরের পরিষ্কার-প্রায় টেবিলে ধাপে ধাপে দেখুন।

order  product   price
1001   চা পাতা    35000
1005   চা পাতা    <NA>
1009   চা পাতা    34000
1003   চাল ৫kg    <NA>
1007   চাল ৫kg    72000
1002   হেডফোন    125000
1004   হেডফোন    240000
1008   হেডফোন    <NA>
1011   হেডফোন    245000
1010   মগ         17000

সাজানো: 17000 34000 35000
        72000
        125000 240000 245000
median = মাঝের মান = 72000
চা পাতা পেত ৭২০ টাকা,
হেডফোন পেত ৭২০ টাকা

চা পাতা : 35000, 34000
চাল ৫kg : 72000
হেডফোন : 125000, 240000, 245000
মগ      : 17000

চা পাতা : (34000+35000)/2 = 34500
চাল ৫kg : 72000
হেডফোন : মাঝের মান 240000
          mean হতো 203333.33
মগ      : 17000

order  product   price
1001   চা পাতা    35000
1005   চা পাতা    34500
1009   চা পাতা    34000
1003   চাল ৫kg    72000
1007   চাল ৫kg    72000
1002   হেডফোন    125000
1004   হেডফোন    240000
1008   হেডফোন    240000
1011   হেডফোন    245000
1010   মগ         17000

Forward fill: সময়ের ধারায় (time series) স্বাভাবিক নিয়ম হলো “শেষ জানা মানটিই এখনো চলছে”। গুদামের মজুদ রোজ গোনা না হলে আগের দিনের সংখ্যাই সবচেয়ে ভালো অনুমান — উপরের run-এ ffill() ৫০ দিয়ে পরের দুটি ফাঁকা ভরেছে। অনেক দিনের পুরোনো সংখ্যা টানা বিপজ্জনক, তাই limit=1 দিলে শুধু একটি ফাঁকা ভরে। ffill অর্থবহ শুধু সময় অনুযায়ী সাজানো ডেটায়; এলোমেলো ক্রমের টেবিলে এটি পাশের অপরিচিত সারির মান টেনে আনে। Time series-এর বিস্তারিত পর্ব ২৬-এ।

কেন এটি modelling সিদ্ধান্ত — MCAR, MAR আর MNAR

মান কেন হারাল, তার ওপর নির্ভর করে কোন পথ নিরাপদ। পরিসংখ্যানবিদ Donald Rubin ১৯৭৬ সালের একটি গবেষণাপত্রে যে শ্রেণিবিভাগ দেন, সেটি আজও প্রচলিত (সংজ্ঞাগুলো নিয়ে বিশেষজ্ঞদের মধ্যে খুঁটিনাটি তর্ক আছে, তাই এখানে সরল রূপ)। MCAR (Missing Completely At Random): হারানোটা কোনো কিছুর সঙ্গে সম্পর্কহীন — যেমন সার্ভারের একটি এলোমেলো ত্রুটিতে কিছু দাম মুছে গেছে; তখন সারি বাদ দিলে ডেটা কমে, কিন্তু সাধারণত বাঁকে না। MAR (Missing At Random): হারানোটা দেখা যায় এমন অন্য তথ্যের ওপর নির্ভর করে — যেমন ফেসবুক থেকে হাতে তোলা অর্ডারে দাম বেশি হারায়; তখন উৎস বা পণ্য ধরে দলভিত্তিক পূরণ যুক্তিসংগত। MNAR (Missing Not At Random): হারানোটা নির্ভর করে হারানো মানটির নিজের ওপর — যেমন অসন্তুষ্ট গ্রাহক রেটিং দেন না, বা ব্যর্থ ডেলিভারিতে ডেলিভারির দিন লেখাই হয় না; তখন বাদ দেওয়া বা পূরণ দুটোই ফলকে এক দিকে টেনে নিতে পারে, আর ডেটা দেখে একে প্রমাণ করাও প্রায়ই সম্ভব নয়। বাস্তবে কোনটি ঘটছে তা প্রায়ই নিশ্চিত জানা যায় না; তাই ব্যবসার মানুষের কাছে জিজ্ঞেস করা, আর “মান ছিল না” তথ্যটিকে আলাদা একটি কলামে রেখে দেওয়া (যেমন price_was_missing) একটি ভালো অভ্যাস।

৪ · Duplicate — হুবহু এক সারি আর একই order_id

একই অর্ডার দুবার থাকলে বিক্রির হিসাব ফুলে যায়, আর model একই উদাহরণ দুবার দেখে তাকে বেশি গুরুত্ব দেয়। Duplicate সাধারণত আসে ওয়েবসাইটে “অর্ডার দিন” বোতাম দুবার চাপা, একই ফাইল দুবার জোড়া, বা দুই উৎসে একই অর্ডার থাকা থেকে।

pandas-এর duplicated() প্রতিটি সারির জন্য বলে “এটি কি আগের কোনো সারির পুনরাবৃত্তি?” দুটি parameter একে নিয়ন্ত্রণ করে। subset: কোন কলামগুলো মিললে duplicate ধরা হবে (না দিলে সব কলাম)। keep: পুনরাবৃত্তির মধ্যে কোনটিকে “আসল” ধরে ছেড়ে দেওয়া হবে — "first" (ডিফল্ট), "last", অথবা False, অর্থাৎ কাউকেই না, সব কপি চিহ্নিত। drop_duplicates একই parameter নিয়ে চিহ্নিত সারিগুলো বাদ দেয়। বাজারঘরের খাতার চারটি সন্দেহজনক সারিতে দেখুন।

 3  1004  চট্টগ্রাম    COD
 5  1006  Chittagong   COD
 6  1006  Chittagong   COD
12  1004  চট্টগ্রাম␠   bKash
␠ = শেষে একটি ফাঁকা জায়গা

 3  1004  ...           False
 5  1006  ...           False
 6  1006  ...           True
12  1004  ...           False
মোট ১টি

 3  1004   False  (প্রথম 1004)
 5  1006   False  (প্রথম 1006)
 6  1006   True
12  1004   True
মোট ২টি

 3  1004   True
 5  1006   True
 6  1006   False  (শেষ 1006)
12  1004   False  (শেষ 1004)

 3  1004   True
 5  1006   True
 6  1006   True
12  1004   True
df[mask] দিয়ে চারটিই পাশাপাশি দেখুন

1006: সব কলাম এক
      → নিশ্চিন্তে একটি বাদ
1004: payment আলাদা
      COD বনাম bKash
      → কোনটি সত্য? উৎস দেখা,
        বা নিয়ম লিখে রাখা

একটি ক্রমের প্রশ্নও আছে। জেলার নামের ফাঁকা জায়গা আর বানান আগে ঠিক করলে কিছু “প্রায়-duplicate” হুবহু duplicate হয়ে যায়, তাই সাধারণত লেখা পরিষ্কার আগে, duplicate খোঁজা পরে. আর মানুষের নামে বা ঠিকানায় duplicate খোঁজা (একই গ্রাহক দুই বানানে) একটি আলাদা, কঠিন সমস্যা — একে বলে record linkage বা entity resolution; এর ইতিহাস ভাবনার প্রশ্নে।

৫ · Type ঠিক করা — দাম পয়সায়, ফোন লেখায়, তারিখ তারিখে

লেখা হিসেবে পড়া দাম দিয়ে যোগ করা যায় না, আর লেখা হিসেবে রাখা তারিখ দিয়ে “মার্চের অর্ডার” বাছা যায় না। তাই পরিষ্কারের বড় অংশ হলো প্রতিটি কলামকে তার সঠিক type-এ আনা। pandas-এ তিনটি প্রধান হাতিয়ার:

errors="coerce" খুব সুবিধার, আবার খুব বিপজ্জনক। সুবিধা: একটি খারাপ মানের জন্য পুরো কাজ থামে না। বিপদ: খারাপ মান নীরবে NaN হয়ে যায়, আর কেউ টের পায় না — একটি নীরব bug. তাই নিয়ম: coerce-এর আগে কয়টি ফাঁকা ছিল আর পরে কয়টি, গুনে দেখুন। বাড়তি প্রতিটি NaN একটি লেখা, যা সংখ্যা হতে পারেনি — সেগুলো চোখে দেখা দরকার। এই ধরনের রূপান্তরকে বলে type coercion.

দামের জন্য আরেকটি সিদ্ধান্ত: টাকা নয়, পূর্ণসংখ্যার পয়সা. ১২৫০.৫০ টাকার মতো দশমিক float-এ নিখুঁত থাকে না (float-এর ফাঁদ দেখেছেন পর্ব ০৯-এ), কিন্তু ১২৫০৫০ পয়সা নিখুঁত। আর ফাঁকা ঘর থাকলে সাধারণ int64 NaN রাখতে পারে না, তাই nullable integer dtype "Int64" (বড় হাতের I) ব্যবহার হয়, যেখানে ফাঁকা দেখায় <NA>. প্রথমে একটি সারি ধরে পুরো কাজটি দেখুন।

1002,05/03/2026,Dhaka,
হেডফোন,1,"৳1,250",COD,
০১৮০০০০০০০২

এবার পুরো টেবিলে একই কাজ। মিশ্র তারিখের জন্য কৌশলটি লক্ষ করুন: একবারে একটি স্পষ্ট format, আর যা মেলেনি শুধু সেগুলো পরের format দিয়ে fillna.

import pandas as pd
df = pd.read_csv("orders.csv", dtype={"phone": str}, na_values=["-"])

# price text -> integer paisa
p = (df["price"].str.replace("৳", "", regex=False)
                .str.replace(",", "", regex=False)
                .str.strip())
taka = pd.to_numeric(p, errors="coerce")
print("text that was not a number:", (p.notna() & taka.isna()).sum())
df["price_paisa"] = (taka * 100).round().astype("Int64")
print(df[["price", "price_paisa"]].head(5).to_string())

# Bangla digits -> ASCII digits
bn2en = str.maketrans("০১২৩৪৫৬৭৮৯", "0123456789")
df["phone"] = df["phone"].str.translate(bn2en)
print("\nphones:", df.loc[[1, 4], "phone"].tolist())
bad = ~df["phone"].str.fullmatch(r"01\d{9}")
print("bad phone:", df.loc[bad, ["order_id", "phone"]].values.tolist())

# mixed date formats: one explicit format at a time
d = pd.to_datetime(df["date"], format="%Y-%m-%d", errors="coerce")
for fmt in ["%d/%m/%Y", "%d %b %Y"]:
    d = d.fillna(pd.to_datetime(df["date"], format=fmt, errors="coerce"))
df["date"] = d
print("\ndate dtype:", df["date"].dtype)
print("unparsed:", df.loc[df["date"].isna(), "order_id"].tolist())
print(df["date"].dt.strftime("%d %b").head(5).tolist())

text that was not a number: 0
    price  price_paisa
0    ৳350        35000
1  ৳1,250       125000
2     NaN         <NA>
3   2,400       240000
4     NaN         <NA>

phones: ['01800000002', '01600000005']
bad phone: [[1011, '0170000001']]

date dtype: datetime64[us]
unparsed: [1011]
['05 Mar', '05 Mar', '06 Mar', '06 Mar', '07 Mar']

কেন একবারে একটি format? pandas-এ format="mixed" নামে একটি বিকল্প আছে, যা প্রতিটি মান আলাদাভাবে অনুমান করে। দেখতে সুবিধাজনক, কিন্তু সত্যিকারের একটি run-এ (নিজের ল্যাপটপে, pandas 3.1.1, python-dateutil 2.9.0) ফলটি দেখুন:

import pandas as pd

s = pd.Series(["1", "2", "x"])
try:
    s.astype("int64")
except ValueError as e:
    print("astype ValueError:", e)
print("to_numeric coerce:", pd.to_numeric(s, errors="coerce").tolist())
print("Int64 with a gap :", pd.Series([3, None]).astype("Int64").tolist())

print("python int('১২৩') :", int("১২৩"))
print("pandas to_numeric:", pd.to_numeric(pd.Series(["১২৩"]), errors="coerce").tolist())

d = pd.Series(["2026-03-05", "05/03/2026", "7 Mar 2026"])
print(pd.to_datetime(d, format="mixed", dayfirst=True).dt.date.tolist())
print(pd.to_datetime(d.iloc[[1]]).dt.date.tolist())

~/bazarghar-ai$ python types_demo.py
astype ValueError: invalid literal for int() with base 10: 'x'
to_numeric coerce: [1.0, 2.0, nan]
Int64 with a gap : [3, <NA>]
python int('১২৩') : 123
pandas to_numeric: [nan]
[datetime.date(2026, 5, 3), datetime.date(2026, 3, 5), datetime.date(2026, 3, 7)]
[datetime.date(2026, 5, 3)]

চারটি শিক্ষা এক run-এ। এক, astype কড়া: একটি “x” পেলেই থামে — ভুল লুকোয় না। দুই, Python-এর int("১২৩") বাংলা অঙ্ক বোঝে (Unicode-এ এগুলো “decimal digit”), কিন্তু pandas-এর to_numeric বোঝে না, NaN দেয় — তাই আগে translate. তিন, format="mixed", dayfirst=True “2026-03-05”-কে বানিয়েছে ৩ মে! ভেতরের dateutil library dayfirst-কে ISO-র মতো লেখাতেও প্রয়োগ করেছে। চার, format না দিলে “05/03/2026” হয়েছে ৩ মে (মাস আগে ধরে নেওয়া) — বাংলাদেশের খাতায় প্রায় নিশ্চিত ভুল। স্পষ্ট format দিলে এসব অনুমান থাকে না।

৬ · লেখা পরিষ্কার — strip, lower, NFC আর একটি প্রমিত নাম

জেলার কলামে ১২টি বানান, অথচ জেলা ৪টি। groupby দিয়ে জেলাভিত্তিক বিক্রি হিসাব করলে ১২টি দল আসত, আর “ঢাকার বিক্রি” ছড়িয়ে থাকত চারটি সারিতে। লেখার কলাম পরিষ্কারের জন্য pandas-এর .str accessor আছে: প্রতিটি মানে একই লেখার কাজ, loop ছাড়াই। কাজটি কয়েকটি স্তরে করা হয়, সহজ থেকে কঠিন:

• str.strip() — দুই পাশের ফাঁকা জায়গা সরায়: “dhaka␠” → “dhaka”, “চট্টগ্রাম␠” → “চট্টগ্রাম”.
• str.lower() — ইংরেজি বড় হাতের অক্ষর ছোট করে: “DHAKA”, “Dhaka” → “dhaka”. বাংলায় বড়-ছোট হাতের অক্ষর নেই, তাই বাংলা লেখা অক্ষত থাকে।
• str.normalize("NFC") — দেখতে এক কিন্তু byte-এ আলাদা বাংলা অক্ষর এক রূপে আনে। “য়” এক code point-এ (U+09DF) বা দুইটিতে (য + নুক্তা) লেখা যায় — এই ফাঁদ আর NFC-এর পূর্ণ ব্যাখ্যা দেখেছেন পর্ব ১০-এ।
• str.replace(old, new) — লেখার ভেতরের অংশ বদলায়; regex=True দিলে নকশা ধরে, যেমন r"[৳,\s]" = “৳, কমা বা যেকোনো ফাঁকা”।
• dictionary দিয়ে mapping — শেষ স্তর: “dhaka”, “chattogram”, “chittagong”-এর মতো আলাদা শব্দ, যাদের কোনো যান্ত্রিক নিয়ম এক করতে পারে না, একটি হাতে লেখা তালিকায় এক প্রমিত নাম-এ আনা।

import unicodedata as ud
import pandas as pd
df = pd.read_csv("orders.csv", dtype={"phone": str})
s = df["district"]
print("before:", s.nunique(), "spellings")

s = s.str.strip().str.lower().str.normalize("NFC")
print("after strip+lower+NFC:", s.nunique())
print(s.value_counts().to_dict())

canon = {"dhaka": "ঢাকা",
         "chattogram": "চট্টগ্রাম", "chittagong": "চট্টগ্রাম",
         "khulna": "খুলনা"}
df["district"] = s.replace(canon)
print("\nafter mapping:", df["district"].nunique())
print(df["district"].value_counts(dropna=False).to_dict())

# replace() keeps unknown values, map() turns them into NaN
test = pd.Series(["dhaka", "dacca"])
print("\nreplace:", test.replace(canon).tolist())
print("map    :", test.map(canon).tolist())

# an allow-list catches spellings nobody mapped yet
allowed = {ud.normalize("NFC", a)
           for a in ["ঢাকা", "চট্টগ্রাম", "খুলনা", "ময়মনসিংহ"]}
odd = df["district"].notna() & ~df["district"].isin(allowed)
print("outside allow-list:", odd.sum(), "| missing:",
      df["district"].isna().sum())

before: 12 spellings
after strip+lower+NFC: 8
{'dhaka': 3, 'চট্টগ্রাম': 2, 'chittagong': 2, 'ময়মনসিংহ': 2, 'ঢাকা': 1, 'chattogram': 1, 'খুলনা': 1, 'khulna': 1}

after mapping: 4
{'চট্টগ্রাম': 5, 'ঢাকা': 4, 'খুলনা': 2, 'ময়মনসিংহ': 2, nan: 1}

replace: ['ঢাকা', 'dacca']
map    : ['ঢাকা', nan]
outside allow-list: 0 | missing: 1

৭ · নিয়ম যাচাই আর cleaning log — একটি পূর্ণ pipeline

এখন পর্যন্ত প্রতিটি কাজ আলাদা দেখেছি। বাস্তবে এগুলো একটি function-এ, নির্দিষ্ট ক্রমে থাকে — যাতে নতুন সপ্তাহের ফাইল এলে একই কাজ একই ক্রমে হয়। দুটি অভ্যাস এই function-কে বিশ্বাসযোগ্য করে।

এক, নিয়ম লিখে যাচাই। কিছু মান “অসম্ভব”: পরিমাণ শূন্য বা ঋণাত্মক হতে পারে না, দাম শূন্য হতে পারে না, একটি order_id একবারই থাকবে। এই নিয়মগুলো কোডে assertion হিসেবে লিখলে, ভবিষ্যতের কোনো ফাইলে নিয়ম ভাঙলে pipeline চুপচাপ ভুল ফল না দিয়ে থেমে যায়। Assertion-এর মূল ধারণা আর সীমা (যেমন python -O দিয়ে চালালে assert বন্ধ হয়ে যায়) দেখেছেন পর্ব ১১-এ; বড় প্রকল্পে এর জন্য আলাদা data validation library-ও ব্যবহার হয়। মনে রাখুন, অসম্ভব মান পেলে কী করবেন সেটি আলাদা সিদ্ধান্ত: qty = −২ কি ফেরত দেওয়া পণ্য (return), নাকি টাইপের ভুল? এখানে আমরা সারিটি বাদ দিচ্ছি, কিন্তু সেটি log-এ লেখা থাকবে।

দুই, cleaning log. প্রতিটি ধাপে কয়টি সারি বাদ গেল বা কয়টি মান বদলাল, লিখে রাখা। চায়ের দোকানের হিসাব খাতার মতো: দিন শেষে শুধু “হাতে ৮০০ টাকা” নয়, কোথা থেকে কত এল আর গেল। Cleaning log থাকলে পরের সপ্তাহে হঠাৎ “৩০০টি সারি বাদ” দেখলে বোঝা যায়, উৎসে কিছু বদলেছে।

import pandas as pd
CANON = {"dhaka": "ঢাকা", "chattogram": "চট্টগ্রাম",
         "chittagong": "চট্টগ্রাম", "khulna": "খুলনা"}
log = []

def drop(df, bad, step):
    log.append((step, int(bad.sum()), int((~bad).sum())))
    return df[~bad]
def fix(df, col, new, step):
    same = df[col].eq(new).fillna(False) | (df[col].isna() & new.isna())
    log.append((step, int((~same).sum()), len(df)))
    return df.assign(**{col: new})

def clean(path):
    df = pd.read_csv(path, dtype={"phone": str}, na_values=["-"])
    log.append(("read raw file", 0, len(df)))
    d = df["district"].str.strip().str.lower().str.normalize("NFC")
    df = fix(df, "district", d.replace(CANON), "district spelling")
    df = drop(df, df.duplicated(), "exact duplicates")
    df = drop(df, df.duplicated(subset="order_id"), "repeated order_id")
    df = drop(df, df["district"].isna(), "no district")
    df = drop(df, df["qty"] <= 0, "qty <= 0")
    taka = pd.to_numeric(df["price"].str.replace(r"[৳,\s]", "", regex=True),
                         errors="coerce")
    df = df.assign(price=(taka * 100).round().astype("Int64"))
    med = df.groupby("product")["price"].transform("median").round()
    df = fix(df, "price", df["price"].fillna(med.astype("Int64")), "fill price")
    assert df["order_id"].is_unique, "order_id repeats"
    assert (df["qty"] > 0).all() and df["price"].gt(0).all(), "bad qty/price"
    return df
out = clean("orders.csv")
for step, n, left in log:
    print(f"{step:18}{n:>3} changed {left:>3} rows left")
print(out.loc[out["order_id"].isin([1003, 1005, 1008]),
              ["order_id", "product", "price"]].to_string(index=False))

read raw file       0 changed  14 rows left
district spelling   9 changed  14 rows left
exact duplicates    1 changed  13 rows left
repeated order_id   1 changed  12 rows left
no district         1 changed  11 rows left
qty <= 0            1 changed  10 rows left
fill price          3 changed  10 rows left
 order_id product  price
     1003 চাল ৫kg  72000
     1005 চা পাতা  34500
     1008  হেডফোন 240000

৮ · Raw ফাইল অক্ষত রাখা আর পরিষ্কারের ক্রম

পরিষ্কারের সবচেয়ে বড় নিয়মটি কোনো pandas function নয়: মূল ফাইলটি কখনো বদলাবেন না। Raw data আদালতের প্রমাণের মতো — পর্ব ১২-এ দেখেছেন, প্রকল্পে data/raw শুধু পড়া হয়, আর পরিষ্কারের script নতুন ফাইল লেখে data/processed-এ। কারণগুলো সরল: আজকের পরিষ্কারের নিয়মে ভুল থাকলে কাল raw থেকে আবার চালানো যায়; কেউ জিজ্ঞেস করলে মূল মান দেখানো যায়; আর একই script দুবার চালালে একই ফল আসে (idempotent). Excel-এ খুলে হাতে একটি দাম “ঠিক” করে সেভ করলে এর তিনটিই হারায়।

~/bazarghar-ai/
├── data/raw/orders_2026-03-w1.csv        ← শুধু পড়া
├── data/processed/orders_clean.parquet   ← script লেখে
├── data/processed/cleaning_log.csv       ← প্রতিটি ধাপের হিসাব
└── src/clean.py                          ← সব নিয়ম এখানে

pandas 3-এ Copy-on-Write একমাত্র আচরণ: একটি DataFrame থেকে বানানো নতুন DataFrame বদলালে মূলটি বদলায় না, আর chained assignment (df[mask]["price"] = 0) কখনো কাজ করে না — এক ধাপে df.loc[mask, "price"] = ... লিখতে হয়। এতে মেমরির DataFrame রক্ষা পায়, কিন্তু ডিস্কের raw ফাইল রক্ষা আপনার কাজ: to_csv বা to_parquet-এ কখনো raw ফাইলের path দেবেন না।

কোন ক্রমে পরিষ্কার করবেন

কোনো একক “সঠিক” ক্রম নেই, তবে একটি সাধারণ, যুক্তিসংগত ক্রম আছে, আর প্রতিটি ধাপের কারণ আছে:

1. পড়ার সময়েই na_values আর dtype (ফোন আর ID লেখা হিসেবে) — যা পড়ার মুহূর্তে হারায় (যেমন শুরুর শূন্য), পরে ফেরানো যায় না।
2. Profile — কিছু বদলানোর আগে মাপ নেওয়া, পরে তুলনার জন্য।
3. লেখা আর type ঠিক করা — strip, NFC, mapping, সংখ্যা, তারিখ; এতে কিছু লুকোনো duplicate দৃশ্যমান হয়।
4. Duplicate আর অসম্ভব মান — ভুল সারি বাদ, যাতে পরের হিসাব (median) দূষিত না হয়।
5. Missing value পূরণ — পরিষ্কার সারি থেকে হিসাব করা মান দিয়ে, আর model-এর কাজে শুধু training অংশ থেকে।
6. Assertion আর লেখা — নিয়ম যাচাই, তারপর নতুন ফাইল আর log.

৯ · AI-এর যুগে — AI সহকারীর লেখা পরিষ্কারের কোড যাচাই

“এই CSV পরিষ্কার করে দাও” — AI সহকারীর কাছে খুব সাধারণ অনুরোধ, আর ফলটি প্রায়ই চলে, পরিপাটি দেখায়। বিপদ সেখানেই: পরিষ্কারের ভুল error দেয় না, শুধু সংখ্যা বদলে দেয়। AI সহকারী প্রায়ই যে ভুলগুলো করে:

AI সহকারীর পরিষ্কারের কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• নিজে চালিয়েছি, আর প্রতিটি ধাপের আগে-পরে সারির সংখ্যা মিলিয়েছি
• যেসব সারি বাদ গেছে সেগুলো আলাদা করে চোখে দেখেছি — কারণ মিলছে
• পূরণ করা মান দলভিত্তিক কি না, আর হিসাব শুধু training অংশ থেকে কি না দেখেছি
• errors="coerce"-এর আগে-পরে NaN গুনেছি; কয়েকটি তারিখ হাতে মিলিয়েছি
• বাংলা লেখায় NFC আর বাংলা অঙ্কের রূপান্তর আছে; nunique() তুলনা করেছি
• প্রতিটি function আর parameter আমার pandas version-এর অফিসিয়াল docs-এ আছে; কোনো warning চাপা দেওয়া হয়নি
• Raw ফাইল অক্ষত; ফল নতুন ফাইলে, সঙ্গে cleaning log
• আসল গ্রাহকের নাম, ফোন বা ঠিকানা AI chatbot-এ পেস্ট করিনি