Time series — তারিখ, resample, rolling আর Asia/Dhaka

এ পর্যন্ত মডিউল ৪-এ বাজারঘরের (এই কোর্সের কাল্পনিক অনলাইন দোকান) অর্ডারের টেবিল নিয়ে কাজ করেছেন: Series, DataFrame আর index (পর্ব ২০), বাছাই (পর্ব ২২), পরিষ্কার করা (পর্ব ২৩), groupby (পর্ব ২৪) আর merge (পর্ব ২৫)। এই পর্বে টেবিলের একটি বিশেষ কলামকে কেন্দ্রে আনা হবে: তারিখ আর সময়। “গত সপ্তাহের বিক্রি কত”, “ঈদের আগে কত বাড়ল”, “আগামীকাল কত অর্ডার আসতে পারে” — এই সব প্রশ্নের উত্তরের পথ যায় সময়ের কলাম দিয়ে। পর্ব ১০-এ দেখেছেন ফাইলে তারিখ কীভাবে ISO 8601 আর time zone-সহ রাখতে হয়; এখানে দেখবেন pandas-এর ভেতরে সেই তারিখ দিয়ে কী কী করা যায়। সব runnable কোড পাতাতেই চলবে, Pyodide দিয়ে (pandas 3.0.2); প্রথমবার চালালে pandas নামতে কয়েক সেকেন্ড লাগতে পারে। কিছু অংশ ডেস্কটপে pandas 3.1.1 দিয়ে চালানো, সেখানে তা বলা আছে।

১ · সময়ের ডেটা আলাদা কেন — Timestamp, Timedelta আর NaT

চায়ের দোকানের হিসাব খাতার কথা ভাবুন। প্রতিটি পাতায় একটি তারিখ, আর সেদিনের বিক্রি। পাতাগুলো এলোমেলো করে দিলে প্রতিটি সংখ্যা ঠিক থাকে, কিন্তু খাতাটি আর কোনো গল্প বলে না: কোন সপ্তাহে বিক্রি বেড়েছে, বৃষ্টির দিনে কমেছে কি না, কিছুই বোঝা যায় না। এমন ডেটাকে বলে time series: সময়ের ক্রমে মাপা একটি মানের ধারা। এখানে ক্রম নিজেই তথ্য। আগের পর্বগুলোর টেবিলে সারির ক্রম বদলালে ফল বদলাত না; time series-এ বদলায়।

pandas সময়কে লেখা হিসেবে রাখে না, রাখে একটি সংখ্যা হিসেবে: একটি নির্দিষ্ট শুরুর মুহূর্ত (১৯৭০ সালের ১ জানুয়ারি, UTC) থেকে কত microsecond পেরিয়েছে। এই সংখ্যার ওপর একটি মোড়ক হলো Timestamp. দুটি Timestamp-এর ব্যবধান হলো Timedelta, আর অনুপস্থিত তারিখের চিহ্ন NaT (Not a Time), সংখ্যার NaN-এর মতো। ডেস্কটপে একটি সত্যিকারের run (pandas 3.1.1):

>>> t = pd.Timestamp("2026-04-14 09:30")
>>> t
Timestamp('2026-04-14 09:30:00')
>>> t + pd.Timedelta(days=30)
Timestamp('2026-05-14 09:30:00')
>>> pd.Timestamp("2026-04-30") - pd.Timestamp("2026-03-01")
Timedelta('60 days 00:00:00')
>>> pd.to_datetime(pd.Series(["2026-04-14", None])).tolist()
[Timestamp('2026-04-14 00:00:00'), NaT]
>>> pd.to_datetime(pd.Series(["2026-04-14 09:30"])).dtype
dtype('<M8[us]')

শেষ লাইনটি খেয়াল করুন। <M8[us] হলো NumPy-র সংক্ষিপ্ত লেখায় datetime64[us], মানে প্রতিটি ঘর একটি 64-bit পূর্ণসংখ্যা, এককে microsecond (us). pandas 2-এ লেখা থেকে পড়া তারিখ সাধারণত nanosecond (ns) এককে আসত; pandas 3.0 থেকে লেখা পড়লে microsecond আসে, যাতে বহু শতাব্দীর তারিখ ধরা যায়। পুরোনো টিউটোরিয়ালে datetime64[ns] দেখলে অবাক হবেন না, আর দুই এককের কলাম মেশানোর সময় dtype ছেপে দেখুন। একটি সংখ্যা হিসেবে রাখার লাভ হলো বিয়োগ, তুলনা, সাজানো সব vectorized, NumPy-র গতিতে।

২ · তারিখ পড়া — to_datetime, format, dayfirst আর 03/04-এর ফাঁদ

বাংলাদেশে আমরা সাধারণত দিন আগে লিখি: ০৩/০৪/২০২৬ মানে ৩ এপ্রিল। যুক্তরাষ্ট্রের অনেক সফটওয়্যার মাস আগে লেখে: 03/04/2026 মানে March 4. দুটি লেখা অক্ষরে অক্ষরে এক। মানুষ প্রসঙ্গ দেখে বোঝে; যন্ত্র বোঝে না, শুধু একটি নিয়ম মানে। বাজারঘরে তারিখ আসে তিন জায়গা থেকে: পুরোনো Excel ফাইল, নতুন ওয়েবসাইটের ISO তারিখ, আর হাতে লেখা নোট। নিচের কোড একই মেশানো কলাম চারভাবে পড়ে।

import pandas as pd
pd.set_option("display.width", 60)

# বাজারঘরের তিন উৎসের তারিখ, এক কলামে মেশানো
raw = pd.Series(["03/04/2026", "13/04/2026", "2026-04-14",
                 "14 Apr 2026", "অজানা", None])

# ১. কিছু না বলে: প্রথম লেখা দেখে format আন্দাজ
guess = pd.to_datetime(raw, errors="coerce")
# ২. প্রতিটি লেখা আলাদা করে পড়া, তবে মাস আগে ধরে
mixed = pd.to_datetime(raw, errors="coerce", format="mixed")
# ৩. একই, কিন্তু দিন আগে (বাংলাদেশের অভ্যাস)
day1 = pd.to_datetime(raw, errors="coerce", format="mixed",
                      dayfirst=True)
print(pd.DataFrame({"raw": raw, "guess": guess,
                    "mixed": mixed, "dayfirst": day1}))
print("dtype:", day1.dtype, "| NaT:", day1.isna().sum())

# ৪. সবচেয়ে নিরাপদ: format ঠিক করে দেওয়া
strict = pd.to_datetime(pd.Series(["03/04/2026", "13/04/2026"]),
                        format="%d/%m/%Y")
print(strict.dt.strftime("%d %b %Y").tolist())
try:
    pd.to_datetime(pd.Series(["03/04/2026", "13/04/2026"]))
except ValueError as e:
    print("ValueError:", str(e).splitlines()[0])

           raw      guess      mixed   dayfirst
0   03/04/2026 2026-03-04 2026-03-04 2026-04-03
1   13/04/2026        NaT 2026-04-13 2026-04-13
2   2026-04-14        NaT 2026-04-14 2026-04-14
3  14 Apr 2026        NaT 2026-04-14 2026-04-14
4        অজানা        NaT        NaT        NaT
5          NaN        NaT        NaT        NaT
dtype: datetime64[us] | NaT: 2
['03 Apr 2026', '13 Apr 2026']
ValueError: time data "13/04/2026" doesn't match format "%m/%d/%Y". You might want to try:

নিয়মটি নিজে লিখতে format-এর সংকেতগুলো জানা দরকার। এগুলো Python-এর strftime-এর সংকেত, যা Python কোর্সের standard library পর্বে datetime-এর সঙ্গে দেখেছেন:

CSV পড়ার সময় একই কাজ read_csv-এর ভেতরেই করা যায় (পর্ব ২১), নিয়ম একই। নিজের সিস্টেম থেকে ডেটা বের করার সময় ISO 8601 (2026-04-03) লিখুন: দ্ব্যর্থতা নেই, আর লেখা হিসেবে সাজালেও সময়ের ক্রম ঠিক থাকে। বাংলা অঙ্কে লেখা তারিখ (“৩ এপ্রিল”) pandas সরাসরি পড়ে না; আগে অঙ্ক আর মাসের নাম বদলাতে হয়, যা পর্ব ২৩-এর বাংলা লেখা পরিষ্কারের অংশ।

৩ · .dt — বছর, মাস, বার, ঘণ্টা, সপ্তাহ আর ত্রৈমাসিক

তারিখের কলাম হাতে পেলে প্রথম প্রশ্ন সাধারণত এর টুকরো নিয়ে: কোন মাসে বেশি অর্ডার, কোন বারে, দিনের কোন ঘণ্টায়। s.dt হলো তারিখের Series-এর একটি দরজা, যাকে বলে .dt accessor; এর ভেতর দিয়ে প্রতিটি সারির টুকরো একসঙ্গে বের হয়, কোনো loop ছাড়া। লেখার কলামের জন্য যেমন .str, তারিখের জন্য তেমন .dt. বাজারঘরের চারটি অর্ডার দিয়ে একটি সত্যিকারের run (ডেস্কটপ, pandas 3.1.1):

o = pd.DataFrame({"order_id": [101, 102, 103, 104],
    "ts": pd.to_datetime(["2026-03-20 19:45", "2026-04-03 08:10",
                          "2026-04-14 11:00", "2026-12-31 23:59"])})
d = o["ts"].dt
pd.DataFrame({"y": d.year, "m": d.month, "day": d.day_name().str[:3],
    "dow": d.day_of_week, "h": d.hour,
    "wk": d.isocalendar().week, "q": d.quarter})

      y   m  day  dow   h  wk  q
0  2026   3  Fri    4  19  12  1
1  2026   4  Fri    4   8  14  2
2  2026   4  Tue    1  11  16  2
3  2026  12  Thu    3  23  53  4

• day_of_week সোমবার থেকে গোনে: সোমবার 0, শুক্রবার 4, শনিবার 5, রবিবার 6. বাংলাদেশের সাপ্তাহিক ছুটি শুক্র-শনি, তাই “ছুটির দিন” মানে d.day_of_week.isin([4, 5]). পুরোনো নাম dayofweek pandas 3.1.1-এ চালালে আমাদের run-এ একটি Pandas4Warning এসেছে (ভবিষ্যতে সরানো হবে), তাই নতুন কোডে day_of_week লিখুন।
• day_name() ইংরেজি নাম দেয়. বাংলা নাম চাইলে একটি dict দিয়ে map করুন: d.day_of_week.map({4: "শুক্র", 5: "শনি"}). pandas-এর locale argument যন্ত্রের ভাষা-সেটিংয়ের ওপর নির্ভর করে, তাই সব যন্ত্রে একই ফল দেয় না।
• সপ্তাহ: .dt.week আর নেই. pandas 2.0-তে সরানো হয়েছে; আমাদের run-এ AttributeError: 'DatetimeProperties' object has no attribute 'week'. এখন d.isocalendar().week, যা ISO 8601-এর সপ্তাহ: সোমবারে শুরু, আর বছরের প্রথম বৃহস্পতিবার যে সপ্তাহে, সেটি সপ্তাহ ১।
• ISO বছরের চমক: ২০২৬-এর ৩১ ডিসেম্বর সপ্তাহ 53. আমাদের run-এ pd.Timestamp("2027-01-01").isocalendar() দিয়েছে year=2026, week=53: ২০২৭-এর প্রথম দিনটি ISO হিসাবে ২০২৬-এর শেষ সপ্তাহে। সপ্তাহ ধরে গ্রুপ করলে তাই isocalendar().year-ও সঙ্গে নিন, নইলে বছরের শেষে দুই বছরের ডেটা মিশে যাবে।
• ত্রৈমাসিক (quarter) ক্যালেন্ডার বছর ধরে: জানুয়ারি-মার্চ 1, এপ্রিল-জুন 2. বাংলাদেশের সরকারি অর্থবছর জুলাই থেকে জুন, তাই অর্থবছরের হিসাবে এটি সরাসরি চলে না।

৪ · DatetimeIndex — তারিখ লিখেই বাছাই

তারিখের কলামকে index বানালে (df.set_index("date")) pandas একটি DatetimeIndex পায়, আর তখন হিসাব খাতার পাতা ওল্টানোর মতো সহজে বাছাই করা যায়: “মার্চের ১০ থেকে ১২”, “পুরো এপ্রিল”, “১৪ এপ্রিল”। এই পর্বের বাকি অংশে বাজারঘরের মার্চ-এপ্রিল ২০২৬-এর ৬১ দিনের দৈনিক বিক্রি ব্যবহার হবে, seed 42 দিয়ে বানানো, টাকায় নয়, পয়সায় পূর্ণসংখ্যা হিসেবে (অংশ ৮-এর কোডে তৈরির নিয়ম দেখবেন)। নিচে k হলো একই Series টাকায় ((sales // 100).rename("taka")). ডেস্কটপে সত্যিকারের run (pandas 3.1.1, NumPy 2.5.4):

>>> type(k.index).__name__, k.index.dtype
('DatetimeIndex', dtype('<M8[us]'))
>>> k["2026-03-10":"2026-03-12"]           # দুই প্রান্তই ধরা
2026-03-10    44881
2026-03-11    55276
2026-03-12    54666
Freq: D, Name: taka, dtype: int64
>>> len(k["2026-04"]), int(k["2026-04"].sum())   # পুরো মাস
(30, 1554513)
>>> k.loc["2026-04-14"]                     # পহেলা বৈশাখ
np.int64(75700)
>>> k[k.index.day_name() == "Friday"].head(3)
2026-03-06    50186
2026-03-13    58396
2026-03-20    57700
Name: taka, dtype: int64

একটি তারিখ দিলে ফল একটি একক সংখ্যা, যা NumPy 2 np.int64(75700) হিসেবে দেখায়; এটি সাধারণ 75700-ই। তিনটি জিনিস লক্ষ করুন। প্রথমত, তারিখের লেখা দিয়ে slice করলে দুই প্রান্তই ধরা হয়: ১০ থেকে ১২ মানে তিন দিন। এটি .loc-এর লেবেল-ভিত্তিক নিয়ম (পর্ব ২২), সংখ্যার অবস্থান দিয়ে slice-এর মতো শেষটি বাদ যায় না। দ্বিতীয়ত, "2026-04"-এর মতো আংশিক লেখা পুরো মাস দেয়; একে বলে partial string indexing. তৃতীয়ত, index-এর নিজেরও .day_name(), .month আছে, .dt ছাড়াই, কারণ .dt লাগে শুধু সাধারণ কলামে।

একটি শর্ত আছে: index সাজানো না থাকলে তারিখের পরিসর দিয়ে বাছাই ঝামেলা করে। আমাদের run-এ তিনটি এলোমেলো দিনের index-এ s["2026-02-27":"2026-03-02"] দিয়েছে KeyError: 'Value based partial slicing on non-monotonic DatetimeIndexes with non-existing keys is not allowed.', আর s.sort_index() করার পর একই লেখা ঠিক দুটি সারি দিয়েছে। অনেক উৎসের ডেটা জোড়া লাগানোর পর (পর্ব ২৫) তাই প্রথম কাজ sort_index(), আর index.is_monotonic_increasing দিয়ে যাচাই।

৫ · Time zone — naive, aware, Asia/Dhaka আর UTC

ঢাকা থেকে লন্ডনে আত্মীয়কে ফোন করার আগে আমরা হিসাব করি: “এখানে রাত ১০টা, ওখানে বিকেল ৪টা”। মুহূর্ত একটিই, ঘড়ির লেখা দুটি। “রাত ১০টা” কথাটি একা কোনো মুহূর্ত নয়; সঙ্গে “ঢাকায়” না বললে অর্থ অসম্পূর্ণ। pandas-এ time zone ছাড়া সময়কে বলে naive, আর time zone-সহ সময়কে aware. Naive সময় শুধু ঘড়ির কাঁটার অবস্থান; aware সময় পৃথিবীর একটি নির্দিষ্ট মুহূর্ত।

বাংলাদেশের ঘড়ি UTC (পৃথিবীর মান সময়) থেকে ৬ ঘণ্টা এগিয়ে, UTC+6, আর লেখার সময় এখানে কোনো ঘড়ি এগোনো-পেছানো নেই। কিন্তু একটি জিনিস বিপজ্জনক: ঢাকার মধ্যরাত UTC-তে সন্ধ্যা ৬টা। তাই রাত ১২টা থেকে সকাল ৬টার মধ্যের প্রতিটি অর্ডার ঢাকার হিসাবে এক তারিখের, UTC-র হিসাবে আগের তারিখের। নিচের ছবি বাজারঘরের তিনটি অর্ডার দিয়ে সেটি দেখায়।

pandas-এ দুটি আলাদা কাজ আছে, আর তাদের পার্থক্যই এই অংশের মূল কথা। tz_localize("Asia/Dhaka") একটি naive সময়ের গায়ে লিখে দেয় “এটি ঢাকার ঘড়ির সময়”: ঘড়ির লেখা বদলায় না, শুধু পরিচয় যোগ হয়। tz_convert("UTC") একটি aware সময়কে অন্য ঘড়িতে দেখায়: মুহূর্ত বদলায় না, লেখা বদলায়। নিচের ধাপে অর্ডার খ-কে দুই কাজের মধ্য দিয়ে নিয়ে যান।

1t = pd.Timestamp("2026-04-14 02:10")2print(t.tz)3bd = t.tz_localize("Asia/Dhaka")4u = bd.tz_convert("UTC")5print(bd == u)6print(u.date(), bd.date())

এবার একই কাজ পুরো কলামে, সঙ্গে .dt দিয়ে তারিখ আর ঘণ্টা দুই ঘড়িতে। ব্রাউজারের Python-এ time zone-এর নিয়মগুলো আসে tzdata package থেকে, তাই প্রথম লাইনে import tzdata; ডেস্কটপে সাধারণত এটি লাগে না, তবে Windows-এ zoneinfo-র জন্য tzdata install করা থাকলে ভালো।

import tzdata                     # ব্রাউজারে time zone-এর তালিকা
import pandas as pd
pd.set_option("display.width", 60)

# দোকানের ঘড়িতে লেখা সময় (time zone ছাড়া = naive)
local = pd.Series(pd.to_datetime([
    "2026-04-13 23:50", "2026-04-14 02:10", "2026-04-14 09:30"]))
print("naive tz:", local.dt.tz)

dhaka = local.dt.tz_localize("Asia/Dhaka")   # "এটি ঢাকার সময়"
utc = dhaka.dt.tz_convert("UTC")              # একই মুহূর্ত, UTC-তে
df = pd.DataFrame({"dhaka": dhaka, "utc": utc})
print(df)
print("একই মুহূর্ত?", (df["dhaka"] == df["utc"]).all())

# .dt accessor: কোন ঘড়িতে দেখছেন, তার ওপর উত্তর নির্ভর করে
print(pd.DataFrame({
    "date_bd": df["dhaka"].dt.date, "hour_bd": df["dhaka"].dt.hour,
    "date_utc": df["utc"].dt.date, "hour_utc": df["utc"].dt.hour}))
d = df["dhaka"].dt
print(d.day_name().tolist(), d.quarter.tolist(),
      d.isocalendar().week.tolist())

try:
    local[0] - dhaka[0]                        # naive − aware
except TypeError as e:
    print("TypeError:", e)

# ২০০৯ সালের গ্রীষ্ম: tz database অনুযায়ী তখন UTC+7
for t in ["2009-07-01 12:00", "2010-07-01 12:00"]:
    print(t, "->", pd.Timestamp(t).tz_localize("Asia/Dhaka")
          .strftime("%z"))

naive tz: None
                      dhaka                       utc
0 2026-04-13 23:50:00+06:00 2026-04-13 17:50:00+00:00
1 2026-04-14 02:10:00+06:00 2026-04-13 20:10:00+00:00
2 2026-04-14 09:30:00+06:00 2026-04-14 03:30:00+00:00
একই মুহূর্ত? True
      date_bd  hour_bd    date_utc  hour_utc
0  2026-04-13       23  2026-04-13        17
1  2026-04-14        2  2026-04-13        20
2  2026-04-14        9  2026-04-14         3
['Monday', 'Tuesday', 'Tuesday'] [2, 2, 2] [16, 16, 16]
TypeError: Cannot subtract tz-naive and tz-aware datetime-like objects.
2009-07-01 12:00 -> +0700
2010-07-01 12:00 -> +0600

নিয়ম: রাখুন UTC-তে, দেখান ঢাকায়

বড় সিস্টেম প্রায় সবসময় এই নিয়ম মানে, কারণ UTC-তে কোনো DST নেই, প্রতিটি মুহূর্তের একটিই লেখা, আর ভিন্ন দেশের সার্ভারের log মেলানো যায়। বিশ্লেষণের সময় একবার tz_convert("Asia/Dhaka") করে তারপর দিন, বার বা ঘণ্টা ধরে হিসাব করুন, আর কোন কলাম কোন ঘড়ির তা নামেই লিখুন, যেমন created_at_utc বা order_time_bd. ব্যতিক্রম ভবিষ্যতের নির্ধারিত ঘটনা (“প্রতিদিন ঢাকার সকাল ৯টায় অফার”): এগুলো ঢাকার ঘড়ি আর zone-এর নাম দিয়ে রাখা ভালো, কারণ নিয়ম বদলালে আগে থেকে হিসাব করা UTC সময় ভুল হয়ে যায়। SQL-এর দিক দেখতে পারেন SQL ফাংশন পর্বের টাইমজোন অংশে।

৬ · date_range, frequency, শুক্র-শনি ছুটি আর ফাঁকা দিন

পুরো একটি ক্যালেন্ডার বানাতে pd.date_range(start, end, freq=...); freq বলে ধাপ কত বড়। ধাপের নামগুলোকে বলে frequency alias, আর pandas 2.2 থেকে এদের কয়েকটির নাম বদলেছে, যা পুরোনো টিউটোরিয়াল আর AI সহকারীর কোডে প্রায়ই ভুল আকারে আসে। ডেস্কটপে সত্যিকারের run (pandas 3.1.1):

>>> pd.date_range("2026-04-01", periods=4, freq="W-SAT")
DatetimeIndex(['2026-04-04', '2026-04-11', '2026-04-18',
               '2026-04-25'],
              dtype='datetime64[us]', freq='W-SAT')
>>> pd.date_range("2026-01-01", periods=3, freq="ME")
DatetimeIndex(['2026-01-31', '2026-02-28', '2026-03-31'],
              dtype='datetime64[us]', freq='ME')
>>> pd.date_range("2026-01-01", periods=3, freq="MS")
DatetimeIndex(['2026-01-01', '2026-02-01', '2026-03-01'],
              dtype='datetime64[us]', freq='MS')
>>> pd.date_range("2026-01-01", periods=2, freq="M")
ValueError: Invalid frequency: M. Failed to parse with error message: ValueError("'M' is no longer supported for offsets. Please use 'ME' instead.")

Error-এর শুধু শেষ লাইন দেখানো হয়েছে। একই run-এ freq="Y" আর freq="H"-ও ValueError দিয়েছে; দ্বিতীয়টির বার্তায় pandas নিজেই বলেছে Did you mean h?.

শেষ সারিটি বাংলাদেশের জন্য গুরুত্বপূর্ণ। B বা bdate_range-এর default business day হলো সোম থেকে শুক্র, পশ্চিমের অফিসের সপ্তাহ। বাংলাদেশে সরকারি অফিস আর ব্যাংকের সাপ্তাহিক ছুটি সাধারণত শুক্র-শনি, কাজ রবি থেকে বৃহস্পতি (প্রতিষ্ঠানভেদে ভিন্ন হতে পারে)। বাজারঘরের অফিস কোন দিন পার্সেল পাঠায়, তা হিসাব করতে freq="C" আর weekmask দিন, সঙ্গে ঘোষিত ছুটির তালিকা holidays. সত্যিকারের run (pandas 3.1.1):

>>> pd.bdate_range("2026-04-09", "2026-04-16").strftime("%d %a").tolist()
['09 Thu', '10 Fri', '13 Mon', '14 Tue', '15 Wed', '16 Thu']
>>> bd = pd.bdate_range("2026-04-09", "2026-04-16", freq="C",
...                     weekmask="Sun Mon Tue Wed Thu",
...                     holidays=["2026-04-14"])   # পহেলা বৈশাখ
>>> bd.strftime("%d %a").tolist()
['09 Thu', '12 Sun', '13 Mon', '15 Wed', '16 Thu']

Default নিয়মে শুক্রবার ১০ তারিখ কাজের দিন, আর রবিবার ১২ তারিখ ছুটি, যা বাংলাদেশের জন্য উল্টো। নিজের weekmask দিলে শুক্র-শনি বাদ যায়, রবিবার আসে, আর ১৪ এপ্রিল পহেলা বৈশাখের সরকারি ছুটি হিসেবে বাদ পড়ে। বাংলাদেশে পহেলা বৈশাখ এখন প্রতি বছর ১৪ এপ্রিল, কিন্তু ঈদের ছুটি চাঁদ দেখার ওপর নির্ভর করে, আর ছুটি কয়দিন হবে তা প্রতি বছর ঘোষণা হয়। তাই holidays-এর তালিকা কোডে আন্দাজে না লিখে প্রতি বছরের সরকারি ছুটির তালিকা থেকে একটি আলাদা ফাইলে রাখুন।

ফাঁকা দিন — asfreq, reindex আর ভরার তিন পথ

বাস্তবের ডেটায় দিন হারায়: সার্ভার বন্ধ ছিল, বা সেদিন কোনো অর্ডারই আসেনি বলে কোনো সারি তৈরি হয়নি। একটি দিন না থাকা আর একটি দিনে শূন্য বিক্রি দুটি আলাদা কথা, কিন্তু টেবিলে দুটিই “সারি নেই”। ধরুন মার্চের প্রথম সপ্তাহ থেকে ৩ আর ৪ তারিখ হারিয়েছে। asfreq("D") পুরো দৈনিক ক্যালেন্ডার বানিয়ে ফাঁকা দিনে NaN বসায়, যাতে ফাঁকগুলো চোখে পড়ে। ডেস্কটপে সত্যিকারের run (pandas 3.1.1), মান টাকায়:

>>> small.index.freq, len(small)          # ৭ দিনের মধ্যে ৫টি সারি
(None, 5)
>>> full = small.asfreq("D")
>>> full
2026-03-01    51828.0
2026-03-02    43760.0
2026-03-03        NaN
2026-03-04        NaN
2026-03-05    38293.0
2026-03-06    50186.0
2026-03-07    50767.0
Freq: D, Name: taka, dtype: float64
>>> full.fillna(0).astype("int64").tolist()   # বন্ধ ছিল
[51828, 43760, 0, 0, 38293, 50186, 50767]
>>> full.ffill().tolist()                     # আগের মান টেনে
[51828.0, 43760.0, 43760.0, 43760.0, 38293.0, 50186.0, 50767.0]
>>> full.interpolate().round().tolist()       # সরলরেখায় অনুমান
[51828.0, 43760.0, 41938.0, 40115.0, 38293.0, 50186.0, 50767.0]
>>> small.reindex(pd.date_range("2026-03-01", "2026-03-07"),
...               fill_value=0).tolist()       # একই কাজ এক ধাপে
[51828, 43760, 0, 0, 38293, 50186, 50767]

কোনটি ঠিক, তা নির্ভর করে কেন দিনটি ফাঁকা তার ওপর, pandas-এর ওপর নয়। দোকান বন্ধ থাকলে বিক্রি সত্যিই 0, তাই fillna(0). তাপমাত্রা, দাম বা গুদামের মজুদের মতো “অবস্থা”-র মাপে forward fill (ffill) যুক্তিসংগত, কারণ মাপ না নিলেও অবস্থা থেকে যায়। কিন্তু বিক্রির মতো গোনা সংখ্যায় ffill মানে একই দিনের বিক্রি দুবার গোনা: ওপরের উদাহরণে দুই দিনে বাড়তি ৮৭ হাজার টাকার বানানো বিক্রি। Interpolation মসৃণ অনুমান দেয়, কিন্তু অনুমিত বিক্রি আসল বিক্রি নয়। কয়টি দিন কীভাবে ভরলেন, তা একটি আলাদা কলামে (was_missing) রাখুন। Rolling-এর একটি সূক্ষ্মতাও এখানে: ফাঁকা দিনসহ ডেটায় rolling(3) শেষ তিনটি সারি নেয়, যা পাঁচ দিনের পরিসর হতে পারে; rolling("3D") শেষ তিন ক্যালেন্ডার দিন নেয়। আমাদের run-এ ৫ মার্চে rolling(3).sum() দিয়েছে 133881 (১, ২, ৫ তারিখ) আর rolling("3D").sum() দিয়েছে 38293 (শুধু ৫ তারিখ, কারণ ৩ আর ৪ ফাঁকা)।

৭ · resample — দিন থেকে সপ্তাহ আর মাস

মাস শেষে দোকানদার প্রতিদিনের পাতা উল্টে উল্টে সপ্তাহের যোগফল লেখেন। resample ঠিক এই কাজ: সময়ের ধারাকে নতুন মাপের বাক্সে ভাগ করে প্রতিটি বাক্সে একটি সারাংশ। এটি আসলে পর্ব ২৪-এর groupby, শুধু গ্রুপের চাবি একটি কলাম নয়, সময়ের বাক্স: sales.resample("W-SAT").sum() মানে “শনিবারে শেষ হওয়া প্রতিটি সপ্তাহ ধরে ভাগ, তারপর যোগ”। দুটি প্রশ্ন সব সময় থাকে: বাক্সের সীমা কোথায়, আর বাক্সের নাম (label) কোন দিনের। নিচের ধাপে ১০ দিনের একটি ছোট উদাহরণ (হাজার টাকায়) দুই সপ্তাহে ভাগ হচ্ছে।

শেষ ধাপের শিক্ষা হলো, সাপ্তাহিক চার্টে প্রথম আর শেষ সপ্তাহ প্রায়ই অসম্পূর্ণ, আর ছোট দেখায় শুধু কম দিনের কারণে। বাজারঘরের পুরো ৬১ দিনের ডেটায় resample("W-SAT").count() আমাদের run-এ দিয়েছে [7, 7, 7, 7, 7, 7, 7, 7, 5]: শেষ সপ্তাহ (নাম ২ মে) মাত্র ৫ দিনের, তাই এর যোগফল বাকিগুলোর চেয়ে প্রায় এক-তৃতীয়াংশ কম। সমাধান: agg(["sum", "count"]) দিয়ে দিনের সংখ্যাও পাশে রাখুন, আর তুলনার সময় অসম্পূর্ণ বাক্স বাদ দিন বা দৈনিক গড়ে তুলনা করুন। মাসের বেলায় একই কথা: মার্চ ৩১ দিনের, এপ্রিল ৩০ দিনের, ফেব্রুয়ারি ২৮ দিনের; মাসিক যোগফলের তুলনায় এই এক-দুই দিনের পার্থক্যও কয়েক শতাংশ বদলায়।

৮ · rolling আর expanding — চলমান গড় আর উৎসবের ঢেউ

ক্রিকেটে একজন ব্যাটসম্যানের “শেষ পাঁচ ইনিংসের গড়” তাঁর এখনকার ফর্ম বোঝায়, আর “ক্যারিয়ারের গড়” পুরো ইতিহাস। প্রথমটি rolling(5).mean(), দ্বিতীয়টি expanding().mean(). Rolling window একটি নির্দিষ্ট মাপের জানালা, যা প্রতিদিন এক ঘর সরে; আর expanding window শুরুতে বাঁধা থাকে, প্রতিদিন বড় হয়। দৈনিক বিক্রির এলোমেলো ওঠানামা মসৃণ করতে ৭ দিনের moving average সবচেয়ে প্রচলিত, কারণ ৭ দিনে প্রতিটি বার ঠিক একবার পড়ে, তাই সপ্তাহের ভেতরের ছন্দ (শুক্রবারের ভিড়) গড়ে মিশে যায়। নিচের ধাপে একটি ৩ দিনের জানালা সাত দিনের ওপর দিয়ে সরছে।

এখন পুরো বাজারঘরের ডেটা। নিচের কোড মার্চ-এপ্রিলের ৬১ দিনের দৈনিক বিক্রি বানায়: একটি সাধারণ স্তর, শুক্রবারে একটু বেশি (সাপ্তাহিক seasonality), ১৫–১৯ মার্চ একটি উৎসবের ভিড়, ১৪ এপ্রিল পহেলা বৈশাখের লাফ, আর seed দেওয়া এলোমেলো ওঠানামা। সতর্কতা: ঈদের তারিখ চাঁদ দেখার ওপর নির্ভর করে, আর হিজরি বছর সৌর বছরের চেয়ে প্রায় ১০–১১ দিন ছোট বলে প্রতি বছর ঈদ ইংরেজি ক্যালেন্ডারে আগে সরে আসে। এখানে ১৫–১৯ মার্চ শুধু একটি কাল্পনিক “ঈদের আগের ভিড়”, কোনো বছরের আসল ঈদের তারিখের দাবি নয়। তারপর সাপ্তাহিক ও মাসিক যোগফল, ৭ দিনের চলমান গড়, expanding গড় আর একটি chart.

import numpy as np, pandas as pd
import matplotlib.pyplot as plt
pd.set_option("display.width", 60)

rng = np.random.default_rng(42)
days = pd.date_range("2026-03-01", "2026-04-30", freq="D")
base = 50_000 + 8_000 * (days.day_of_week == 4)   # শুক্রবার বেশি
spike = np.where((days >= "2026-03-15") & (days <= "2026-03-19"),
                 40_000, 0)                       # কাল্পনিক ঈদের ভিড়
spike += np.where(days == "2026-04-14", 25_000, 0)  # পহেলা বৈশাখ
taka = base + spike + rng.normal(0, 6_000, len(days))
sales = pd.Series((taka * 100).round().astype("int64"), index=days,
                  name="paisa")                  # টাকা নয়, পয়সা

k = lambda s: (s / 100_000).round(1)             # পয়সা → হাজার টাকা
print("প্রথম তিন দিন:", k(sales.head(3)).tolist())
week = sales.resample("W-SAT").sum()             # রবি…শনি এক সপ্তাহ
print(len(week), "সপ্তাহ; প্রথম তিনটি:", k(week.head(3)).tolist())
print("মাস:", k(sales.resample("ME").sum()).tolist())

roll7 = sales.rolling(7).mean()                  # ৭ দিনের চলমান গড়
grow = sales.expanding().mean()                  # শুরু থেকে আজ পর্যন্ত
print("NaN:", roll7.isna().sum(), "| ১৯ মার্চ:", k(roll7["2026-03-19"]),
      "| শেষ গড়:", k(grow.iloc[-1]))

fig, ax = plt.subplots(figsize=(7, 3.2))
ax.plot(days, sales / 100_000, lw=0.8, color="#94a3b8", label="Daily")
ax.plot(days, roll7 / 100_000, lw=2, color="#2563eb",
        label="7-day mean")
ax.axvspan(pd.Timestamp("2026-03-15"), pd.Timestamp("2026-03-19"),
           color="#fde68a", alpha=0.5, label="Festival week (fictional)")
ax.set(title="Bazarghar daily sales", ylabel="Sales ('000 taka)")
ax.legend(fontsize=8); fig.autofmt_xdate(); plt.tight_layout()
plt.show()

প্রথম তিন দিন: [51.8, 43.8, 54.5]
9 সপ্তাহ; প্রথম তিনটি: [345.0, 368.0, 556.0]
মাস: [1797.9, 1554.5]
NaN: 6 | ১৯ মার্চ: 80.6 | শেষ গড়: 55.0

দুটি সতর্কতা। প্রথমত, rolling(7, center=True) জানালাকে মাঝখানে বসায়, মানে আজকের গড়ে আগামী তিন দিনের বিক্রিও ঢোকে। পেছনের দিকে তাকিয়ে chart আঁকার জন্য এটি সুন্দর, কিন্তু ভবিষ্যদ্বাণীর feature-এ এটি ভবিষ্যৎ চুরি (অংশ ৯)। দ্বিতীয়ত, ঈদ প্রতি বছর তারিখ বদলায়, তাই “মার্চের তৃতীয় সপ্তাহ” feature কাজ করবে না; কাজ করবে “ঈদের কত দিন আগে”, যাচাই করা ছুটির তালিকা থেকে বানানো। সাম্প্রতিক দিনে বেশি ওজন দিতে চাইলে ewm (exponentially weighted) আছে। SQL-এ একই হিসাব window function দিয়ে হয়, যা DBMS কোর্সের window function পর্বে আছে।

৯ · shift, diff, pct_change আর lag feature — ভবিষ্যৎ যেন না ঢোকে

আবহাওয়ার পূর্বাভাস দেওয়ার সময় আবহাওয়াবিদ শুধু আজ পর্যন্ত মাপা তথ্য ব্যবহার করতে পারেন; আগামীকালের মাপ তাঁর হাতে নেই। Forecasting-এর feature-এও একই শর্ত। “গতকালের বিক্রি”, “গত সপ্তাহের একই বারের বিক্রি”, “গতকাল থেকে কত বাড়ল” — এগুলোকে বলে lag feature, আর এদের যন্ত্র তিনটি:

• shift(1) প্রতিটি মান এক ঘর নিচে নামায়: আজকের সারিতে গতকালের মান। প্রথম ঘর NaN. shift(7) গত সপ্তাহের একই বার। shift(-1) উল্টো দিকে: আজকের সারিতে আগামীকালের মান।
• diff() = আজ − গতকাল, মানে s - s.shift(1). diff(-1) = আজ − আগামীকাল।
• pct_change() = (আজ − গতকাল) / গতকাল, শতাংশের পরিবর্তন; 0.25 মানে ২৫% বৃদ্ধি। গতকাল 0 হলে ফল inf, তাই বিক্রি শূন্য হতে পারে এমন ডেটায় সাবধান।

Data leakage-এর অর্থ (data leakage) আপনি পর্ব ৫-এ প্রথম দেখেছেন: model-কে এমন তথ্য দেওয়া, যা ভবিষ্যদ্বাণীর মুহূর্তে বাস্তবে পাওয়া যেত না। Time series-এ এর সবচেয়ে সাধারণ রূপ একটি চিহ্নের ভুল: shift(1)-এর জায়গায় shift(-1). নিচের কোড আগামীকালের বিক্রি আন্দাজ করার একটি ছোট linear model বানায় (NumPy-র lstsq দিয়ে, পর্ব ১৭-এর least squares), দুই সেট feature দিয়ে: একটি সৎ, একটিতে ভবিষ্যৎ লুকানো। Train আর test ভাগ হয়েছে তারিখ ধরে, এলোমেলো নয়।

import numpy as np, pandas as pd
pd.set_option("display.width", 60)
rng = np.random.default_rng(42)
days = pd.date_range("2026-03-01", "2026-04-30", freq="D")
fri = 8 * (days.day_of_week == 4)            # শুক্রবার বেশি
s = pd.Series((55 + fri + rng.normal(0, 6, len(days))).round(1),
              index=days)   # দৈনিক বিক্রি, হাজার টাকায় (কাল্পনিক)

df = pd.DataFrame({"sales": s,
                   "lag1": s.shift(1),        # গতকাল
                   "diff1": s.diff(),         # আজ − গতকাল
                   "pct": s.pct_change().round(3)})
print(df.head(4))

df["y"] = s.shift(-1)              # লক্ষ্য: আগামীকালের বিক্রি
df["leak"] = s.diff(-1)            # ভুল: আজ − আগামীকাল!
df["lag7"] = s.shift(7)            # গত সপ্তাহের একই বার
df = df.dropna()

train = df[:"2026-04-15"]          # সময় ধরে ভাগ, এলোমেলো নয়
test = df["2026-04-16":]

def mae(cols):
    X = np.c_[np.ones(len(train)), train[cols]]
    w, *_ = np.linalg.lstsq(X, train["y"], rcond=None)
    Xt = np.c_[np.ones(len(test)), test[cols]]
    return np.abs(Xt @ w - test["y"]).mean().round(2)

print("rows:", len(train), len(test))
print("baseline (আজকের মান):",
      (test["sales"] - test["y"]).abs().mean().round(2))
print("সৎ feature:", mae(["sales", "lag1", "lag7", "diff1"]))
print("leak সহ:", mae(["sales", "lag1", "leak"]))

            sales  lag1  diff1    pct
2026-03-01   56.8   NaN    NaN    NaN
2026-03-02   48.8  56.8   -8.0 -0.141
2026-03-03   59.5  48.8   10.7  0.219
2026-03-04   60.6  59.5    1.1  0.018
rows: 39 14
baseline (আজকের মান): 7.55
সৎ feature: 4.97
leak সহ: 0.0

ভাগের নিয়মটিও সমান গুরুত্বপূর্ণ। এলোমেলোভাবে সারি বেছে test বানালে (train-test split-এর default shuffle=True) ১৫ এপ্রিলের সারি test-এ আর ১৪ ও ১৬ এপ্রিল train-এ পড়তে পারে, আর model দুই পাশের দিন দেখে মাঝের দিন আন্দাজ করে, যা ভবিষ্যদ্বাণী নয়, interpolation. Time series-এ তাই time-based split: একটি তারিখের আগে train, পরে test, যেমন ওপরের কোডে। Validation-এর আরও নিয়ম, যেমন বারবার সামনে সরানো জানালা দিয়ে যাচাই, আসবে পর্ব ৫৬ · Train, validation আর test — data leakage-এর ফাঁদ-এ, আর feature বানানোর পুরো কৌশল পর্ব ৬৩ · Feature engineering-এ।

১০ · AI-এর যুগে — সময়ের কোডে AI সহকারীর ভুল ধরা

“দৈনিক বিক্রি থেকে মাসিক যোগফল আর আগামী সপ্তাহের forecast-এর feature বানাও” লিখলে AI সহকারী কয়েক সেকেন্ডে কোড দেবে, আর সেই কোড প্রায়ই চলবে। সময়ের কোডে ভুলের ধরনগুলো চেনা, আর বেশিরভাগই নিঃশব্দ:

• পুরোনো API: resample("M"), freq="H", .dt.week, dayofweek; pandas 3-এ প্রথম তিনটি error দেয়, শেষটি সতর্কবার্তা। আবার df.append-এর মতো আরও পুরোনো জিনিসও আসে, যা pandas 2.0-তে সরানো হয়েছে।
• তারিখ আন্দাজে পড়া: format বা dayfirst ছাড়া to_datetime, সঙ্গে errors="coerce"; ফলে বাংলাদেশের দিন-আগে লেখা তারিখ মাস-আগে পড়া হয়, বা অর্ধেক কলাম NaT হয়, কেউ টের পায় না।
• Time zone উপেক্ষা: UTC-তে রাখা সময়ে সরাসরি .dt.hour বা .dt.date, ফলে ঢাকার সকাল আর রাত গুলিয়ে যায়; বা tz_localize দিয়ে convert-এর কাজ করে ৬ ঘণ্টার ভুল।
• Leakage: shift(-1) বা center=True feature-এ, পুরো ডেটা দিয়ে scaling, এলোমেলো split, আর train সেটেই মেট্রিক দেখিয়ে “৯৯% accurate” দাবি।
• বানানো parameter আর লুকানো সতর্কবার্তা: অস্তিত্বহীন argument (যেমন resample(..., tz=...)), বা warnings.filterwarnings("ignore") দিয়ে সব চাপা দেওয়া; আর ফাঁকা দিন ffill করে বিক্রি দুবার গোনা।

AI-এর কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• তারিখ পড়ার পর isna().sum(), min(), max() ছেপেছি; ০৩/০৪-এর মতো একটি দ্ব্যর্থ তারিখ হাতে মিলিয়েছি
• কলামটি naive না aware, আর কোন ঘড়ির, তা .dt.tz দিয়ে দেখেছি; দিন বা ঘণ্টা হিসাবের আগে Asia/Dhaka-তে convert করেছি
• প্রতিটি freq-এর নাম (ME, W-SAT, h) নিজের pandas version-এর অফিসিয়াল docs-এ (pandas.pydata.org) মিলিয়েছি; প্রথম ও শেষ বাক্সে কয়দিন আছে গুনেছি
• প্রতিটি feature-এর জন্য জিজ্ঞেস করেছি “ভবিষ্যদ্বাণীর মুহূর্তে এটি কি হাতে থাকত?”; feature-এ shift(-k) বা center=True নেই
• Train-test ভাগ তারিখ ধরে; মেট্রিক test অংশে, আর একটি সরল baseline-এর পাশে দেখেছি
• কোনো warning লুকানো হয়নি; ফাঁকা দিন কীভাবে ভরা হলো তা লেখা আছে; আসল ক্রেতার নাম-ফোন AI-তে পেস্ট করিনি