Customer analytics — RFM, retention, churn আর lifetime value

পর্ব ৬১ (Data science-এর জন্য SQL — window function, cohort আর funnel) ডেটা টেনে আনার কৌশল দেখায়, পর্ব ৬২–৬৪ পরীক্ষা আর কারণ-ফলের প্রশ্ন। এই পর্বে সব একসঙ্গে লাগে দোকানের ক্রেতার ওপর। ভিত্তি চারটি: পর্ব ০২-এর prediction time আর label window, পর্ব ৫৫-এর censoring আর survival, AI-এর ভিত্তি কোর্সের পর্ব ৫৬-এর leakage, আর একই কোর্সের পর্ব ৬৫-এ k-means দিয়ে RFM ভাগ করার প্রথম দেখা। চারটি চালানো যায় এমন ব্লক পাতাতেই চলে (ব্রাউজারের Python, NumPy, pandas, scikit-learn আর matplotlib); প্রথমবার package নামতে কয়েক সেকেন্ড, scikit-learn-এ প্রায় দশ সেকেন্ড লাগে।

১ · Customer analytics-এর চারটি প্রশ্ন আর বাজারঘরের লেনদেন

Customer analytics-এর কাজ মূলত চারটি প্রশ্নের উত্তর: (১) কে কেমন? ক্রেতাদের অর্থপূর্ণ দলে ভাগ (segmentation). (২) কতজন ফিরছেন? যোগদানের দল ধরে সময়ের সঙ্গে ধরে রাখার হার (retention). (৩) কে চলে যাচ্ছেন, আর কাকে ছোঁয়া উচিত? Churn-এর ঝুঁকি আর হস্তক্ষেপের প্রভাব (uplift). (৪) একজন ক্রেতার দাম কত? ভবিষ্যতের আয়ের বর্তমান মূল্য (customer lifetime value, CLV). চারটিই একই কাঁচামাল থেকে আসে: লেনদেনের টেবিল, যেখানে প্রতি সারিতে ক্রেতা, তারিখ আর টাকা।

নিচের module ২০০০ জন কাল্পনিক বাজারঘর ক্রেতার ১ জুলাই ২০২৪ থেকে ৩১ ডিসেম্বর ২০২৫, অর্থাৎ ১৮ মাসের লেনদেন বানায়। প্রত্যেকের নিজস্ব কেনার হার আর অর্ডারের গড় টাকা আছে, আর প্রতিটি অর্ডারের পরে নিজস্ব সম্ভাবনায় তিনি চুপচাপ চলে যান। ১ অক্টোবর ২০২৫-এ এলোমেলো অর্ধেক ক্রেতা একটি কুপন পান (treat). Simulation ডেটা কাটার দিনের পরেও এক বছর চলে: TX_ALL-এ সেই “ভবিষ্যৎ”, যা বাস্তবে পাওয়া যায় না। বিশ্লেষণ শুধু tx (৩১ ডিসেম্বর পর্যন্ত) দেখে; ভবিষ্যৎ শুধু পদ্ধতির ভুল মাপতে।

# বাজারঘর (কাল্পনিক দোকান): ২০০০ ক্রেতার ১৮ মাসের লেনদেন, seeded
import numpy as np
import pandas as pd

START, CUT = pd.Timestamp("2024-07-01"), pd.Timestamp("2025-12-31")
EXP = pd.Timestamp("2025-10-01")         # কুপন পরীক্ষার দিন
HORIZON = 365                            # CUT-এর পরের "সত্য" (শুধু simulation-এ)

def simulate(n=2000, seed=65):
    rng = np.random.default_rng(seed)
    end = (CUT - START).days + HORIZON
    signup = rng.integers(0, (CUT - START).days, n)      # START থেকে দিন
    lam = rng.gamma(1.5, 0.02, n)       # দিনে কেনার হার (গড় ০.০৩)
    p = rng.beta(1.5, 8.0, n)           # প্রতি অর্ডারের পর চলে যাওয়ার সম্ভাবনা
    nu = rng.gamma(4.0, 1 / 400, n)     # খরচের rate: গড় খরচ 6/nu টাকা
    treat = rng.binomial(1, 0.5, n)     # কুপন পাবেন কি না (এলোমেলো)
    rows, e = [], (EXP - START).days
    for i in range(n):
        t, days, gone = signup[i], [], False
        while t < end:
            days.append(t)
            if rng.uniform() < p[i]:
                gone = True
                break                   # চুপচাপ চলে গেলেন
            t = t + rng.exponential(1 / lam[i])
        days = np.floor(days).astype(np.int64)
        alive = not gone or days[-1] >= e
        rec = e - days[days < e].max() if signup[i] < e - 30 else -1
        win = np.any((days >= e) & (days < e + 30))
        if treat[i] and rec > 0 and not win:     # কুপনের প্রভাব
            u = 0.45 * np.exp(-((rec - 110) / 70) ** 2) if alive else 0.03
            if rng.uniform() < u:
                days = np.sort(np.r_[days, e + rng.integers(0, 30)])
        amt = rng.gamma(6.0, 1 / nu[i], days.size).round()
        rows.append((np.full(days.size, i), days, amt))
    c, d, a = (np.concatenate(z) for z in zip(*rows))
    tx = pd.DataFrame({"customer": c, "day": d, "amount": a})
    tx["date"] = START + pd.to_timedelta(tx.day, unit="D")
    cust = pd.DataFrame({"signup": START + pd.to_timedelta(signup, unit="D"),
                         "treat": treat, "lam": lam, "p": p})
    return tx, cust

TX_ALL, CUST = simulate()
tx = TX_ALL[TX_ALL.date <= CUT][["customer", "date", "amount"]]   # যা দেখা যায়

def future_revenue(months=12, d=0.01):
    """সত্য: CUT-এর পরের ১২ মাসের আয়, মাসিক d হারে discount করা"""
    f = TX_ALL[(TX_ALL.date > CUT) & (TX_ALL.day <= (CUT - START).days + 30 * months)]
    k = (f.day - (CUT - START).days - 1) // 30 + 1          # ১, ২, …, ১২ মাস
    return (f.amount / (1 + d) ** k).groupby(f.customer).sum().reindex(CUST.index, fill_value=0)

এই ছাঁদের নাম চুক্তিহীন (non-contractual) ব্যবসা: মোবাইল প্যাকেজ বা ইন্টারনেট সংযোগের মতো কোনো চুক্তি বাতিলের দিন নেই। ক্রেতা চলে গেলে তা দেখা যায় না, শুধু অর্ডার আর আসে না। এই অদৃশ্যতাই পরের সব অংশের মূল সমস্যা।

২ · RFM — তিনটি সংখ্যায় ক্রেতা চেনা

RFM সবচেয়ে পুরোনো আর এখনো সবচেয়ে বেশি ব্যবহৃত segmentation-গুলোর একটি। তিনটি সংখ্যা, সবই একটি নির্দিষ্ট তারিখে (এখানে ৩১ ডিসেম্বর ২০২৫) মাপা:

• Recency (R): শেষ অর্ডারের পর কত দিন। কম মানে ভালো।
• Frequency (F): মোট কতটি অর্ডার।
• Monetary (M): মোট কত টাকা (কেউ কেউ অর্ডারপ্রতি গড় নেন)।

প্রতিটি সংখ্যাকে ৫টি সমান ভাগে (quintile) ভেঙে ১ থেকে ৫ score দেওয়া হয়: সবচেয়ে সাম্প্রতিক ২০% পান R = ৫, সবচেয়ে বেশি অর্ডারের ২০% পান F = ৫. তারপর score-এর জোড়া থেকে নামসহ segment. নিয়মটি এই পর্বে R আর F দিয়ে: Champions (R ≥ ৪, F ≥ ৪), Loyal (R ≥ ৩, F ≥ ৩), New (R ≥ ৪, F ≤ ২), At risk (R ≤ ২, F ≥ ৩), Lost (R ≤ ২, F ≤ ২), বাকিরা Need attention. নিয়মগুলো ক্রমে পরীক্ষা হয়; প্রথম যে নিয়ম খাটে, সেটিই segment. এই সীমাগুলো কোনো মানদণ্ড নয়, ব্যবসার আলোচনায় ঠিক হয়।

এবার পুরো ২০০০ জনে। প্রথম ব্লক তিনটি সংখ্যা গোনে, quintile score দেয়, segment বসায়, আর প্রতিটি segment-এর আকার, median recency, গড় অর্ডার আর আয়ের ভাগ ছাপায়। এটি প্রথমবার pandas আনে, তাই কয়েক সেকেন্ড লাগতে পারে।

import numpy as np
import pandas as pd
from bazar_cust import tx, CUT

pd.set_option("display.width", 72)
print(tx.head(3))
g = tx.groupby("customer")
rfm = pd.DataFrame({"recency": (CUT - g.date.max()).dt.days,
                    "frequency": g.size(),
                    "monetary": g.amount.sum()})
def score(s, higher_better=True):         # quintile: 1 থেকে 5
    r = s.rank(method="first", ascending=higher_better)   # tie ভাঙা
    return pd.qcut(r, 5, labels=[1, 2, 3, 4, 5]).astype(int)
rfm["R"] = score(rfm.recency, higher_better=False)
rfm["F"] = score(rfm.frequency)
rfm["M"] = score(rfm.monetary)
print(rfm.head(3))
R, F = rfm.R, rfm.F
rfm["segment"] = np.select(
    [(R >= 4) & (F >= 4), (R >= 3) & (F >= 3), (R >= 4) & (F <= 2),
     (R <= 2) & (F >= 3), (R <= 2) & (F <= 2)],
    ["Champions", "Loyal", "New", "At risk", "Lost"], "Need attention")
seg = rfm.groupby("segment").agg(n=("R", "size"), recency=("recency", "median"),
                                  orders=("frequency", "mean"),
                                  revenue=("monetary", "sum"))
seg["cust %"] = (100 * seg.n / seg.n.sum()).round(1)
seg["rev %"] = (100 * seg.revenue / seg.revenue.sum()).round(1)
print(seg.drop(columns="revenue").sort_values("rev %", ascending=False)
      .round(1))

   customer       date  amount
0         0 2024-10-04   807.0
1         0 2024-11-19   663.0
2         0 2025-01-14  1631.0
          recency  frequency  monetary  R  F  M
customer                                       
0             157         11    9956.0  2  5  5
1              81          5    2706.0  3  4  4
2             129          2    1860.0  3  2  3
                  n  recency  orders  cust %  rev %
segment                                            
Champions       402     17.0     9.4    20.1   44.0
At risk         397    286.0     5.4    19.8   23.6
Loyal           401     81.0     4.9    20.0   19.8
Lost            403    336.0     1.3    20.2    5.8
New             251     24.0     1.4    12.6    4.2
Need attention  146    104.5     1.4     7.3    2.6

৩ · চুক্তিহীন ব্যবসায় churn-এর সংজ্ঞা — ৬০, ৯০ না ১৮০ দিন

মোবাইল অপারেটরে churn একটি ঘটনা: গ্রাহক নম্বর বন্ধ করেন, তারিখ জানা। বাজারঘরে কেউ ঘোষণা দেন না। তাই churn একটি সংজ্ঞা, যা বিশ্লেষক বেছে নেন: “cutoff-এর পরের W দিনে কোনো অর্ডার নেই”। W ছোট হলে label দ্রুত আসে, কিন্তু মাঝে মাঝে কেনা মানুষ ভুল করে churn হন; W বড় হলে ভুল কমে, অপেক্ষা বাড়ে।

Simulation-এ আমরা জানি কে আর কখনো কিনবেন না। ৩১ মার্চ ২০২৫-এর cutoff-এ যাঁরা আগের ১৮০ দিনে অন্তত একবার কিনেছেন (৮৭৯ জন), তাঁদের তিনটি সংজ্ঞায় label দিয়ে দেখা যাক, “churn” বলা কতজন পরে ফিরে এসেছেন। হিসাবটি অনুশীলনের চতুর্থ প্রশ্নের কোডে আছে।

জানালা বাছাই এড়ানোর দুটি পথ আছে। Churn-কে সময়ের প্রশ্ন ধরে censoring সামলানো: পর্ব ৫৫-এর Kaplan–Meier আর Cox, যা এখানে আবার করা হবে না। আর চলে যাওয়াকে একটি অদৃশ্য অবস্থা ধরে তার সম্ভাবনা অনুমান: অংশ ৭-এর BG/NBD.

৪ · সময় মেনে churn prediction — observation window, label window আর leakage

Churn model-এর প্রতিটি সারির পেছনে তিনটি সময়: একটি cutoff (prediction time), তার আগের observation window, যেখান থেকে feature আসে, আর তার পরের label window, যেখানে label বসে। পর্ব ০২-এ একটি cutoff আর ডেটা তোলার দিনের গোলমাল দেখা হয়েছে। এখানে নতুন দুটি দিক: সময় ধরে train আর test, আর রোজ রাতে হালনাগাদ হওয়া একটি “মোট অর্ডার” কলামের সূক্ষ্ম ফাঁস।

দ্বিতীয় ব্লক একটি snapshot function দিয়ে প্রতিটি cutoff-এর টেবিল বানায়: unit হলো cutoff-এর আগের ১৮০ দিনে অন্তত একবার কেনা ক্রেতা, feature চারটি (recency, যোগদান থেকে দিন, অর্ডারের সংখ্যা, গড় খরচ), label = পরের ৯০ দিনে কোনো অর্ডার নেই। সৎ টেবিলে চারটিই cutoff পর্যন্ত গোনা। ফাঁসের টেবিলে অর্ডারের সংখ্যা আর গড় খরচ গোনা হয় label window-এর শেষ পর্যন্ত, যেন কেউ ডেটাবেসের “মোট অর্ডার” কলামটি সরাসরি তুলে এনেছেন। Model দুটিই logistic regression (AI-এর ভিত্তি কোর্সের পর্ব ৫৯), মার্চের cutoff-এ train আর জুনের cutoff-এ test: একটি time-based split.

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from bazar_cust import tx

def snapshot(cut, feat_end, win=90):
    """cut পর্যন্ত সক্রিয় ক্রেতা; feature feat_end পর্যন্ত; label cut-এর পরের win দিন"""
    cut, feat_end = pd.Timestamp(cut), pd.Timestamp(feat_end)
    g = tx[tx.date <= cut].groupby("customer")
    h = tx[tx.date <= feat_end].groupby("customer")       # "মোট অর্ডার" কলাম
    X = pd.DataFrame({"rec": (cut - g.date.max()).dt.days,
                      "tenure": (cut - g.date.min()).dt.days,
                      "freq": h.size(), "spend": h.amount.mean()})
    last = g.date.max()
    active = last.index[(cut - last).dt.days <= 180]       # unit: সক্রিয় ক্রেতা
    future = tx[(tx.date > cut) & (tx.date <= cut + pd.Timedelta(days=win))]
    y = (~active.isin(future.customer)).astype(int)        # 1 = churn
    return np.log1p(X.loc[active]), pd.Series(y, index=active)

def auc(train, test):
    m = LogisticRegression().fit(*train)
    return roc_auc_score(test[1], m.predict_proba(test[0])[:, 1])

Xa, ya = snapshot("2025-03-31", "2025-03-31")              # সৎ, train
Xb, yb = snapshot("2025-06-30", "2025-06-30")              # সৎ, পরের cutoff
La, _ = snapshot("2025-03-31", "2025-06-29")               # ফাঁস: label window-এর তথ্য
Lb, _ = snapshot("2025-06-30", "2025-09-28")
print("rows:", len(ya), len(yb), "| churn rate:", round(ya.mean(), 3), round(yb.mean(), 3))
print(f"leaky : train Mar, test Jun  AUC {auc((La, ya), (Lb, yb)):.3f}")
print(f"honest: train Mar, test Jun  AUC {auc((Xa, ya), (Xb, yb)):.3f}")
print(f"leaky model, scored honestly AUC {auc((La, ya), (Xb, yb)):.3f}")

rows: 879 1032 | churn rate: 0.555 0.54
leaky : train Mar, test Jun  AUC 0.827
honest: train Mar, test Jun  AUC 0.740
leaky model, scored honestly AUC 0.634

৫ · কাকে কুপন দেবেন — response model বনাম uplift

Churn score হাতে পেলে স্বাভাবিক প্রস্তাব: “ঝুঁকি বেশি যাঁদের, তাঁদের কুপন দিই”, বা “কুপন পেলে যাঁরা কিনবেন বলে model বলছে, তাঁদের দিই”। দুটিই ভুল প্রশ্নের উত্তর। আসল প্রশ্ন: কুপনের কারণে কে বাড়তি কিনবেন? যিনি এমনিই কিনতেন, তাঁকে কুপন দিলে শুধু ছাড়ের টাকা যায়।

প্রচলিত ভাষায় ক্রেতা চার রকম: persuadables (কুপন পেলে কিনবেন, না পেলে নয়), sure things (এমনিই কিনবেন), lost causes (কুপনেও কিনবেন না), আর sleeping dogs (যোগাযোগ করলেই বিরক্ত হয়ে চলে যান)। শুধু প্রথম দলে কুপন লাভজনক। সমস্যা: একজন মানুষকে একসঙ্গে কুপন দেওয়া আর না দেওয়া যায় না, তাই কারও ব্যক্তিগত প্রভাব কখনো সরাসরি দেখা যায় না। পর্ব ৬৪ (Causal inference-এর পরিচয় — DAG, matching আর difference-in-differences) এই মৌলিক সমস্যার কাঠামো দেখায়। এখানে আমরা সবচেয়ে নির্ভরযোগ্য পথ নিই: একটি এলোমেলো পরীক্ষা (A/B test), যার নকশা আর বিশ্লেষণ পর্ব ৬২ আর ৬৩-এর বিষয়।

বাজারঘরের পরীক্ষা: ১ অক্টোবর ২০২৫-এ অন্তত এক মাস পুরোনো সব ক্রেতার এলোমেলো অর্ধেক কুপন পান। ফল: পরের ৩০ দিনে কোনো অর্ডার আছে কি না। এলোমেলো ভাগ বলে x-এর প্রতিটি মানে দুই দল তুলনীয়, তাই conditional average treatment effect τ(x) = P(কিনবেন | কুপন, x) − P(কিনবেন | কুপন নেই, x) অনুমান করা যায়। সবচেয়ে সরল পদ্ধতি T-learner: কুপন-দলে একটি model, কুপনহীন দলে আরেকটি, তারপর দুটির অনুমানের বিয়োগ। তুলনার জন্য একটি response model: শুধু কুপন-দলে P(কিনবেন | x). দুটিই logistic regression, recency-র বাঁকা প্রভাব ধরতে আগে একটি spline রূপান্তর (পর্ব ২৩-এর basis function). প্রতিটি ক্রেতার score আসে এমন model থেকে, যা তাঁকে train-এ দেখেনি: দুই ভাগে cross-fitting. শেষে score অনুযায়ী ১০টি ভাগ (decile) করে প্রতিটি ভাগে দেখা uplift = কুপন-দলের কেনার হার − কুপনহীন দলের হার।

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import SplineTransformer
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import KFold
from bazar_cust import tx, CUST, EXP
g = tx[tx.date < EXP].groupby("customer")           # কুপনের আগের ইতিহাস
X = pd.DataFrame({"rec": (EXP - g.date.max()).dt.days, "freq": g.size(),
                  "spend": g.amount.mean(), "tenure": (EXP - g.date.min()).dt.days})
X = X[X.tenure > 30]
won = tx[(tx.date >= EXP) & (tx.date < EXP + pd.Timedelta(days=30))].customer
y, t = X.index.isin(won).astype(int), CUST.treat[X.index].to_numpy()
Z = np.log1p(X.to_numpy())
print("n =", len(y), "| bought in 30 d: coupon", y[t == 1].mean().round(3),
      "no coupon", y[t == 0].mean().round(3))
fit = lambda m: make_pipeline(SplineTransformer(n_knots=5), LogisticRegression()).fit(Z[m], y[m])
idx, resp, upl = np.arange(len(y)), np.zeros(len(y)), np.zeros(len(y))
for tr, te in KFold(2, shuffle=True, random_state=65).split(Z):   # cross-fitting
    p1 = fit(np.isin(idx, tr) & (t == 1)).predict_proba(Z[te])[:, 1]  # কুপন-দল
    p0 = fit(np.isin(idx, tr) & (t == 0)).predict_proba(Z[te])[:, 1]  # কুপনহীন দল
    resp[te], upl[te] = p1, p1 - p0              # response বনাম T-learner
out = {}
for name, s in [("response", resp), ("T-learner", upl)]:
    dec = pd.qcut(-s, 10, labels=range(1, 11))           # 1 = সবচেয়ে বেশি score
    r = pd.DataFrame({"d": dec, "y": y, "t": t}).groupby(["d", "t"], observed=True).y.mean().unstack()
    out[name] = r[1] - r[0]                              # decile-এ দেখা uplift
    top = np.asarray(dec.astype(int) <= 3)
    print(f"{name:9s} top 30%: extra orders ~ {(y[top & (t == 1)].mean() - y[top & (t == 0)].mean()) * top.sum():.0f}")
u = pd.DataFrame(out)
print(u.round(2).T)
ax = u.plot.bar(figsize=(6, 3.6), rot=0, xlabel="decile (1 = top score)",
                ylabel="coupon minus no coupon", title="Observed uplift by decile")
ax.figure.subplots_adjust(bottom=0.17); plt.show()

n = 1559 | bought in 30 d: coupon 0.272 no coupon 0.185
response  top 30%: extra orders ~ 14
T-learner top 30%: extra orders ~ 67
d             1     2     3     4     5     6     7     8     9    10
response  -0.03  0.01  0.09  0.16  0.23  0.12  0.05  0.08  0.04  0.05
T-learner  0.12  0.15  0.14  0.08  0.04  0.13  0.00  0.07  0.10  0.04

এই simulation-এ কুপনের সত্যিকারের প্রভাব সবচেয়ে বেশি তাঁদের, যাঁদের শেষ অর্ডার প্রায় ১১০ দিন আগে আর যাঁরা এখনো চলে যাননি: “At risk” দলের একটি অংশ। দুই-model পদ্ধতির নিজস্ব দুর্বলতা: দুটি model-এর ভুল বিয়োগে যোগ হয়, তাই প্রভাব ছোট হলে সংকেত noise-এ ডোবে। বিকল্প S-learner (কুপন একটি feature), X-learner আর uplift tree; মূল্যায়নে Qini বা uplift curve (শীর্ষ k% পর্যন্ত মোট বাড়তি ফল)।

৬ · Cohort retention আর lifetime value — অতীত থেকে ভবিষ্যৎ

Cohort analysis-এ ক্রেতাদের ভাগ করা হয় শুরুর সময় ধরে (এখানে প্রথম অর্ডারের ত্রৈমাসিক), তারপর দেখা হয় প্রথম অর্ডারের k মাস পরে প্রতিটি দলের কত ভাগ আবার কিনেছেন: এক সারিতে এক দল, এক কলামে এক বয়স, এই হলো retention টেবিল। SQL-এ এটি পর্ব ৬১-এর বিষয় (“ডাটাবেস ও SQL” কোর্সের window function-ও দেখুন); এখানে pandas-এ। জরুরি নিয়ম: যে মাস কারও জন্য পুরো দেখা হয়নি, তা হরেও আসবে না, লবেও না; নইলে নতুন দলের retention মিথ্যা করে কম দেখায়, পর্ব ৫৫-এর censoring-এর মতো।

CLV আসে টাকার সময়-মূল্য থেকে: আজকের ১০০ টাকা এক বছর পরের ১০০ টাকার চেয়ে দামি, তাই ভবিষ্যতের আয়কে একটি discount rate d দিয়ে ছোট করা হয়। মাসিক margin m, মাস t-তে সক্রিয় থাকার সম্ভাবনা r^t−১, আর টাকা আসে মাসের শেষে ধরলে

CLV = ∑_t=১^∞ m · r^t−১ / (১ + d)^t = m / (১ + d − r)

এখানে m টাকা/মাস, r আর d ভগ্নাংশ। ১২ মাসে থামলে যোগফল m/(১ + d − r) · [১ − (r/(১ + d))^১২]. কিছু বইয়ে প্রথম মাসের টাকাও টিকে থাকার শর্তে আসে; তখন সূত্র m·r/(১ + d − r). কোন নিয়ম, তা লিখে রাখাই আসল কথা।

বাস্তবে r সবার জন্য এক নয়, আর সময়ের সঙ্গে বদলায়। চতুর্থ ব্লক retention টেবিল আর বক্ররেখা আঁকে, তারপর পরের ১২ মাসের মূল্য (মাসিক ১% discount) দুইভাবে অনুমান করে সত্যের সঙ্গে মেলায়। (ক) ইতিহাসের গড়: প্রতিটি ক্রেতার এ পর্যন্ত মাসিক গড় আয় সামনেও চলবে। (খ) Cohort বক্ররেখা: বয়স k মাসে শুরু করা প্রতি ক্রেতার গড় আয় R(k), দেখা বয়সের বাইরে log-রেখায় বাড়ানো, আর প্রতিটি ক্রেতার বর্তমান বয়স থেকে পরের ১২ মাস যোগ।

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from bazar_cust import tx, CUT, future_revenue
first = tx.groupby("customer").date.min()
seen = (CUT - first).dt.days // 30          # কত মাস পুরো দেখা হয়েছে
cohort = first.dt.to_period("Q").astype(str)
d = tx.assign(age=(tx.date - tx.customer.map(first)).dt.days // 30)
d = d[(d.age > 0) & (d.age < d.customer.map(seen))]      # শুধু পুরো দেখা মাস
act = d.drop_duplicates(["customer", "age"])
num = act.groupby([act.customer.map(cohort).rename("cohort"), "age"]).size().unstack()
den = pd.DataFrame({k: (seen > k).groupby(cohort).sum() for k in num.columns})
ret = (num / den).where(den >= 30)
print((100 * ret.iloc[:, :6]).round(1))
ax = ret.T.plot(marker=".", figsize=(6, 3.6), xlabel="months since first order",
                ylabel="share who ordered", title="Retention by sign-up quarter")
ax.figure.subplots_adjust(bottom=0.15); plt.show()

disc = 1 / 1.01 ** np.arange(1, 13)            # মাসিক ১% discount
hist = tx.groupby("customer").amount.sum() / np.maximum(seen, 1) * disc.sum()
R = d.groupby("age").amount.sum() / den.sum()   # বয়স k-তে ক্রেতাপ্রতি আয়
b = np.polyfit(R.index[2:], np.log(R.values[2:]), 1)   # লেজের জন্য log-রেখা
coh = seen.map(lambda a: (np.exp(np.polyval(b, a + np.arange(1, 13))) * disc).sum())
truth = future_revenue()
print("revenue per customer, months 1-4:", R.head(4).round(0).tolist())
print("next 12 months, discounted (Tk):")
for name, v in [("historical avg", hist), ("cohort curve", coh), ("truth", truth)]:
    print(f"  {name:15s} {v.sum():>12,.0f}")

age        1     2     3     4     5     6
cohort                                    
2024Q3  34.8  31.7  29.3  23.8  22.0  21.0
2024Q4  38.5  29.3  29.3  27.0  21.6  21.0
2025Q1  32.7  27.7  26.5  24.3  23.4  22.4
2025Q2  37.0  35.5  30.6  30.0  26.7  21.7
2025Q3  40.4  34.3  30.1  26.0   NaN   NaN
2025Q4  35.6   NaN   NaN   NaN   NaN   NaN
revenue per customer, months 1-4: [477.0, 402.0, 351.0, 339.0]
next 12 months, discounted (Tk):
  historical avg    13,701,096
  cohort curve       3,102,434
  truth              3,834,581

৭ · BG/NBD আর Gamma-Gamma — ক্রেতা কি এখনো আছেন?

চুক্তিহীন ব্যবসার জন্য একটি probabilistic model পরিবার আছে, যা প্রতিটি ক্রেতার শুধু তিনটি সংখ্যা চায়: পুনরাবৃত্ত অর্ডারের সংখ্যা x, প্রথম থেকে শেষ অর্ডার পর্যন্ত সময় t_x, আর প্রথম অর্ডার থেকে ডেটা কাটার দিন পর্যন্ত সময় T. RFM-এর সঙ্গে মিলটি লক্ষ করুন। BG/NBD model (Peter Fader, Bruce Hardie আর Ka Lok Lee, Marketing Science, ২০০৫) অনুমান করে:

• সক্রিয় থাকা পর্যন্ত একজন ক্রেতা λ হারে Poisson ছাঁদে কেনেন; λ ক্রেতাভেদে gamma(r, α) বণ্টনে ছড়ানো।
• প্রতিটি অর্ডারের পরে তিনি p সম্ভাবনায় চিরতরে চলে যান; p ক্রেতাভেদে beta(a, b) বণ্টনে ছড়ানো।

এই দুই অনুমান থেকে বন্ধ সূত্রে আসে প্রতিটি ক্রেতার P(alive), অর্থাৎ ডেটা কাটার দিনে এখনো সক্রিয় থাকার সম্ভাবনা, আর ভবিষ্যৎ সময়ে প্রত্যাশিত অর্ডার। মূল অন্তর্দৃষ্টি: দীর্ঘ নীরবতা বিপদ মূলত ঘন ঘন কেনা মানুষের জন্য; কম কেনা মানুষের দুই মাসের নীরবতা স্বাভাবিক। টাকার জন্য আলাদা Gamma-Gamma model: প্রতিটি অর্ডারের টাকা ক্রেতার নিজস্ব গড়ের চারপাশে gamma বণ্টনে, আর সেই গড় ক্রেতাভেদে ছড়ানো; ধরে নেওয়া হয় খরচের মাপ কেনার হারের সঙ্গে সম্পর্কহীন। দুটি মিলিয়ে CLV.

আমাদের simulation ইচ্ছা করেই প্রায় এই কাঠামোয় তৈরি (lam, p, nu), তাই এটি model-এর জন্য সহজ পরীক্ষা; বাস্তব ডেটা এত বাধ্য নয়। পুরোনো lifetimes library আর সক্রিয়ভাবে হালনাগাদ হয় না; তার CLV অংশ PyMC-Marketing-এর clv module-এ নতুন করে লেখা হয়েছে। এটি পাতার Python-এ নেই, তাই ডেস্কটপে uv প্রকল্পে চালানো হলো (AI-এর ভিত্তি কোর্সের পর্ব ৭), পাতার একই bazar_cust.py দিয়ে।

~/bazarghar-clv$ uv init --bare --vcs none --author-from none
~/bazarghar-clv$ uv add pymc-marketing numpy pandas scipy
 …
 + numpy==2.5.4
 + pymc==5.28.5
 + pymc-marketing==0.19.4
 + pytensor==2.38.2
 …
~/bazarghar-clv$ uv run python -c "import pymc_marketing.clv"
 …
pydantic_core._pydantic_core.SchemaError: Error building "definitions" validator:
 …
  SchemaError: 'cls' must be valid as the first argument to 'isinstance'
~/bazarghar-clv$ uv add "numpy<2.5"
 - numpy==2.5.4
 + numpy==2.4.6

লক্ষ করুন: সর্বশেষ NumPy-র সঙ্গে PyMC-Marketing import-ই হয়নি (ত্রুটি pydantic-এর একটি type যাচাই থেকে); NumPy ২.৪.৬-এ নামিয়ে ঠিক হলো। এমন অমিল সাধারণ, তাই lockfile আর version লিখে রাখার অভ্যাস (AI-এর ভিত্তি কোর্সের পর্ব ১২) জরুরি।

import numpy as np
import pandas as pd
from scipy.stats import spearmanr
from pymc_marketing import clv
from bazar_cust import tx, CUT, future_revenue

data = clv.utils.rfm_summary(tx, "customer", "date", "amount",
                             observation_period_end=CUT)
bg = clv.BetaGeoModel(data=data[["customer_id", "frequency", "recency", "T"]])
bg.fit(method="map")
print(bg.fit_summary().round(3))
rep = data[data.frequency > 0]
gg = clv.GammaGammaModel(data=rep[["customer_id", "frequency", "monetary_value"]])
gg.fit(method="map")
print(gg.fit_summary().round(3))

alive = bg.expected_probability_alive(data).values.ravel()
val = gg.expected_customer_lifetime_value(transaction_model=bg, data=data,
        future_t=12, discount_rate=0.01, time_unit="D").values.ravel()
truth = future_revenue().loc[data.customer_id].to_numpy()
print("P(alive) median:", round(np.median(alive), 3))
print(f"BG/NBD + GG total: {val.sum():,.0f}   truth: {truth.sum():,.0f}")
print("Spearman with truth:", round(spearmanr(val, truth)[0], 3))
seen = (CUT - tx.groupby("customer").date.min()).dt.days // 30
hist = (tx.groupby("customer").amount.sum() / np.maximum(seen, 1)).to_numpy()
for name, s in [("BG/NBD+GG", val), ("historical", hist)]:
    top = s >= np.quantile(s, 0.9)
    print(f"top 10% by {name}: {truth[top].sum() / truth.sum():.1%} of true value")

সত্যিকারের run (ডেস্কটপ, Python 3.14.4; লেখার সময়ে pymc-marketing 0.19.4, pymc 5.28.5, pytensor 2.38.2, NumPy 2.4.6, pandas 3.1.1; MAP fit, অর্থাৎ শুধু সবচেয়ে সম্ভাব্য parameter, পুরো posterior নয়):

~/bazarghar-clv$ uv run python clv_bgnbd.py
alpha            30.396
phi_dropout       0.126
kappa_dropout    16.114
r                 0.756
a                 2.038
b                14.077
Name: value, dtype: float64
p      6.810
q      3.755
v    329.574
Name: value, dtype: float64
P(alive) median: 0.784
BG/NBD + GG total: 3,760,581   truth: 3,834,581
Spearman with truth: 0.626
top 10% by BG/NBD+GG: 43.0% of true value
top 10% by historical: 38.2% of true value

পড়া: (PyTensor-এর একটি C compiler না পাওয়ার সতর্কবার্তা আর fit-এর progress লাইন বাদ দেওয়া হয়েছে।) Simulation-এ λ-এর gamma-র shape ১.৫, scale ০.০২; fit পেয়েছে r = ০.৭৫৬, α = ৩০.৪ (scale ১/৩০.৪ ≈ ০.০৩৩). চলে যাওয়ার সম্ভাবনার গড় সত্যে ১.৫/৯.৫ ≈ ০.১৫৮, fit-এ a/(a + b) = ০.১২৬ (phi_dropout). হুবহু মেলে না: কুপন-অর্ডার model-এর অনুমানের বাইরে, আর অনেকের মাত্র এক-দুটি অর্ডার। Gamma-Gamma-র p = ৬.৮১, সত্যে ৬. মোট মূল্য: ৩৭,৬০,৫৮১ বনাম সত্য ৩৮,৩৪,৫৮১, প্রায় ২% কম; আগের দুই পদ্ধতির চেয়ে অনেক কাছে। ক্রেতা-স্তরে: Spearman rank correlation ০.৬২৬; model-এর শীর্ষ ১০% ক্রেতার হাতে আসল ভবিষ্যৎ মূল্যের ৪৩.০%, ইতিহাসের গড়ের শীর্ষ ১০%-এ ৩৮.২%. একটি seed-এ একটি run, সাধারণ ফল নয়।

৮ · Targeting-এর নৈতিকতা — কার সঙ্গে, কেন আর কতটা

প্রতিটি score শেষে একটি সিদ্ধান্ত: কে ছাড় পাবেন, কে দ্রুত সেবা, কাকে বার্তা। তাই প্রশ্নগুলো শুধু প্রযুক্তিগত নয়।

• সমান মানুষ, অসমান দাম: Uplift-এর যুক্তিতে অনুগত ক্রেতা ছাড় পান না, কারণ তাঁরা “এমনিই কিনবেন”। ক্রেতারা যদি দেখেন বিশ্বস্ততার “শাস্তি” বেশি দাম, আস্থা ভাঙে; নীতি স্বচ্ছ আর দামের পার্থক্য সীমিত রাখুন।
• প্রতিনিধি চলক: RFM বা CLV নিজে জেলা বা লিঙ্গ দেখে না, কিন্তু ডেলিভারির খরচ বা আয় জেলাভেদে আলাদা হলে CLV-ভিত্তিক “প্রিমিয়াম সেবা” পরোক্ষভাবে কিছু এলাকাকে বাদ দেয়। Segment-ভেদে সিদ্ধান্তের হার মেপে দেখুন (পর্ব ৬০-এর ন্যায্যতার মাপ আর প্রতিকার)।
• সংবেদনশীল অনুমান: কেনাকাটার ইতিহাস থেকে অসুস্থতা, গর্ভধারণ বা আর্থিক টানাপোড়েনের মতো তথ্য অনুমান করা যায়। এমন বার্তার আগে প্রয়োজন, সম্মতি আর কম ডেটায় কাজ হয় কি না দেখুন (AI-এর ভিত্তি কোর্সের পর্ব ৭২); প্রযোজ্য আইন ও প্রতিষ্ঠানের নীতিও।
• দুর্বল ক্রেতা: সবচেয়ে বেশি “uplift” হয়তো তাঁদের, যাঁরা ছাড় দেখলে নিজেকে সামলাতে পারেন না। শুধু অর্ডার নয়, ফেরত, অভিযোগ আর দীর্ঘমেয়াদি সন্তুষ্টিও guardrail হিসেবে মাপুন।
• Churn ঠেকানোর অন্ধকার নকশা: অ্যাকাউন্ট বন্ধ করা কঠিন করা বা ভয় দেখানো বার্তায় “retention” বাড়ে, আস্থা কমে।

৯ · AI-এর যুগে — customer analytics কোড যাচাই

AI assistant churn আর CLV-র কোড দ্রুত দেয়, কিন্তু এই বিষয়ের ভুল চালালে ধরা পড়ে না: সব চলে, শুধু সংখ্যার অর্থ ভুল। প্রায়ই চোখে পড়ে:

AI-এর দেওয়া customer analytics কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• তিন-চারজন ক্রেতার RFM হাতে গুনে কোডের সঙ্গে মিলিয়েছি
• প্রতিটি feature cutoff পর্যন্ত গোনা, আর train-এর সব cutoff test-এর আগে, তা নিশ্চিত করেছি
• AUC অবিশ্বাস্য ভালো হলে leakage খুঁজেছি, আর একটি সরল baseline-এর সঙ্গে কয়েকটি cutoff-এ তুলনা করেছি
• কুপনের সিদ্ধান্ত uplift আর এলোমেলো holdout দিয়ে নিয়েছি, শুধু ঝুঁকি বা response দিয়ে নয়
• CLV-র সূত্র ছোট উদাহরণে হাতে মিলিয়েছি, আর পুরোনো cohort-এ backtest করেছি
• কোনো আসল ক্রেতার নাম, ফোন নম্বর বা অর্ডারের ইতিহাস AI-তে পেস্ট করিনি