Categorical encoding

৫০,০০০ unique product — Daraz, Amazon-এর মতো বড় e-commerce-এ realistic। One-hot এই situation-এ disaster।

One-hot-এর সমস্যা:

• Memory explosion: ১০ লাখ row × ৫০,০০০ col = ৫×১০¹⁰ cells। Even sparse — RAM-এ ১০-৫০ GB।
• Curse of dimensionality: linear model-এ — সব weight-এ data সামান্য, generalization poor।
• Train time: matrix multiplication exponentially slow।
• Overfitting: rare product-এ specific weight — noise।
• Cold start: নতুন product test-এ — train-এ ছিল না — encoder fail।

Strategy alternatives:

(১) Target encoding

• প্রতিটি product-কে তার গড় target দিয়ে replace।
• "product_X-এর গড় conversion rate ০.০৩"।
• ৫০,০০০ category → ১ column।
• K-fold mean-এ leakage-free।

(২) Frequency encoding

• "product popularity" implicit।
• Rare product → low value।
• Simple, no leakage।

(৩) Hash encoding

• $h(product\_id) \mod K$ — fixed K bins।
• Collision আছে কিন্তু acceptable।
• Stateless — নতুন product handle।
• Sklearn FeatureHasher।

(৪) Embedding (DL)

• nn.Embedding(50000, 32) — ৩২-D vector per product।
• Trained jointly with task model।
• Best for recommendation, search।
• Memory efficient: ৫০,০০০ × ৩২ = ১.৬M floats।

(৫) Aggregate features

• Product-এর numeric stats: avg_rating, price, n_orders, n_returns।
• Categorical bucket: category_top, brand।
• raw product_id discard করে এই aggregates use।

(৬) Frequency-based grouping

• Top-1000 product-এ one-hot, rest "other"।
• Power-law assumption: top sellers cover ৮০% volume।
• Hybrid approach।

Comparison-এ accuracy:

• Embedding usually best (DL, large data)।
• Target encoding strong baseline।
• Hash encoding slight degradation কিন্তু infra-friendly।
• One-hot impractical।

Production architecture (Daraz-like):

• RecSys: Two-tower model — user embedding × product embedding।
• Click prediction: gradient boosting + target-encoded features।
• Search: pre-trained embedding (BERT for product description)।
• Cold start: content-based embedding (image, text)।

Bangladesh e-commerce realities:

• Daraz: ১০M+ SKU।
• Pickaboo, Evaly (now-defunct): ৫০K-১০০K SKU।
• Local "ekShop": small inventory, one-hot OK।
• Cross-border: international SKU expansion challenge।

মূল উপলব্ধি: "One-hot সব encoding"-এর myth — high-cardinality-এ break। Embedding ও target encoding production-এ অপরিহার্য। Architecture decision data scale-এ বদলায়।

Target encoding সবচেয়ে effective high-cardinality method — কিন্তু leakage-এর সবচেয়ে subtle source। বহু Kaggle competitor public LB-এ overfitted টিতে।

Leakage কী:

• Train data দেখে encoding compute — সেই encoding আবার train data-তে apply।
• প্রতিটি row নিজের target নিজের encoded value-তে contribute করছে।
• Model "শিখে": "encoded_value = target" — perfect train accuracy, terrible test।

Concrete example:

• "Dhaka" rows: target = [1, 0, 1, 1] → mean = 0.75।
• প্রতিটি Dhaka row "Dhaka" → 0.75 encoded।
• Linear model "0.75 = positive case" শিখে।
• Test-এ একটি rare district যা train-এ ছিল না — encoder ভেঙে পড়ে।

Test-time problem:

• Test "Sylhet" row — train-এ Sylhet-এর mean ০.৩।
• Train-এর encoding apply OK।
• কিন্তু training-এ model-এর leakage আগেই হয়েছে — accuracy inflated।

K-fold target encoding solution:

1. Train data K folds-এ split (যেমন K=5)।
2. প্রতিটি fold-এর জন্য — অন্য K-1 folds থেকে mean compute।
3. সেই mean current fold-এ apply।
4. প্রতিটি train row "out-of-fold" mean পায় — own contribution না।

Pseudocode:

from sklearn.model_selection import KFold
kf = KFold(n_splits=5, shuffle=True)
df['cat_enc'] = 0.0
for train_idx, val_idx in kf.split(df):
    means = df.iloc[train_idx].groupby('cat')['target'].mean()
    df.loc[val_idx, 'cat_enc'] = df.iloc[val_idx]['cat'].map(means)

Smoothing — additional protection:

$$\text{enc}(c) = \frac{n_c \cdot \bar{y}_c + m \cdot \bar{y}_{global}}{n_c + m}$$

• $n_c$ — count of category $c$।
• $\bar{y}_c$ — category-specific mean।
• $m$ — smoothing parameter (typically ১০-১০০)।
• Rare category → global mean দিকে pull।

Why smoothing:

• "Sylhet" only ৫টি row — mean noisy।
• Without smoothing — overfitting।
• Bayesian interpretation: prior = global, data = category।

Library options:

• category_encoders.TargetEncoder — sklearn-compatible।
• CatBoost — built-in target encoding (ordered)।
• H2O AutoML — automatic।

Production gotchas:

• Train-এ encoding fit, save mapping → test apply।
• New category test-এ → use global mean fallback।
• Time-series — "future leakage": K-fold-এর বদলে time-aware fold।
• Multi-class — per-class encoding (binary target থেকে আলাদা)।

CatBoost-এর "Ordered Boosting":

• Random permutation।
• Row $i$-এর encoding শুধু row $1...i-1$-এর target থেকে।
• Strict no-leakage by construction।

Bangladesh ML competition context:

• BUET Datathon-এ অনেক participant naive target encoding-এ overfit।
• Kaggle Bangladesh competition — leakage detection essential review point।
• Production ML team-এ — encoding pipeline সবসময় Pipeline-এ wrap।

মূল উপলব্ধি: Target encoding power-tool — কিন্তু sharp। K-fold + smoothing without compromise। CatBoost-এর built-in ordered encoding সবচেয়ে safe। Leakage detection — model-এর train ও test accuracy gap বড় হলে suspicion।

এটি subtle data-science question। Default ordinal (০-১-২-৩) "equal step" assume করে — অনেক সময় false।

Default ordinal-এর সমস্যা:

• "primary → secondary" এক unit।
• "graduate → post-grad" এক unit।
• মডেল ভাবে gap সমান।
• বাস্তব: post-grad-এ পৌঁছাতে অনেক বেশি effort, salary jump আরও বড়।

কেন ০, ৫, ১০, ১৫ better হতে পারে:

• Standard schooling years approximate (primary ৫, secondary ১০, graduate ১৫, post-grad ১৭)।
• Real-world quantity reflect — "years of education"।
• Linear model এই scale-এ accurate fit।

Decision framework:

(১) Domain knowledge

• Bangladesh-এ:
• Primary = class 5 = ৫ years
• Secondary = SSC = ১০ years
• Higher Secondary = HSC = ১২ years
• Graduate = ১৫-১৬ years
• Post-grad = ১৭-১৮ years
• PhD = ২২+ years

(২) Target relationship

• Plot target vs ordinal value।
• Non-linear — gap unequal।
• Equal-spaced ordinal → tree model handle, linear model misfit।

(৩) Model type

• Tree (XGBoost, RF) — order matters; spacing not。 ০-১-২-৩ ও ০-৫-১০-১৫ same।
• Linear/NN — spacing matters। Real-world unit better।
• NN with embedding — ordering even ignored, learn from data।

(৪) Empirical test

• Encoding ১: ০-১-২-৩।
• Encoding ২: ০-৫-১০-১৫।
• Encoding ৩: target encoding।
• Cross-validate, compare RMSE/AUC।

আরও sophisticated approach:

(ক) Optimal ordinal

• Target-vs-category mean থেকে ordering ও spacing infer।
• Isotonic regression।

(খ) Splines/binning

• Education-এর exact value-এর বদলে — বিন (yrs ০-৫, ৫-১০, ১০+)।
• Tree-friendly।

(গ) Multiple representation

• Both: ordinal_simple ও ordinal_years।
• Model দু'টি signal use।

Feature engineering checklist:

• Domain expert interview — "এই category-গুলোর মধ্যে gap কত?"
• Visualization — target vs category mean।
• A/B test — ভিন্ন encoding।
• Regularization-এ confirm — overfit থেকে protect।

Bangladesh-specific examples:

• NID type: "smart, old, tin, none" → ordinal-এ smart=3, none=0; কিন্তু none ও smart-এর gap unequal।
• Income bracket: "< 10K, 10-30K, 30-100K, 100K+" — log-scale spacing logical।
• Mobile plan: "basic, standard, premium" → ordinal default OK।

Common mistake:

• ML competition-এ default ০-১-২-৩ accept — never tune।
• Top kagglers customize spacing।
• Marginal gain — কিন্তু compound হয়।

মূল উপলব্ধি: Ordinal encoding "lazy" approach common। Domain-aware spacing model accuracy boost করে — especially linear models। Tree-এ ordering enough, কিন্তু feature engineering thoughtful — সবসময় better।

এটি ML interview-এর classic প্রশ্ন। Underlying mechanism বুঝলে — encoding choice intuitive।

Linear model (Logistic Regression):

• Equation: $y = w_1 x_1 + w_2 x_2 + ... + b$।
• প্রতিটি feature-এ একটি weight assign।
• Linear combination।
• Numeric encoding-এ value-এর actual magnitude meaningful।

Linear-এ label encoding-এর সমস্যা:

• "Dhaka=0, Chattogram=1, Sylhet=2"।
• Model: $y = w \cdot district$।
• $w > 0$ — Sylhet (২) prediction Dhaka-র চেয়ে $2w$ বেশি।
• "Sylhet = 2 × Chattogram" implies — false!
• Order ও magnitude both encode — nominal-এ অর্থহীন।

One-hot ভাল কেন:

• প্রতিটি category-র own weight: $w_{Dhaka}, w_{Chattogram}, w_{Sylhet}$।
• Independent estimation।
• No false ordering imposed।

Tree-based model (XGBoost, RF):

• Decision: "feature ≤ threshold?" — true/false split।
• Threshold value-এর only ordering matters, magnitude না।
• "district ≤ 0.5" — Dhaka one branch, others another।
• Tree label encoding-এ category 1 vs 2 vs 3 — split point একই কাজ করে।

Tree-এ label encoding-এর caveat:

• Tree-এর depth অনেক — প্রতিটি category ভাল-ভাবে separate করতে।
• "Dhaka, Chattogram, Sylhet, Khulna" ৪ category — ৩টি split দরকার।
• One-hot-এ ১টি split-এ একটি category isolate।
• Categorical-aware tree (LightGBM-এর native categorical, CatBoost) — direct categorical handle।

Theoretical reason — invariance:

• Tree split monotonic transformation-এর প্রতি invariant।
• Linear monotonic transformation-এ sensitive।
• $x \to \log(x), \sqrt{x}, x^2$ — tree-এ same model; linear-এ ভিন্ন।

Why XGBoost ভাল categorical handle:

• Modern XGBoost (1.5+) — enable_categorical=True।
• LightGBM — categorical_feature=['col']।
• CatBoost — built-in ordered target encoding।
• Internal: optimal split for category set (Fisher's exact, etc.)।

Neural network:

• Embedding layer — category → dense vector।
• Vector trained jointly।
• Similar category কাছাকাছি vector।
• One-hot-এর "lookup table version" — but learned।

Practical guidance:

• Logistic/Linear regression: one-hot (low card), target encoding (high card)।
• XGBoost/RF: label encoding fine; native categorical even better।
• LightGBM/CatBoost: categorical feature flag — automatic।
• Neural network: embedding layer।
• k-NN, k-Means: distance-based — one-hot must (label encoding distorts distance)।

Empirical observation:

• Tree model with label encoding ~ one-hot — small gap।
• Linear model: one-hot >> label encoding (significant gap)।
• Distance-based: one-hot mandatory।

Hybrid approach:

• Production gradient boosting + neural network ensemble।
• Boosting: target encoded।
• NN: embedding।
• Different encodings — different signal।

Bangladesh ML production examples:

• Daraz click prediction: LightGBM + native categorical।
• bKash fraud: XGBoost + target encoding।
• Pathao surge: linear model + one-hot district।
• Recommender (any large platform): NN with embedding।

মূল উপলব্ধি: "Encoding × Model" interaction — ML practitioner-এর core skill। Tree-এর invariance ও linear-এর sensitivity-র underlying math মাথায় থাকলে — encoding decision intuitive। প্রতিটি model-এ optimal encoding ভিন্ন।