বাস্তব সমস্যা থেকে AI-সমস্যা

এই পার্থক্যটি ML-এর সবচেয়ে underrated অথচ critical ধারণা। অনেক জুনিয়র ইঞ্জিনিয়ার এখানে হোঁচট খান।

(১) দু'টির ভূমিকা ভিন্ন:

• Loss: Optimization-এর জ্বালানি। Gradient descent-এর জন্য differentiable হতে হবে। প্রতিটি training step-এ মডেলকে কোন দিকে যেতে হবে তা বলে।
• Metric: ব্যবসায়িক সফলতার পরিমাপ। মানুষের জন্য — দলকে দেখানোর জন্য। Differentiable হতে হবে না।

(২) F1, Accuracy কেন loss হিসেবে ব্যবহার করা যায় না?

• F1 score একটি step function — prediction threshold-এ "জাম্প" করে। Gradient ০ বা undefined.
• Cross-entropy smooth এবং differentiable — gradient $\partial \mathcal{L}/\partial p$ সবসময় বের করা যায়।
• Backpropagation-এর জন্য continuous gradient চাই।

(৩) প্রক্সি (proxy) সম্পর্ক:

• Cross-entropy ভালো হলে — সাধারণত F1-ও ভালো (correlated)।
• কিন্তু সবসময় নয়! Imbalanced ডেটায় cross-entropy minimize হয় majority class predict করেও।
• সেখানে — class-weighted loss, Focal loss, label smoothing — অনেক variant.

(৪) Mismatch-এর সমস্যা:

• মডেল cross-entropy-তে "ভালো" দেখায়, কিন্তু F1 খারাপ → mismatch বুঝতে হবে।
• সমাধান: threshold tuning — validation set-এ F1 maximizing threshold বাছ।
• আরও: differentiable surrogates — soft-F1 loss (gradient-friendly approximation)।

(৫) Regression-এ একই গল্প:

• Train loss: MSE (smooth gradient)।
• Business metric: RMSE বা MAPE (interpretable)।
• RMSE = √MSE — monotonic relationship, তাই MSE minimize → RMSE-ও কম।

(৬) RLHF-এর চমৎকার উদাহরণ:

• Metric: "মানুষ কি উত্তর পছন্দ করেছে?" — non-differentiable.
• Solution: Reward Model train করা যা মানুষের preference predict করে — এটা differentiable.
• তারপর সেই reward-এ PPO চালানো।
• ChatGPT-র পেছনে এই trick.

(৭) Practical advice:

• প্রথম দিন থেকে — দু'টিই আলাদা track করুন।
• Train loss + Validation loss + Validation metric — তিনটি curve.
• Loss কমছে কিন্তু metric কমছে না? overfitting বা mismatch.

মূল উপলব্ধি: Loss = "মডেল কীভাবে শেখে" — Metric = "মডেল কী অর্জন করে"। দুটিকে আলাদা ভাবলে ML অনেক স্পষ্ট হয়। ChatGPT-র RLHF-এও এই তত্ত্ব।

AI consulting-এর সবচেয়ে গুরুত্বপূর্ণ কাজ — clarify. সরাসরি কোডে বসে যাওয়া বেশিরভাগ ব্যর্থতার কারণ। সঠিক প্রশ্ন = অর্ধেক সমাধান।

(১) Business context প্রশ্ন:

• "এই সমস্যা সমাধান হলে — ব্যবসার কী লাভ?" (revenue/cost/efficiency)
• "এখন আপনি কীভাবে সামলাচ্ছেন?" (status quo বুঝা)
• "আগে কেউ চেষ্টা করেছিল? কী হয়েছে?" (failure mode জানা)
• "কে এই সিস্টেম ব্যবহার করবে?" (end-user identify)

(২) সাফল্যের সংজ্ঞা:

• "সিস্টেম ভালো কাজ করছে — এটা কীভাবে বুঝবেন?"
• "কোন number ৬ মাস পর জানতে চান?"
• "একটি ভুল prediction-এর খরচ কত? একটি miss-এর?"
• "Acceptable ভুল-হার কত?"

(৩) ডেটা-প্রশ্ন:

• "কী ডেটা আছে? কোথায়? কত?"
• "ডেটা কীভাবে সংগ্রহ হয়?"
• "Labels আছে? কে label করে?"
• "ডেটায় bias-এর সম্ভাবনা কোথায়?"
• "Privacy/legal restriction?"

(৪) Constraint-প্রশ্ন:

• "Latency budget?"
• "Cost/inference?"
• "Where will it run? Cloud, edge, mobile?"
• "Explainable হতে হবে? কাকে?"
• "Real-time না batch?"

(৫) Edge case ও failure modes:

• "কি ধরনের input-এ সিস্টেম ফেল করতে পারে?"
• "মডেল ভুল করলে কী হবে?"
• "User unhappy — আমরা কীভাবে জানব?"
• "Adversarial attack-এর ঝুঁকি?"

(৬) "Yes/No" testing:

• "যদি মডেলের accuracy ৭০% হয় — সেটা কি deploy করবেন?"
• "যদি ৯৫% accuracy কিন্তু ব্যাখ্যা নেই — চলবে?"
• এগুলো client-এর priority বের করে।

(৭) Reference projects:

• "আপনার মতো অন্য কেউ কী করেছে? Industry benchmark?"
• "ChatGPT/Google-এর product compare করতে চান?"
• Realistic expectation set করা।

(৮) MVP প্রশ্ন:

• "পুরো solution-এর আগে — সবচেয়ে ছোট useful version কী?"
• "কতদিনে v1 দেখাতে চান?"
• "কোন feature বাদ দিলেও চলবে?"

(৯) Stakeholder map:

• Decision maker কে?
• Daily user কে?
• Data owner কে?
• Budget approver কে?
• সবার আলাদা priority.

(১০) Anti-pattern চিনুন:

• "AI দিয়ে আমাদের সব সমস্যা solve হবে" — danger.
• "আগে model বানাও, deployment পরে দেখব" — fail করবে।
• "ডেটা-র চিন্তা পরে করব" — disaster.

(১১) Bangladesh context:

• Local language, literacy, digital divide.
• Mobile-first thinking.
• Internet/electricity availability.
• Trust in AI — limited.

মূল উপলব্ধি: AI consulting-এর ৬০% কাজ — clarification. কোডিং পরে। যিনি এই dialogue ভালো চালান — তিনিই senior ML engineer. এটা soft skill, কিন্তু technical skill-এর চেয়ে কম দামি না।

এই সমস্যা production AI-র সর্বত্র। বইতে সরল metric, বাস্তবে multi-objective optimization. Misalignment AI failure-এর শীর্ষ কারণ।

(১) উদাহরণ — Recommendation system:

• Engineer: Click-through rate (CTR) maximize.
• Product: User retention.
• Business: Revenue per user.
• User: Useful, non-creepy suggestion.
• Society: No misinformation, no addiction.

এই পাঁচটি প্রায়ই একসাথে maximize হয় না!

(২) Goodhart's Law:

• "যখন একটা measure target হয়ে যায় — সে আর good measure থাকে না।"
• CTR target করলে — clickbait headline তৈরি।
• Test score target করলে — শুধু test-prep teaching.
• একটা সংখ্যা কখনো পুরো লক্ষ্য capture করে না।

(৩) সমাধান কৌশল ১ — হায়ারার্কি:

• একটি primary metric বাছ — যেটা ultimate goal.
• বাকিগুলো guardrail metric — উপরে/নিচে যেতে দেয়া হবে না।
• উদাহরণ: CTR maximize, কিন্তু session-length 30%-এর কম যাবে না।

(৪) সমাধান কৌশল ২ — Multi-objective:

• Loss = $\alpha \cdot L_1 + \beta \cdot L_2 + \gamma \cdot L_3$।
• Weights tune — Pareto frontier explore.
• Trade-off curve দেখান stakeholder-কে।

(৫) সমাধান কৌশল ৩ — Constrained optimization:

• "Maximize CTR subject to fairness ≥ 0.95"।
• Lagrangian, constraint relaxation.
• Production reality.

(৬) North Star Metric:

• একটি high-level metric যাতে সবাই agree.
• YouTube: Watch time.
• Airbnb: Nights booked.
• Daraz হতে পারে: Net revenue per active user.
• Sub-team-এর metric এর contribution.

(৭) Stakeholder communication:

• Multi-metric dashboard — একসাথে সব দেখান।
• "যদি এই metric ৫% উন্নত — অন্য metric ২% drop"।
• Trade-off-এর ভাষা — সবাইকে শেখান।

(৮) A/B testing-এ multi-metric:

• Primary metric — sample size determine.
• Secondary — exploratory.
• Guardrail — automatic fail-safe.
• Ship decision — multiple criteria meet.

(৯) Long-term vs short-term:

• Short-term metric easy to measure.
• Long-term (LTV, brand) — slower, noisier.
• Both matter — proxy needed for short feedback.

(১০) Real example — TikTok:

• Engagement metric: scroll, like, watch time.
• Concern: addiction, mental health.
• 2023: "Wellness" reminder added.
• Trade-off acknowledged.

(১১) Ethics intersection:

• Profit metric vs fairness metric.
• Click maximization vs misinformation prevention.
• Senior ML engineer এই tension-এ বাঁচে।

(১২) Bangladesh perspective:

• Loan approval AI: bank profit vs borrower fairness.
• Health AI: hospital revenue vs patient outcome.
• Education AI: completion rate vs actual learning.
• Local context-specific tradeoff.

মূল উপলব্ধি: Single metric optimization — toy world. বাস্তবে multi-objective, hierarchy, guardrail, trade-off communication. যিনি stakeholder-দের সাথে এই language কথা বলতে পারেন — তিনিই AI leader.

সবচেয়ে strategic প্রশ্ন। জুনিয়র ইঞ্জিনিয়ার সবকিছুতে DL ছোঁড়েন; senior সঠিক tool বাছেন। কোন hammer কোন nail-এর জন্য — এই matching art.

(১) প্রথমে প্রশ্ন: AI আদৌ লাগবে?

• সমস্যাটি কি pattern recognition?
• মানুষ কি এটা করে — repetitive ভাবে?
• অনেক example data আছে?
• "না" হলে — AI না, traditional engineering.

(২) Decision tree (literal):

1. স্পষ্ট rule আছে? → if/else, decision table.
2. SQL query-তে answer? → analytics, dashboard.
3. Linear relationship + কয়েকটা feature? → Linear/Logistic Regression.
4. Tabular data + nonlinear? → Random Forest, XGBoost.
5. Image, audio, free text? → Deep Learning.
6. Sequence/translation/generation? → Transformer.
7. Decision-making over time? → Reinforcement Learning.

(৩) Rule-based-এর সুবিধা:

• ১০০% explainable.
• কোনো ডেটা লাগে না।
• Edge case predictable.
• Audit-friendly (legal, medical)।

উদাহরণ: ATM সীমা চেক, basic spam filter (blocklist), tax calculator.

(৪) Classical ML কখন?

• Tabular ডেটা (rows × columns)।
• Sample size: ১,০০০ — ১০ লক্ষ।
• Feature interpretable হতে হবে।
• Baseline বানাতে — সবসময় শুরুতে।
• উদাহরণ: credit scoring, churn prediction, sales forecast.

(৫) Deep Learning কখন?

• Unstructured data — image, audio, text, video.
• সাধারণত ১০ লক্ষ+ ডেটা।
• Feature engineering কঠিন/অসম্ভব।
• State-of-art দরকার।
• উদাহরণ: speech recognition, image classification, machine translation.

(৬) LLM/Foundation Model কখন?

• Generic NLP task — summarization, Q&A, classification.
• খুব কম labeled data (zero-shot, few-shot)।
• API/cost acceptable.
• Fine-tuning option রাখুন domain-specific-এর জন্য।

(৭) Hybrid approach — সবচেয়ে practical:

• Rule (95%) + ML (5%) — known cases handle, edge case-এ ML.
• ML predict, human review (in-the-loop)।
• Cascade: cheap model first, expensive only if uncertain.
• উদাহরণ: spam — keyword filter → ML → user report.

(৮) "AI বাদ" দেওয়ার ক্ষেত্র:

• সমস্যাটা নতুন — কোনো ডেটা নেই।
• Stakeholder ১০০% precision চান (impossible)।
• Cost > value.
• Better simpler tool exists.
• Regulation কঠিন (some financial decisions)।

(৯) Cost-benefit analysis:

• Build cost: data + compute + people.
• Run cost: inference, monitoring, retraining.
• Benefit: revenue/cost saved per prediction × volume.
• ROI calculation simple but often skipped.

(১০) Model complexity ladder:

1. Constant baseline (always predict majority)।
2. Simple rule.
3. Linear model.
4. Tree-based model.
5. Neural network.
6. Pretrained foundation model.
7. Fine-tuned custom model.

সর্বদা ladder-এর নিচ থেকে উঠুন। আগে simple, prove improvement, তারপর jump.

(১১) Bangladesh practical guide:

• Limited compute → prefer classical ML, distillation.
• Limited labeled Bangla data → rule + few-shot LLM.
• Mobile deployment → small models (TinyML)।
• Connectivity issue → offline-first models.

(১২) Real example — fraud detection:

• Layer 1: Rule (block known fraud accounts)।
• Layer 2: Classical ML (XGBoost on transaction features)।
• Layer 3: DL (sequence model on user behavior)।
• Layer 4: Human review (ambiguous cases)।
• সবচেয়ে effective architecture — মাল্টি-লেয়ার।

মূল উপলব্ধি: Right tool for right problem. Hammer everywhere = bad engineering. ML/DL ছাড়াও অনেক problem-এর সুন্দর সমাধান। Senior engineer-এর প্রথম instinct: "এটা না করলে চলে?" — তারপর simple → complex.