Streamlit দিয়ে ডেটা অ্যাপ

Python data-app framework-এর তিন বড় খেলোয়াড় — সবার নিজস্ব sweet spot।

Streamlit (Snowflake-owned, Apache 2.0):

• সবচেয়ে সরল API — script-style।
• Data scientist-friendly — pandas/plotly direct।
• ৫ মিনিটে first app।
• Limited customization — opinionated layout।
• Best for: prototype, demo, internal tool, dashboard।

Dash (Plotly-owned, MIT):

• React under the hood — ২০১৭।
• Callback-based architecture — explicit reactivity।
• সম্পূর্ণ HTML/CSS control — custom CSS লেখা যায়।
• Multi-page, complex layout সহজ।
• Steeper learning curve।
• Best for: production dashboard, complex interactivity, white-label।

Flask (Pallets, BSD):

• General-purpose web framework — micro-framework।
• সম্পূর্ণ flexibility — কিন্তু সব নিজে।
• Frontend আলাদা — Jinja template বা React/Vue।
• API server, custom auth, complex business logic।
• Best for: production app, REST API, full-stack web।

Bangladesh startup recommendation:

• 0-1 stage (MVP): Streamlit। ১ developer, ১ সপ্তাহে demo। investor-pitch অগ্রাধিকার।
• 1-10 stage (early customer): Streamlit চালিয়ে যান। Streamlit Cloud paid plan ($20/mo) — auth + private app।
• 10-100 stage (scaling): Mixed — internal tool Streamlit, customer-facing Dash বা Next.js + Flask API।
• 100+ stage (mature): Streamlit internal use only। B2C product custom React/Next + FastAPI।

Real-world pattern:

• bKash analytics team — internal Streamlit dashboard।
• Pathao data team — early Streamlit, এখন Tableau Server।
• BJIT — client-deliverable Dash বা Power BI।

Decision framework:

• "Pure data scientist team?" → Streamlit।
• "Frontend dev আছে?" → Dash বা React+Flask।
• "৫ minute UI demo?" → Streamlit।
• "Multi-tenant, white-label?" → Dash + Flask।
• "১০-জন user-এর dashboard?" → Streamlit সহজে।
• "১,০০০-জন user concurrent?" → Streamlit hard, Flask বা Dash production-mode।

মূল উপলব্ধি: Streamlit dominant for internal/prototype, Dash for production dashboards, Flask for full-stack apps। Stage-অনুযায়ী evolve করুন।

Streamlit-এর core philosophy — কিন্তু এতে surprise আছে।

Pros:

• Mental model সরল: "script যেমন run হয়, app তেমন behave"।
• State management library নেই — Redux, Vuex avoid।
• Hot reload — file save → app update।
• Debug সহজ — print statement, breakpoint কাজ করে।

Cons:

• Heavy computation প্রতিবার — slow ছাড়া বাঁচার উপায় caching।
• External API call rerun-এ — quota exceed দ্রুত।
• Form-এ ৫ field — প্রতি field-এ rerun = ৫x compute।
• Side-effect (database write) trigger বুঝা কঠিন।

Frustrating scenarios:

(১) "Submit" button-এর আগে rerun:

• Form-এ name, email, age — type করার সাথে সাথে rerun।
• সমাধান: st.form() wrapper — submit button-এই rerun।

with st.form('register'):
    name = st.text_input('Name')
    age = st.slider('Age', 18, 80)
    submitted = st.form_submit_button('Submit')
if submitted:
    st.write(f'{name}, {age}')

(২) Expensive API call:

• OpenAI API per-rerun — quickly $$$।
• সমাধান: @st.cache_data(ttl=3600) — ১ ঘণ্টা cache।
• বা st.button('Fetch') — চাপলেই API call।

(৩) Counter increment:

• Naive count = 0; if button: count+=1 — কাজ করবে না।
• সমাধান: st.session_state.count।

(৪) Database write:

• "Save" button — কিন্তু form-এ অন্য widget-এ rerun-এ ও write?
• সমাধান: explicit if st.button('Save'): guard।
• Idempotency ensure — same data multiple write safe।

(৫) File upload:

• Upload-এর পর rerun-এ file আবার process?
• সমাধান: file hash cache key।

@st.cache_data
def process(file_bytes):
    return pd.read_csv(io.BytesIO(file_bytes))

Mental shifts:

• "Function = pure computation" — side effect minimize।
• "Cache aggressive" — ভয় পেয়ে under-cache না।
• "Form for grouped input" — atomic update।
• "session_state for memory" — variable persistence।

Advanced: fragment (Streamlit 1.33+):

• @st.fragment — শুধু এই function-এর part rerun।
• Performance massive gain।
• Use sparingly — debugging complex।

মূল উপলব্ধি: Rerun model = Streamlit's superpower এবং Achilles heel। Mastery মানে কী cache, কী session_state, কী form — automatic বুঝা।

Streamlit-এর deployment-এ scaling একটি real challenge। Standard Streamlit single-process — built-in scaling সীমিত।

Bottleneck identification:

• প্রতিটি user → আলাদা session, আলাদা script execution।
• ৪-core machine, ১০০ concurrent — CPU-bound।
• Memory linear grow — leak ঝুঁকি।

Solution layers:

(১) Caching aggressive:

• সব expensive computation @st.cache_data।
• DB query cache — TTL set।
• ML model @st.cache_resource (singleton)।
• Result: first user slow, rest fast।

(২) Pre-aggregation:

• Real-time query — DB-এ heavy।
• Nightly batch job — pre-compute summary table।
• Streamlit query summary table — SELECT instant।

(৩) Multi-process deployment:

• Standard Streamlit — async-await, single Tornado server।
• Production: Streamlit + Nginx + multiple Gunicorn workers।
• Or: Streamlit-in-Snowflake (managed scale)।

(৪) Container orchestration:

• Docker image — Streamlit app।
• Kubernetes — auto-scale pod count।
• Load balancer — sticky session (একই user → একই pod)।

(৫) Architecture redesign:

• Backend আলাদা: FastAPI service for heavy compute।
• Streamlit thin layer — just UI।
• API caching, rate-limiting আলাদা।

(৬) Database optimization:

• Read replica — read traffic distribute।
• Connection pool — SQLAlchemy।
• Index missing? — slow query log analyze।

(৭) Streamlit Cloud limits:

• Free tier — ১ GB RAM, public app।
• Paid Cloud — শুধু private + auth, scaling limited।
• Heavy load — self-host AWS/GCP।

(৮) UX-level optimization:

• Lazy load tab — শুধু active tab compute।
• Pagination large dataframe।
• Spinner প্রদর্শন — perceived performance।

Capacity planning:

• প্রতি user ~১০০ MB RAM (cache সহ)।
• ৪ vCPU, ১৬ GB RAM machine — comfortably ৫০-১০০ user।
• ৫০০+ user — multi-instance অপরিহার্য।

Migration consideration:

• ১,০০০+ concurrent — Streamlit drop, Dash বা Next.js+API।
• Streamlit prototype-stage rocket fuel; massive scale wrong tool।

মূল উপলব্ধি: Scale Streamlit ১-১০০ user comfortable, ১০০-১০০০ effort, ১০০০+ different tool।

ML model demo Streamlit-এর সবচেয়ে common use case। UX ঠিক হলে — non-technical stakeholder মুগ্ধ হবেন।

Layout design:

import streamlit as st
import joblib
import pandas as pd

@st.cache_resource
def load_model():
    return joblib.load('credit_model.pkl')

model = load_model()

st.title('💰 Credit Score Predictor')
st.write('গ্রাহকের credit risk score ১ মিনিটে।')

# Sidebar — info
with st.sidebar:
    st.header('About')
    st.write('Model: Random Forest, AUC=0.87')
    st.write('Trained: ১০০K Bangladesh credit records')

# Form-এ input grouped
with st.form('predict'):
    st.subheader('গ্রাহকের তথ্য')
    col1, col2 = st.columns(2)
    with col1:
        age = st.slider('বয়স', 18, 80, 30)
        income = st.number_input('মাসিক আয় (BDT)', 0, 1000000, 35000)
    with col2:
        loans = st.slider('পূর্ব loans', 0, 10, 1)
        defaults = st.slider('Default history', 0, 5, 0)
    submitted = st.form_submit_button('Predict', type='primary')

if submitted:
    X = pd.DataFrame([[age, income, loans, defaults]],
        columns=['age','income','loans','defaults'])
    pred = model.predict(X)[0]
    proba = model.predict_proba(X)[0]

    if pred == 1:
        st.error(f'❌ HIGH RISK ({proba[1]:.0%} confidence)')
    else:
        st.success(f'✅ LOW RISK ({proba[0]:.0%} confidence)')

    # Feature importance
    st.subheader('কেন এই prediction?')
    imp = pd.DataFrame({
        'feature': X.columns,
        'value':   X.values[0],
        'importance': model.feature_importances_
    }).sort_values('importance', ascending=False)
    st.dataframe(imp, hide_index=True)

UX considerations:

(১) Form-based input:

• Submit button-এ rerun — wasted compute এড়ানো।
• সব field একসাথে valid — coherent prediction।

(২) Visual feedback:

• st.error, st.success — color-coded।
• Confidence percentage — uncertainty communicate।
• Emoji — friendly, instant recognition।

(৩) Explainability:

• Feature importance — কেন এই decision।
• SHAP values (advanced)।
• Counterfactual: "যদি income ৫০K হতো?" — slider দিয়ে interactive।

(৪) Confidence display:

• Probability bar — visual not just number।
• "Low risk: 78%, High risk: 22%"।
• Threshold explained — কোথায় low/high split।

(৫) Model info transparency:

• Sidebar-এ training data, accuracy, last-updated date।
• Trust building — non-technical user-এর জন্য essential।

(৬) Error handling:

• Invalid input — graceful message।
• Out-of-distribution warning ("আমাদের training-এ এই age range কম")।

(৭) Privacy:

• Input log করবেন কি? — consent disclaimer।
• Bangladesh DPA compliance।

(৮) Multi-row prediction:

• st.file_uploader — CSV upload, batch predict।
• st.download_button — result CSV export।

(৯) A/B testing built-in:

• Model_v1 vs Model_v2 — radio button।
• Side-by-side prediction comparison।

(১০) Bangladesh-specific:

• BDT format — ১,০০,০০০ readable।
• Bengali label optional toggle।
• Mobile-responsive — অনেক user phone-এ।

Pre-launch checklist:

• Stress test — edge case input।
• Stakeholder demo before public।
• Monitoring — error rate log।
• Feedback button — "এই prediction কি ঠিক?"।

মূল উপলব্ধি: ML demo just accuracy-র না — explainability, trust, UX সব মিলে। Streamlit এই combination ১০০ লাইনে দেয়।