Jupyter notebook — cell, kernel, magic আর ভালো অভ্যাস

১ · Notebook কী — cell, kernel আর ফাইলে জমা output

পর্ব ৭ (AI-এর জন্য Python — install, uv, venv আর package)-এ আপনি নিজের কম্পিউটারে Python আর একটি আলাদা পরিবেশ তৈরি করেছেন। এবার সেই পরিবেশে AI আর ডেটার কাজের সবচেয়ে পরিচিত হাতিয়ারটি দেখব: Jupyter notebook. ডেটা বিজ্ঞানী, গবেষক আর ছাত্রছাত্রীদের বড় একটি অংশ প্রথমে notebook-এই ডেটা খোলেন, chart আঁকেন আর ছোট model চালিয়ে দেখেন।

একটি সাধারণ Python script (.py ফাইল) চালালে পুরো ফাইল ওপর থেকে নিচে একবারে চলে, তারপর প্রোগ্রাম শেষ, মেমরিও মুছে যায়। Notebook আলাদা। এখানে কোড ছোট ছোট cell-এ ভাগ করা থাকে। আপনি একটি cell চালান, ফল দেখেন, ভাবেন, তারপর পরের cell লেখেন। মাঝের সব মান মনে রাখে পেছনে চলা একটি আলাদা প্রক্রিয়া, যার নাম kernel. আর প্রতিটি cell-এর output, যেমন ছাপা লেখা, টেবিল বা chart-এর ছবি, ফাইলের ভেতরেই জমা হয়। তাই পরে ফাইল খুললে কোড না চালিয়েও আগের ফল দেখা যায়।

ছবির সবচেয়ে গুরুত্বপূর্ণ কথাটি নিচের লাইনে: kernel-এর মেমরি আর ফাইল দুটি আলাদা জিনিস। ফাইলে যা লেখা আছে, kernel-এ ঠিক সেটিই আছে, এমন কোনো নিয়ম নেই। একটি cell মুছে ফেললে ফাইল থেকে কোড চলে যায়, কিন্তু সেই cell যে variable বানিয়েছিল, তা kernel-এ থেকে যায়। আর kernel যে ভাষার, notebook সেই ভাষার। Python-এর kernel-এর নাম ipykernel, যা IPython-এর ওপর তৈরি; R, Julia এমনকি অন্য অনেক ভাষার kernel-ও আছে।

২ · নিজের কম্পিউটারে JupyterLab — venv, 127.0.0.1 আর নিজের port

JupyterLab একটি Python package. তাই এটি বসাবেন প্রকল্পের নিজস্ব virtual environment-এ, সিস্টেমের Python-এ নয়। venv কেন আর কীভাবে, তার পুরো ব্যাখ্যা Python কোর্সের pip আর venv পর্বে আছে; এখানে শুধু Jupyter-এর জন্য যা লাগে। এই পর্বের জন্য একটি ছোট প্রকল্প সত্যিই বানিয়ে চালানো হয়েছে। নিচের আউটপুটে প্রকল্পের ফোল্ডারকে নিরপেক্ষ নাম ~/bazarghar-ai দেওয়া হয়েছে, আর গোপন token মুছে <TOKEN> লেখা হয়েছে।

cd ~/bazarghar-ai
python -m venv .venv
.venv\Scripts\activate          # Linux/macOS: source .venv/bin/activate
python -m pip install jupyterlab nbstripout jupytext numpy matplotlib
jupyter --version

সত্যিকারের run, Windows-এ Python 3.14.4 দিয়ে, লেখার সময়ের version (এগুলো দ্রুত বদলায়):

Selected Jupyter core packages...
IPython          : 9.18.1
ipykernel        : 7.4.0
jupyter_client   : 8.10.0
jupyter_core     : 5.9.1
jupyter_server   : 2.21.1
jupyterlab       : 4.6.5
nbclient         : 0.11.0
nbconvert        : 7.17.2
nbformat         : 5.11.1
notebook         : not installed
…

খেয়াল করুন, notebook : not installed. আমরা শুধু JupyterLab বসিয়েছি; পুরোনো ধাঁচের ইন্টারফেস চাইলে pip install notebook দিয়ে আলাদা বসাতে হয়, তারপর jupyter notebook চালালে খোলে। দুটোই একই kernel আর একই .ipynb ফাইল ব্যবহার করে।

চালু করা: শুধু নিজের কম্পিউটারে, একটি অপরিচিত port-এ

Jupyter server আসলে একটি ছোট web server, আর এর মাধ্যমে যে কেউ আপনার কম্পিউটারে কোড চালাতে পারে। তাই দুটি সাবধানতা: server শুনবে শুধু 127.0.0.1-এ, অর্থাৎ নিজের কম্পিউটার থেকেই খোলা যাবে; আর নিজে একটি port বেছে দেবেন, যাতে অন্য কোনো প্রোগ্রামের সঙ্গে সংঘাত না হয়। এখানে নেওয়া হয়েছে 18931.

$p = Start-Process -PassThru -WindowStyle Hidden `
     -FilePath .venv\Scripts\python.exe `
     -ArgumentList "-m","jupyterlab","--no-browser","--ip=127.0.0.1","--port=18931" `
     -RedirectStandardError server.log
"PID=$($p.Id)"

Linux বা macOS-এ সাধারণত শুধু jupyter lab --no-browser --ip=127.0.0.1 --port=18931 লিখলেই হয়; terminal খোলা থাকে আর Ctrl+C দিয়ে বন্ধ করা যায়। এখানে পেছনে চালানো হয়েছে, যাতে process ID হাতে থাকে। সত্যিকারের run-এর log (কিছু লাইন বাদ):

PID=29492
[I 2026-11-04 19:20:55.360 ServerApp] jupyterlab | extension was successfully loaded.
[I 2026-11-04 19:20:55.361 ServerApp] jupyterlab_jupytext | extension was successfully loaded.
[I 2026-11-04 19:20:55.362 ServerApp] Serving notebooks from local directory: ~/bazarghar-ai
[I 2026-11-04 19:20:55.362 ServerApp] Jupyter Server 2.21.1 is running at:
[I 2026-11-04 19:20:55.362 ServerApp] http://127.0.0.1:18931/lab?token=<TOKEN>
[I 2026-11-04 19:20:55.362 ServerApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
…
        file:/…/jupyter/runtime/jpserver-5316-open.html

লগের শেষ লাইনে একটি সংখ্যা আছে: jpserver-5316. Windows-এ venv-এর python.exe একটি ছোট launcher, যা আসল Python-কে চালু করে। তাই Start-Process দিয়েছে launcher-এর ID 29492, আর আসল server চলছে তার “সন্তান” প্রক্রিয়া 5316-এ। দুটোই আমাদের নিজের চালু করা। Server বেঁচে আছে কি না, যাচাই আর তারপর বন্ধ:

PS> (Invoke-WebRequest -UseBasicParsing http://127.0.0.1:18931/api).Content
{"version": "2.21.1"}
$ curl -s -o /dev/null -w "%{http_code}
" http://127.0.0.1:18931/api/contents
403
PS> Stop-Process -Id 5316; Stop-Process -Id 29492
PS> (Invoke-WebRequest -UseBasicParsing http://127.0.0.1:18931/api).Content
Unable to connect to the remote server

তিনটি জিনিস লক্ষ করুন। /api শুধু version জানায়, কিন্তু ফাইলের তালিকা (/api/contents) চাইলে token ছাড়া উত্তর 403, মানে “অনুমতি নেই”। বন্ধ করা হয়েছে নির্দিষ্ট ID দিয়ে, নাম দিয়ে নয়; python.exe নামের সব প্রক্রিয়া বন্ধ করলে আপনার অন্য কাজ, এমনকি অন্য প্রোগ্রামও মারা যেত। আর বন্ধের পর একই ঠিকানা আর সাড়া দেয় না। Jupyter-এর নিজের নরম উপায়ও আছে: jupyter server stop 18931, যা kernel-গুলো গুছিয়ে বন্ধ করে।

৩ · Code cell, Markdown cell আর execution counter

Notebook-এ মূলত দুই ধরনের cell. Code cell-এর লেখা kernel-এ যায় আর চলে। Markdown cell-এ থাকে ব্যাখ্যা: শিরোনাম (#), তালিকা (-), মোটা লেখা (**…**), এমনকি সূত্র। ভালো notebook পড়লে মনে হয় একটি ছোট রিপোর্ট, যেখানে প্রতিটি কোডের আগে লেখা থাকে “কেন”।

সবচেয়ে বেশি ব্যবহৃত চাবি দুটি: Shift+Enter দিয়ে cell চালিয়ে পরের cell-এ যাওয়া, আর Esc চেপে “command mode”-এ গিয়ে A বা B দিয়ে ওপরে বা নিচে নতুন cell, M দিয়ে cell-কে Markdown আর Y দিয়ে আবার code বানানো। প্রতিটি code cell চালালে তার বাঁ পাশে [n] আকারে একটি সংখ্যা বসে, যার নাম execution count. চলার সময় সেখানে [*] দেখায়।

নিচের ডায়াগ্রামে বাজারঘরের চার দিনের বিক্রির (হাজার টাকায়) ছোট একটি notebook ওপর থেকে নিচে চালানো হচ্ছে। “পরে” চেপে দেখুন kernel-এর মেমরি আর counter কীভাবে বদলায়।

md# Bazarghar weekly salesc1import numpy as npc1sales = np.array([120, 95, 140, 80])c2sales = sales * 1.1   # add 10% VATc3print("total:", round(float(sales.sum()), 2))

কোনো cell-এর শেষ লাইন যদি একটি মান হয় (যেমন শুধু sales), notebook সেটি print ছাড়াই Out [n] হিসেবে দেখায়। pandas-এর DataFrame এভাবে সুন্দর টেবিল হয়ে আসে, যা পর্ব ২০ (pandas-এর শুরু)-এ অনেক দেখবেন। শেষ লাইনের পরে ; দিলে এই স্বয়ংক্রিয় দেখানো বন্ধ হয়।

৪ · লুকানো state — ক্রম ভাঙলে ফল বদলায়

এবার সেই বিপদ। ধরুন আপনি ওপরের notebook-এ কাজ করছেন। দ্বিতীয় cell চালানোর পর ওপরে স্ক্রল করে কিছু দেখলেন, তারপর ভুলে দ্বিতীয় cell-এ আবার Shift+Enter. VAT দুবার যোগ হলো। তৃতীয় cell এখন যে total দেখাবে, ফাইলের কোড ওপর থেকে নিচে পড়ে কেউ তা আর পাবেন না। Kernel-এর এমন মানকে বলে hidden state বা লুকানো state.

c1sales = np.array([120, 95, 140, 80])c2sales = sales * 1.1   # add 10% VATc3print("total:", round(float(sales.sum()), 2))💾Ctrl+S: ফাইলে save

নিজে দেখুন: পাতার দুটি “cell”, একই মেমরি

নিচের দুটি block এই পাতায় notebook-এর cell-এর মতো একই মেমরি ভাগ করে (পাতার ভাষায় data-shared). একটি নিয়ম জেনে রাখুন: এই পাতা shared block-গুলো পাতার ক্রমে চালায়। প্রথমেই দ্বিতীয় block চাপলে পাতা আগে নিজে থেকে প্রথমটি চালিয়ে নেয়, তারপর দ্বিতীয়টি। কিন্তু একবার চলার পর আপনি যেকোনো block যতবার খুশি, যে ক্রমে খুশি চালাতে পারেন, ঠিক notebook-এর মতো। এই পাতার Python চলে আপনার ব্রাউজারেই, Pyodide দিয়ে; প্রথম run-এ NumPy নামাতে কয়েক সেকেন্ড লাগতে পারে।

# ঘর ১: চার দিনের বিক্রি (হাজার টাকায়)
import numpy as np
sales = np.array([120, 95, 140, 80])
vat_runs = 0                       # ঘর ২ কতবার চলল, তার হিসাব
print("ঘর ১ চলল | sales =", sales, "| total =", sales.sum())

# ঘর ২: ১০% VAT যোগ (একবারই চলার কথা)
sales = sales * 1.1
vat_runs += 1
print(f"ঘর ২ চলল, এ পর্যন্ত {vat_runs} বার")
print("sales =", np.round(sales, 2))
print("total =", round(float(sales.sum()), 2))
if vat_runs > 1:
    print("সাবধান: VAT", vat_runs, "বার যোগ হয়েছে!")

মুছে ফেলা cell: আরও চুপচাপ একটি ফাঁদ

দ্বিতীয় ধরনের লুকানো state আরও বিপজ্জনক। ধরুন একটি notebook-এ ছাড়ের হার rate = 0.2 একটি আলাদা cell-এ ছিল। সব চালানোর পর আপনি cell-টি “অপ্রয়োজনীয়” ভেবে মুছে দিলেন আর save করলেন। ফাইলে এখন rate কোথাও নেই, অথচ kernel-এ আছে, আর ফলও ঠিকঠাক দেখাচ্ছে। সত্যিকারের run-এ এমন একটি discount.ipynb বানিয়ে নতুন kernel-এ চালানো হয়েছে:

$ jupyter nbconvert --to notebook --execute discount.ipynb --output discount_clean.ipynb
[NbConvertApp] Converting notebook discount.ipynb to notebook
…
nbclient.exceptions.CellExecutionError: An error occurred while executing the following cell:
------------------
final = [p * (1 - rate) for p in prices]
print(final)
------------------
NameError                                 Traceback (most recent call last)
Cell In[2], line 1
----> 1 final = [p * (1 - rate) for p in prices]
NameError: name 'rate' is not defined

সংরক্ষিত ফাইলে এই cell-এর output ছিল [400.0, 960.0, 240.0] আর counter [1], [3]; মাঝের [2] ছিল মুছে ফেলা cell-এর। নতুন kernel-এ সেটি NameError. আউটপুটের রং-নির্দেশক চিহ্ন মুছে দেখানো হয়েছে। Error হলে অন্তত চোখে পড়ে। আগের VAT-এর উদাহরণে কোনো error নেই, শুধু ভুল সংখ্যা; সেটিই বেশি ভয়ের।

৫ · Restart & Run All — সততার পরীক্ষা

লুকানো state ধরার সবচেয়ে সহজ আর নির্ভরযোগ্য উপায় একটি: Restart & Run All. JupyterLab-এ মেনু Kernel → Restart Kernel and Run All Cells…. এতে kernel-এর মেমরি পুরো মুছে যায়, তারপর প্রতিটি cell ওপর থেকে নিচে ঠিক একবার চলে। যা পাবেন, সেটাই notebook-এর সৎ ফল।

↻Kernel → Restartc1sales = np.array([120, 95, 140, 80])c2sales = sales * 1.1   # add 10% VATc3print("total:", round(float(sales.sum()), 2))

Terminal থেকে একই পরীক্ষা: jupyter nbconvert --execute

ব্রাউজার না খুলেও পরীক্ষাটি করা যায়, আর এটিই পরে স্বয়ংক্রিয় যাচাইয়ে (যেমন CI-তে) কাজে লাগে। nbconvert নতুন একটি kernel চালু করে সব cell ওপর থেকে নিচে চালায় আর ফল নতুন ফাইলে লেখে। সত্যিকারের run, ওপরের ক্রম-ভাঙা sales.ipynb-এর ওপর:

$ jupyter nbconvert --to notebook --execute sales.ipynb --output sales_clean.ipynb
[NbConvertApp] Converting notebook sales.ipynb to notebook
[NbConvertApp] Writing 2084 bytes to sales_clean.ipynb

sales.ipynb        In [1] import numpy as np …
sales.ipynb        In [3] sales = sales * 1.1   # add 10% VAT
sales.ipynb        In [4] print("total:", …)   -> total: 526.35
sales_clean.ipynb  In [1] import numpy as np …
sales_clean.ipynb  In [2] sales = sales * 1.1   # add 10% VAT
sales_clean.ipynb  In [3] print("total:", …)   -> total: 478.5

নিচের অংশটি দুটি ফাইল থেকে counter আর output পড়ে ছাপানো ছোট একটি Python script-এর ফল। একই কোড, দুই ফাইল, দুই উত্তর। কোনো cell error দিলে nbconvert থেমে যায় আর শূন্য নয় এমন exit code দেয় (মুছে ফেলা cell-এর উদাহরণে দেখেছেন), তাই script বা CI সহজেই বুঝতে পারে notebook ভাঙা। Error সত্ত্বেও পুরোটা চালিয়ে ফাইলে error লিখে রাখতে চাইলে --allow-errors দিন; মূল ফাইলেই লিখতে চাইলে --inplace.

৬ · Magic command — %time, %timeit, %who, %matplotlib আর %pip

IPython kernel কিছু বিশেষ কমান্ড বোঝে, যেগুলো Python নয়। এদের বলে magic command. এক % দিয়ে শুরু হলে line magic, শুধু সেই লাইনে কাজ করে। %% দিয়ে শুরু হলে cell magic; এটি cell-এর একদম প্রথম লাইনে থাকতে হয় আর পুরো cell-এ কাজ করে। আর ! দিয়ে শুরু লাইন হলো shell command, যা অপারেটিং সিস্টেমের terminal-এ যায়। নিচের সব আউটপুট সত্যিকারের run, একটি notebook-এ magic-গুলো লিখে nbconvert --execute দিয়ে চালিয়ে (Windows, Python 3.14.4, IPython 9.18.1, NumPy 2.5.4). সময়ের সংখ্যাগুলো একটি কম্পিউটারের একবারের মাপ; আপনার যন্ত্রে ভিন্ন আসবে।

In [1]: import numpy as np
        prices = np.array([120, 95, 140, 80])
        %time total = sum(range(1_000_000))
CPU times: total: 0 ns
Wall time: 5.6 ms

In [2]: %timeit sum([i * i for i in range(10_000)])
256 μs ± 6.73 μs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)

In [3]: %timeit (np.arange(10_000) ** 2).sum()
8.04 μs ± 95.3 ns per loop (mean ± std. dev. of 7 runs, 100,000 loops each)

In [4]: %%time
        sq = [i * i for i in range(200_000)]
        print(len(sq))
200000
CPU times: total: 15.6 ms
Wall time: 6.65 ms

In [5]: %who
np	 prices	 sq	 total

• %time একবার চালিয়ে সময় বলে। “Wall time” হলো ঘড়ির হিসাবে কত সময় গেল; “CPU times” হলো CPU কতক্ষণ এই কাজে ব্যস্ত ছিল। Windows-এ শুধু total দেখায়, আর খুব ছোট কাজে 0 ns আসতে পারে, কারণ সেখানে CPU সময়ের মাপ মোটা দাগের। Linux-এ user আর sys আলাদা দেখাবে।
• %timeit কাজটি অনেকবার চালায় (এখানে ৭ দফায় হাজার বা লাখবার), তারপর গড় ± standard deviation বলে। একবারের মাপ এলোমেলো হয়, তাই তুলনার জন্য এটিই ভালো। এই run-এ list comprehension-এ প্রায় 256 μs আর NumPy-তে প্রায় 8 μs, মোটামুটি ৩০ গুণের পার্থক্য। কেন NumPy এত দ্রুত, তা পর্ব ১৩ (NumPy array) আর পর্ব ১৯ (NumPy-র গতি)-এ আসবে।
• %%time পুরো cell-এর সময় মাপে; cell-এর output (200000) আগে, সময় পরে।
• %who kernel-এর মেমরিতে আপনার বানানো সব নাম দেখায়। লুকানো state সন্দেহ হলে এটি প্রথম চোখ বোলানোর জায়গা: মুছে ফেলা cell-এর rate এখানে দেখা যেত। বিস্তারিত চাইলে %whos.

In [6]: %matplotlib inline
        import matplotlib.pyplot as plt
        fig, ax = plt.subplots(figsize=(3, 2))
        ax.plot([1, 2, 3, 4], prices)
        ax.set_title("Daily sales");
<display_data: image/png, text/plain>  <Figure size 300x200 with 1 Axes>

%matplotlib inline chart-কে cell-এর নিচে ছবি হিসেবে বসায়। ওপরে ফাইলের ভেতরে কী জমা হলো, সেটি দেখানো হয়েছে: একটি PNG ছবি আর তার লেখা-রূপ। আধুনিক JupyterLab-এ এটি সাধারণত এমনিতেই চালু থাকে, তাই অনেক নতুন notebook-এ লাইনটি না থাকলেও ছবি আসে; পুরোনো notebook আর অনেক টিউটোরিয়ালে তবু দেখবেন। শেষের ; লেখা-রূপটি পর্দায় ছাপা বন্ধ করে। matplotlib নিয়ে পুরো আলোচনা পর্ব ২৮-এ।

%pip বনাম !pip: package কোন Python-এ বসছে?

Notebook-এ package বসানোর দুটি পরিচিত লেখা আছে, আর তাদের ফল এক না-ও হতে পারে। pip সবসময় সেই Python-এ package বসায়, যে Python দিয়ে সেটি চলছে। !pip লিখলে terminal খোঁজে PATH-এ প্রথম যে pip পায়। %pip লিখলে IPython চালায় kernel-এর নিজের Python দিয়ে python -m pip. সত্যিকারের run-এ ঠিক এই পার্থক্যটি ধরা পড়েছে (পথগুলো নিরপেক্ষ করে দেখানো):

In [7]: %pip install tabulate
Collecting tabulate
  Downloading tabulate-0.10.0-py3-none-any.whl.metadata (40 kB)
Downloading tabulate-0.10.0-py3-none-any.whl (39 kB)
Installing collected packages: tabulate
Successfully installed tabulate-0.10.0
Note: you may need to restart the kernel to use updated packages.

In [8]: import sys
        print(sys.executable)
~\bazarghar-ai\.venv\Scripts\python.exe

In [9]: !python -c "import sys; print(sys.executable)"
        !pip --version
…\Python314\python.exe
pip 26.0.1 from …\Python314\Lib\site-packages\pip (python 3.14)

In [10]: %pip --version
pip 26.3 from ~\bazarghar-ai\.venv\Lib\site-packages\pip (python 3.14)

Kernel চলছে venv-এর Python-এ (In [8]). কিন্তু এই kernel চালু হয়েছিল venv “activate” না করেই, তাই terminal-এর PATH-এ প্রথমে আছে সিস্টেমের Python. ফলে !python আর !pip দুটোই গেল সিস্টেমের Python-এ (In [9]), আর %pip গেল ঠিক জায়গায়, venv-এ (In [10]). এই অবস্থায় !pip install tabulate লিখলে package বসত সিস্টেমের Python-এ, আর kernel-এ import tabulate তখন খুঁজে পাওয়ার কথা নয়। এটি যুক্তি থেকে বলা; সিস্টেমের Python-এ কিছু বসানো এড়াতে সেই ধাপটি এখানে চালানো হয়নি।

নিজে মাপুন: %timeit-এর একটি ছোট রূপ

Pyodide-এ magic চলে না, কারণ এটি সাধারণ Python. কিন্তু %timeit-এর মূল চিন্তা Python-এর time.perf_counter() দিয়ে নিজেই লেখা যায়: কাজটি অনেকবার চালানো, কয়েক দফায় মাপা, তারপর গড় আর ছড়ানো দেখা। নিচের block একই তুলনা আপনার ব্রাউজারে করে।

import time
import numpy as np

def timeit_lite(fn, number=50, repeat=5):
    """%timeit-এর ছোট রূপ: repeat বার মেপে প্রতি loop-এর সময়"""
    per_loop = []
    for _ in range(repeat):
        t0 = time.perf_counter()
        for _ in range(number):
            fn()
        per_loop.append((time.perf_counter() - t0) / number)
    us = np.array(per_loop) * 1e6               # মাইক্রোসেকেন্ডে
    return us.mean(), us.std(), us.min()

n = 10_000
def with_list():
    return sum([i * i for i in range(n)])
def with_numpy():
    return int((np.arange(n, dtype=np.int64) ** 2).sum())

assert with_list() == with_numpy()              # আগে নিশ্চিত হই: দুটোর ফল এক
print("দুটোর ফল:", with_list())
res = {}
for name, fn in [("list comprehension", with_list), ("NumPy", with_numpy)]:
    mean, std, best = timeit_lite(fn)
    res[name] = mean
    print(f"{name:<18} {mean:8.1f} µs ± {std:5.1f} µs (best {best:7.1f})")
ratio = res["list comprehension"] / res["NumPy"]
print(f"এই run-এ NumPy প্রায় {ratio:.0f} গুণ দ্রুত (একবারের মাপ)")

৭ · .ipynb ফাইলের ভেতরে — JSON, diff আর nbstripout / Jupytext

একটি .ipynb ফাইল আসলে সাধারণ লেখার ফাইল, JSON format-এ। ভেতরে আছে cells তালিকা, প্রতিটি cell-এর ধরন, লেখা (source), execution_count আর outputs, আর ওপরে metadata (কোন kernel, কোন ভাষা)। কোনো notebook-এ কী আছে বুঝতে Jupyter খোলারও দরকার নেই; Python-এর json module দিয়েই পড়া যায়। নিচের block পড়ছে সেই ক্রম-ভাঙা sales.ipynb, যার আসল লেখা হুবহু এই পাতায় একটি ছোট ফাইল হিসেবে রাখা আছে।

import json

with open("sales.ipynb", encoding="utf-8") as f:
    nb = json.load(f)                           # .ipynb আসলে একটি JSON ফাইল

print("top-level keys:", list(nb))
print("nbformat:", f'{nb["nbformat"]}.{nb["nbformat_minor"]}',
      "| kernel:", nb["metadata"]["kernelspec"]["name"])
counts = []
for i, cell in enumerate(nb["cells"]):
    first = "".join(cell["source"]).splitlines()[0]
    if cell["cell_type"] == "markdown":
        print(f"[{i}] markdown       {first}")
        continue
    n = cell["execution_count"]
    counts.append(n)
    out = "".join("".join(o.get("text", [])) for o in cell["outputs"]).strip()
    print(f"[{i}] code  In [{n}]  {first[:24]:<24} -> {out or '-'}")

fresh = list(range(1, len(counts) + 1))
print("saved counts:", counts, "| fresh run:", fresh)
if counts != fresh:
    print("সতর্কতা: cell-গুলো ওপর থেকে নিচে একবার করে চলেনি")

top-level keys: ['cells', 'metadata', 'nbformat', 'nbformat_minor']
nbformat: 4.5 | kernel: python3
[3] code  In [4]  print("total:", round(fl -> total: 526.35
saved counts: [1, 3, 4] | fresh run: [1, 2, 3]

Diff কেন কঠিন

কোড Git-এ রাখলে প্রতিটি পরিবর্তনের diff দেখা যায়, যা Software Engineering কোর্সের Git history আর diff পর্বে আছে। Notebook-এ সমস্যা হলো, কোড না বদলালেও ফাইল বদলায়। ওপরের দুই ফাইলের (sales.ipynb আর sales_clean.ipynb) কোড হুবহু এক; বদলেছে শুধু একটি output. সত্যিকারের run-এ সাধারণ diff -u দিয়ে তুলনা:

$ diff -u sales.ipynb sales_clean.ipynb
@@ -13,7 +13,14 @@
    "cell_type": "code",
    "execution_count": 1,
    "id": "6d4cd742",
-   "metadata": {},
+   "metadata": {
+    "execution": {
+     "iopub.execute_input": "2026-11-04T13:19:27.274585Z",
+     "iopub.status.busy": "2026-11-04T13:19:27.274394Z",
…
-   "execution_count": 3,
+   "execution_count": 2,
…
-      "total: 526.35\n"
+      "total: 478.5\n"
…
+   "version": "3.14.4"
$ diff -u sales.ipynb sales_clean.ipynb | grep -c '^[-+][^-+]'
45

৪৫টি বদলানো লাইন, যার মধ্যে আসল অর্থপূর্ণ বদল একটিই। বাকি সব execution count, nbconvert-এর লেখা সময়ের ছাপ আর Python-এর version. দুজন একই notebook-এ কাজ করলে এমন “গোলমাল” থেকে Git-এর merge conflict-ও হয়, আর JSON-এর ভেতরে conflict হাতে মেটানো কষ্টের। Chart থাকলে আরও খারাপ: ছবি base64 লেখা হয়ে ফাইলে ঢোকে, এক লাইনে হাজার হাজার অক্ষর।

দুটি প্রচলিত সমাধান (দুটোই ঐচ্ছিক, দুটোরই বিকল্প আছে)

nbstripout notebook থেকে output আর execution count মুছে দেয়। এটিকে Git-এর filter হিসেবেও বসানো যায় (nbstripout --install), তখন commit-এর সময় নিজে থেকে মোছে, আপনার খোলা ফাইলে output থেকে যায়। সত্যিকারের run, nbstripout 0.9.1:

$ nbstripout stripped.ipynb
$ python show_cells.py stripped.ipynb
cell 0 markdown id='0'
cell 1 code id='1' execution_count=None outputs=[]
cell 2 code id='2' execution_count=None outputs=[]
cell 3 code id='3' execution_count=None outputs=[]

কাঁচা JSON না দেখিয়ে একটি ছোট script দিয়ে প্রতিটি cell-এর মূল ঘরগুলো ছাপানো হয়েছে (JSON-এর null Python-এ None). Counter মুছে গেছে, output খালি, আর লক্ষ করুন, এই version cell-এর এলোমেলো id-ও (6d4cd742…) বদলে 0, 1, 2… করে দিয়েছে, যাতে diff আরও স্থির থাকে। এটি এই version-এর আচরণ; id রাখতে চাইলে এর নিজস্ব option আছে, version অনুযায়ী ডকুমেন্টেশন দেখে নিন।

Jupytext অন্য পথ নেয়: notebook-এর পাশে একটি সাধারণ .py ফাইল রাখে, যেখানে cell-এর সীমা # %% মন্তব্য। Git-এ রাখা হয় .py, যার diff একদম সাধারণ কোডের মতো। সত্যিকারের run, Jupytext 1.19.6:

$ jupytext --to py:percent sales.ipynb -o sales.py
[jupytext] Reading sales.ipynb in format ipynb
[jupytext] Writing sales.py in format py:percent
$ cat sales.py
# ---
# jupyter:
#   jupytext:
#     text_representation:
#       extension: .py
#       format_name: percent
…
# %% [markdown]
# # Bazarghar weekly sales
# Four days of sales, VAT added once.

# %%
import numpy as np
sales = np.array([120, 95, 140, 80])

# %%
sales = sales * 1.1   # add 10% VAT

# %%
print("total:", round(float(sales.sum()), 2))

এই .py ফাইলে কোনো output নেই, কোনো counter নেই, তাই লুকানো state-এর কোনো সাক্ষ্যও নেই; ফাইলটি সাধারণ Python হিসেবেও চলে। Server-এর log-এ jupyterlab_jupytext extension load হতে দেখেছিলেন; JupyterLab-এ এটি থাকলে .py ফাইল সরাসরি notebook হিসেবে খোলা যায়। কোন পথ নেবেন, তা দলের অভ্যাস। কেউ output মুছে .ipynb রাখেন, কেউ শুধু .py, কেউ JupyterLab-এর jupyterlab-git-এর মতো notebook-বোঝা diff টুল বা nbdime ব্যবহার করেন।

৮ · Notebook না script — কখন কোড বাইরে নেবেন

Notebook আর script নিয়ে প্রোগ্রামারদের মধ্যে পুরোনো একটি বিতর্ক আছে, আর দুই পক্ষেরই যুক্তি শক্ত। Notebook খোঁজাখুঁজির জন্য দারুণ: ডেটা খোলা, chart দেখা, প্রশ্ন বদলানো, আর ফলসহ একটি গল্প অন্যকে দেখানো। কিন্তু একই কোড বারবার লাগলে, test লিখতে হলে, বা কাজটি প্রতিদিন নিজে থেকে চলতে হলে script আর module-ই ঠিক জায়গা।

বাস্তবে সবচেয়ে প্রচলিত মাঝামাঝি পথ: পুনর্ব্যবহারযোগ্য কোড .py module-এ, আর notebook-এ শুধু সেটি import করে খোঁজাখুঁজি। Module আর import কীভাবে কাজ করে, তা Python কোর্সের module আর package পর্বে আছে। Notebook-এ একটি ব্যবহারিক বাধা হলো, module একবার import হলে Python সেটি মনে রাখে; ফাইল বদলালেও পুরোনো রূপই চলতে থাকে। সত্যিকারের run-এ bazar_utils.py-তে add_vat() function রেখে, মাঝপথে একটি cell থেকে ফাইলটিতে VAT-এর হার 0.10 থেকে 0.15 করে দেখা হয়েছে (দুটি notebook, nbconvert দিয়ে চালানো, ফল সংক্ষেপে):

# autoreload ছাড়া
In [1]: from bazar_utils import add_vat; print(add_vat(100))   -> 110.0
In [2]: (bazar_utils.py-তে rate=0.15 করে save)
In [3]: from bazar_utils import add_vat; print(add_vat(100))   -> 110.0

# autoreload সহ
In [1]: %load_ext autoreload
        %autoreload 2
In [2]: from bazar_utils import add_vat; print(add_vat(100))   -> 110.0
In [3]: (bazar_utils.py-তে rate=0.15 করে save)
In [4]: from bazar_utils import add_vat; print(add_vat(100))   -> 115.0

প্রথম ক্ষেত্রে ফাইল বদলানো সত্ত্বেও ফল 110.0; এটিও এক ধরনের লুকানো state, এবার মেমরিতে রাখা পুরোনো module. autoreload extension প্রতিটি cell চালানোর আগে বদলানো module নতুন করে load করে, তাই দ্বিতীয় ক্ষেত্রে 115.0. এটি সুবিধার, কিন্তু নিখুঁত নয়; IPython-এর ডকুমেন্টেশনেই কিছু ক্ষেত্রে (যেমন class-এর গঠন বদলালে) এটি ঠিকমতো কাজ না করার কথা বলা আছে। সন্দেহ হলে kernel restart করাই নিরাপদ।

কখন কোড notebook থেকে বের করবেন: কয়েকটি সংকেত

• একই কয়েক লাইন দ্বিতীয় notebook-এ কপি করতে যাচ্ছেন।
• একটি cell এত লম্বা যে স্ক্রল করতে হয়, বা ভেতরে একাধিক কাজ।
• কোনো হিসাবের ফল ভুল হলে ক্ষতি আছে, তাই test দরকার। ছোট test কীভাবে লিখবেন, তা পর্ব ১১ (AI কোডে পরিচ্ছন্নতা)-এ আসবে।
• কাজটি রাতে নিজে থেকে, বা server-এ চলতে হবে। তখন python train.py, notebook নয়।

৯ · VS Code, Colab আর AI কাজের ভালো অভ্যাস

JupyterLab ছাড়াও .ipynb খোলার জনপ্রিয় জায়গা আছে। দুটির কথা জেনে রাখুন; দুটোরই বৈশিষ্ট্য আর শর্ত সময়ের সঙ্গে বদলায়, তাই ব্যবহারের আগে তাদের নিজস্ব ডকুমেন্টেশন দেখে নিন।

এই পর্বের জন্য Colab বা অন্য কোনো অনলাইন সেবায় login করা হয়নি; ওপরের সব আউটপুট নিজের কম্পিউটারের JupyterLab আর nbconvert থেকে। একটি বিষয় তিন জায়গাতেই এক: kernel, cell, counter আর লুকানো state. যেখানেই চালান, Restart & Run All-এর নিয়ম বদলায় না।

AI আর ডেটার কাজে notebook-এর ভালো অভ্যাস

• প্রথম cell-এ সব import আর seed. rng = np.random.default_rng(42)-এর মতো random seed ওপরে একবার; মাঝপথে import লুকিয়ে থাকলে অন্যের কম্পিউটারে চলবে না।
• ছোট ডেটা দিয়ে শুরু। প্রথমে ১০০০ সারি নিয়ে পুরো notebook চালান, তারপর পুরো ডেটা। ভুল আগে ধরা পড়ে, অপেক্ষাও কম।
• একই নামে নতুন মান নয়। df = df.dropna()-এর বদলে df_clean = df.dropna(); তাহলে cell দুবার চললেও ফল এক।
• Restart & Run All পাস না করলে শেয়ার নয়। counter একটানা 1, 2, 3… আর কোনো error নেই, এটা যাচাই করুন।
• শেয়ারের আগে output পরিষ্কার (Edit → Clear Outputs of All Cells, বা nbstripout), যদি না output-টাই আপনার রিপোর্ট। গ্রাহকের নাম বা ফোন নম্বরের মতো ব্যক্তিগত ডেটা output-এ থেকে গেলে ফাইলের সঙ্গেই চলে যায়।
• কোনো cell-এ গোপন চাবি নয়। API_KEY = "example-secret" লিখে মুছে দিলেও তা output-এ, পুরোনো Git commit-এ বা kernel-এ থেকে যেতে পারে। Environment variable বা আলাদা গোপন ফাইল ব্যবহার করুন, যা Git-এ যায় না।
• Package বসানো %pip দিয়ে, তারপর restart; আরও ভালো, terminal থেকে প্রকল্পের নির্দিষ্ট version মেনে।

১০ · AI-এর যুগে notebook — সহকারীর লেখা cell যাচাই

আজকাল JupyterLab, VS Code আর Colab, প্রায় সব জায়গাতেই AI সহকারী cell লিখে দেয়, বা ভুল ব্যাখ্যা করে। এটি সময় বাঁচায়। কিন্তু notebook-এর পরিবেশে AI-এর কিছু চেনা ভুল আছে, আর লুকানো state সেগুলোকে আরও আড়াল করে।

AI-এর লেখা cell হাতে পেলে — যাচাইয়ের চেকলিস্ট

• নিজের library-র version জেনে (np.__version__, pd.__version__) সেই version-এর অফিসিয়াল ডকুমেন্টেশনের সঙ্গে API মিলিয়েছি
• cell বসানোর পর Restart & Run All করেছি; কোনো NameError নেই, counter একটানা
• ফলের shape আর প্রথম কয়েকটি সারি নিজে দেখেছি (df.shape, df.head()), অন্তত একটি সংখ্যা হাতে মিলিয়েছি
• Model-এর কাজ হলে আগে train/test ভাগ, তারপর বাকি সব; ফল মেপেছি test সেটে, সরল baseline-এর পাশে
• কোনো warning চাপা দেওয়া হয়নি, আর কোনো output-এ ব্যক্তিগত ডেটা বা গোপন চাবি নেই
• গ্রাহকের আসল ডেটা বা চাবি AI chat-এ পেস্ট করিনি; দরকার হলে কলামের নাম আর বানানো কয়েকটি নমুনা সারি দিয়েছি