string — slicing, method আর বাংলা Unicode

১ · string আসলে কী — অক্ষরের এমন সারি, যা বদলায় না

আগের পর্বগুলোতে আপনি সংখ্যা নিয়ে হিসাব করেছেন, অপারেটর দিয়ে তুলনা করেছেন। কিন্তু বাস্তব প্রোগ্রামের বড় অংশ সংখ্যা নয় — লেখা। মানুষের নাম, ঠিকানা, মোবাইল নম্বর, SMS, পণ্যের নাম, ওয়েবসাইটের লিংক, AI চ্যাটবটের প্রশ্ন-উত্তর — সবই লেখা। Python-এ লেখা রাখার type হলো string, ছোট নামে str.

প্রথমে একটি মানসিক মডেল তৈরি করুন। একটি string হলো অক্ষরের একটি সারি — ঠিক যেন ট্রেনের বগি। প্রতিটি বগিতে একটি করে অক্ষর, আর বগিগুলোর একটি নির্দিষ্ট ক্রম আছে। প্রথম বগির নম্বর 0, তারপর 1, 2… এভাবে। এই ধরনের ক্রমবদ্ধ জিনিসকে Python বলে sequence. পরে list আর tuple-ও (পর্ব ১৪, ১৫) sequence হিসেবে দেখবেন, আর এই পর্বে শেখা indexing-slicing হুবহু সেখানেও কাজ করবে।

কিন্তু “অক্ষর” বলতে Python ঠিক কী বোঝে? Python 3-এ প্রতিটি অক্ষর হলো একটি Unicode code point — পৃথিবীর প্রায় সব লিপির প্রতিটি চিহ্নকে দেওয়া একটি নির্দিষ্ট নম্বর। ইংরেজি A-এর নম্বর 65, বাংলা অ-এর নম্বর 2437 (হেক্সাডেসিমালে U+0985). Python-এর কাছে "অমর" মানে তিনটি নম্বরের সারি। এজন্যই Python 3-এ বাংলা লেখা কোনো বাড়তি ঝামেলা ছাড়াই চলে।

string লেখার উপায় — একক, জোড়া আর তিন কোট

Python-এ string লেখা যায় একক কোট ('চা') বা জোড়া কোট ("চা") দিয়ে — দুটির মধ্যে কোনো পার্থক্য নেই। সুবিধা হলো, লেখার ভেতরে একটি ধরনের কোট থাকলে বাইরে অন্যটি ব্যবহার করা যায়: "It's Dhaka" বা 'তিনি বললেন "আসছি"'. একাধিক লাইনের লেখার জন্য আছে তিনটি কোট — """...""" বা '''...''', যাকে বলে triple-quoted string. এর ভেতরে Enter চাপলে সেই নতুন লাইনটিও string-এর অংশ হয়ে যায়। SMS-এর টেমপ্লেট, ইমেইলের বডি বা ফাংশনের docstring লিখতে এটি কাজে লাগে।

name = 'রহিম'
quote = "তিনি বললেন, \"কাল আসছি\""
sms = """প্রিয় গ্রাহক,
আপনার বিল পরিশোধ হয়েছে।
ধন্যবাদ।"""
path = r"C:\Users\rahim\new_folder"

Escape sequence আর raw string

কিছু অক্ষর সরাসরি টাইপ করা যায় না বা কোটের সাথে গুলিয়ে যায়। তাদের জন্য backslash (\) দিয়ে শুরু বিশেষ সংকেত আছে, যার নাম escape sequence. পর্ব ০৪-এ কয়েকটি দেখেছেন; এখানে একসাথে:

এখন একটি ফাঁদ দেখুন। "C:\new\table" লিখলে Python \n-কে নতুন লাইন আর \t-কে tab ভাবে — আপনার ফাইলের path ভেঙে যায়! সমাধান হলো raw string: কোটের আগে r লিখুন — r"C:\new\table". এতে backslash আর বিশেষ কিছু নয়, সাধারণ অক্ষর মাত্র। Windows path আর regular expression (পর্ব ২৮)-এ backslash অনেক থাকে, তাই সেখানে raw string প্রায় নিয়ম। তবে মনে রাখুন, raw string-এর একেবারে শেষে একটি একা backslash রাখা যায় না — r"C:\folder\" লিখলে SyntaxError আসে। আর ফাইলের path নিয়ে কাজের আধুনিক উপায় pathlib, যা পর্ব ২৫-এ দেখবেন।

২ · Indexing আর slicing — সারি থেকে অক্ষর ও টুকরো তোলা

string যেহেতু একটি সারি, প্রতিটি অক্ষরের একটি অবস্থান-নম্বর আছে, যাকে বলে index. Python-এ গোনা শুরু হয় 0 থেকে. s = "Bangladesh" হলে s[0] হলো 'B', s[1] হলো 'a', আর শেষ অক্ষর s[9] হলো 'h'. মোট অক্ষর len(s) = 10, তাই শেষ index সবসময় len(s) - 1.

শেষ থেকে গুনতে চাইলে আছে negative index: s[-1] শেষ অক্ষর, s[-2] শেষের আগেরটি। ফোন নম্বরের শেষ চার অঙ্ক, ফাইলের extension, বাক্যের শেষ চিহ্ন — এসব বের করতে negative index খুব কাজের। আর সীমার বাইরের index চাইলে (s[10] বা s[-11]) Python সোজা IndexError দেয়: IndexError: string index out of range.

Slicing — একসাথে একটি টুকরো

একটি অক্ষর নয়, একটি অংশ চাইলে লিখুন s[start:stop:step]. একে বলে slicing. নিয়ম তিনটি: start-এর ঘর থেকে শুরু, stop-এর ঘরে পৌঁছানোর আগেই থামা (stop নিজে বাদ), আর প্রতিবার step ঘর করে লাফ। যেকোনোটি বাদ দেওয়া যায়: start না দিলে শুরু থেকে, stop না দিলে শেষ পর্যন্ত, step না দিলে 1. এবার "Bangladesh"[1:7:2] ধাপে ধাপে দেখুন:

index :   0   1   2   3   4   5   6   7   8   9
অক্ষর  :   B   a   n   g   l   a   d   e   s   h
negative: -10  -9  -8  -7  -6  -5  -4  -3  -2  -1

index :   0   1   2   3   4   5   6   7   8   9
অক্ষর  :   B   a   n   g   l   a   d   e   s   h
            ↑ নেওয়া হলো

index :   0   1   2   3   4   5   6   7   8   9
অক্ষর  :   B   a   n   g   l   a   d   e   s   h
                    ↑ নেওয়া হলো

index :   0   1   2   3   4   5   6   7   8   9
অক্ষর  :   B   a   n   g   l   a   d   e   s   h
                            ↑ নেওয়া হলো

index :   0   1   2   3   4   5   6   7   8   9
অক্ষর  :   B   a   n   g   l   a   d   e   s   h
                                    ↑ stop — নেওয়া হয় না

কয়েকটি প্রচলিত slice মুখস্থ নয়, বুঝে রাখুন:

• s[:3] — প্রথম তিনটি অক্ষর ('Ban').
• s[-4:] — শেষ চারটি ('desh'); ফোন নম্বরের শেষ চার অঙ্ক দেখাতে এটাই লাগে।
• s[::2] — একটি বাদ দিয়ে দিয়ে ('Bnlds').
• s[::-1] — পুরো string উল্টো ('hsedalgnaB'). step ঋণাত্মক হলে Python ডান থেকে বামে হাঁটে।
• s[:] — পুরোটা। list-এ এটি কপি বানায়; string immutable বলে CPython এখানে নতুন কপি না বানিয়ে একই object ফেরত দেয় — কোনো ক্ষতি নেই, কারণ কেউ তো ওটা বদলাতে পারবে না।

৩ · Immutability — কেন s[0] = "D" চলে না

list-এ marks[0] = 90 লিখে প্রথম ঘর বদলানো যায় (পর্ব ১৪)। string-এ একই চেষ্টা করুন:

>>> city = "dhaka"
>>> city[0] = "D"
Traceback (most recent call last):
  File "<python-input-1>", line 1, in <module>
    city[0] = "D"
    ~~~~^^^
TypeError: 'str' object does not support item assignment

শেষ লাইনটি পড়ুন: TypeError — “str object-এর ঘরে নতুন কিছু বসানো যায় না।” এটাই immutability. তাহলে "Dhaka" পাবেন কীভাবে? নতুন একটি string বানিয়ে: city = "D" + city[1:], অথবা সহজে city = city.capitalize(). দুটি ক্ষেত্রেই পুরোনো "dhaka" অক্ষত থাকে; শুধু city নামটি নতুন object-এ সরে যায়। নিচের ধাপগুলোতে দেখুন, বিশেষ করে t নামটির কী হয়:

1s = "dhaka"2t = s3s = s.upper()4print(s, t)

জোড়া লাগানো আর পুনরাবৃত্তি — + ও *

দুটি string পাশাপাশি জুড়ে দেওয়াকে বলে concatenation, আর Python-এ এর চিহ্ন +: "ঢাকা" + "-" + "১২০৫" দেয় "ঢাকা-১২০৫". আর * একটি string-কে কয়েকবার পুনরাবৃত্তি করে: "-" * 20 দেয় ২০টি ড্যাশের একটি লাইন, রিপোর্টে ভাগ-রেখা টানতে চমৎকার। মনে রাখুন, "বয়স: " + 25 চলবে না — TypeError, কারণ Python নিজে থেকে সংখ্যাকে লেখায় বদলায় না। লিখতে হবে "বয়স: " + str(25), অথবা আরও সুন্দরভাবে f-string দিয়ে (নিচে দেখুন)।

লুপে += বনাম "".join()

ধরুন হাজার হাজার টুকরো জুড়ে একটি বড় রিপোর্ট বানাবেন। স্বাভাবিক চিন্তা: একটি খালি string নিয়ে লুপে বারবার report += line. কিন্তু string immutable — তাই প্রতিটি += আসলে পুরোনো সব লেখা নতুন একটি string-এ কপি করে, তারপর নতুন টুকরো যোগ করে। টুকরো যত বাড়ে, প্রতিবারের কপিও তত বড় হয়। নিচের ছোট উদাহরণে কপির হিসাব রাখুন (লুপ নিজে পর্ব ১২-এ শিখবেন; এখানে শুধু ধারণা):

1out = ""2out += "ab"3out += "cd"4out += "ef"5out2 = "".join(["ab", "cd", "ef"])

৪ · String method — লেখা পরিষ্কারের যন্ত্রপাতি

প্রতিটি string object-এর সাথে কিছু ফাংশন জুড়ে থাকে, যাদের ডাকা হয় ডট দিয়ে: name.upper(). object-এর সাথে জোড়া এমন ফাংশনকে বলে method. পর্ব ০৫-এ দেখেছেন, object-এর type ঠিক করে সে কী কী পারে — str type-এর আছে চল্লিশটির বেশি method. সব মুখস্থ করার দরকার নেই; নিচের দলগুলো চিনে রাখলেই রোজকার ৯০% কাজ হয়ে যায়।

কয়েকটি method-এর সূক্ষ্ম দিক আলাদা করে জেনে নিন:

• split() বনাম split(" "): কিছু না দিয়ে split() ডাকলে যেকোনো পরিমাণ ফাঁকা জায়গা (space, tab, newline) একসাথে ভাগের চিহ্ন ধরা হয়, আর শুরু-শেষের ফাঁকা বাদ যায় — " x y ".split() দেয় ['x', 'y']. কিন্তু "a b".split(" ") দেয় ['a', '', 'b'] — মাঝে একটি খালি টুকরো। ব্যবহারকারীর লেখা শব্দে ভাঙতে প্রায় সবসময় শুধু split().
• rsplit আর splitlines: "a/b/c.txt".rsplit("/", 1) ডান দিক থেকে একবারই ভাঙে — ['a/b', 'c.txt'], ফাইলের নাম আলাদা করতে কাজের। splitlines() লেখাকে লাইনে ভাঙে, Windows-এর \r\n আর Linux-এর \n দুটোই ঠিকভাবে বোঝে।
• find বনাম index: দুটোই প্রথম মিলের অবস্থান দেয়। না পেলে find দেয় -1, আর index দেয় ValueError. সাবধান: -1 একটি বৈধ index-ও (শেষ অক্ষর)! তাই s[s.find(x)] না পেলে চুপচাপ শেষ অক্ষর দেবে। শুধু “আছে কি না” জানতে x in s সবচেয়ে পরিষ্কার।
• join-এর অদ্ভুত চেহারা: "-".join(parts) — ভাগের চিহ্নটি আগে, টুকরোর list পরে। কারণ যেকোনো sequence-এর টুকরো জোড়া যায়, কিন্তু “কী দিয়ে জোড়া হবে” সেটা একটি string-এর কাজ। আর সব টুকরোকে string হতে হবে; "-".join([1, 2]) দেয় TypeError.
• title()-এর সীমা: "they're".title() দেয় "They'Re" — apostrophe-র পরের অক্ষরও বড় হয়ে যায়। নামের বানান ঠিক করতে title() চোখ বুজে বিশ্বাস করবেন না।

lower() নয়, casefold() — বড়-ছোট হাত না মেনে তুলনা

ব্যবহারকারী ইমেইল লিখলেন Rahim@Gmail.com, ডেটাবেসে আছে rahim@gmail.com. দুটি মেলাতে বড়-ছোট হাতের পার্থক্য উপেক্ষা করতে হবে। ইংরেজির জন্য lower() প্রায় সবসময় কাজ করে, কিন্তু কিছু ভাষায় করে না। জার্মান ß-এর বড় হাতের রূপ SS; "Straße".lower() == "STRASSE".lower() হলো False. casefold() ঠিক এই তুলনার জন্য তৈরি — সে ß-কে ss বানায়, তাই "Straße".casefold() == "STRASSE".casefold() হলো True. নিয়ম: দেখানোর জন্য lower(), তুলনার জন্য casefold(). বাংলা লিপিতে বড়-ছোট হাত নেই, তাই বাংলা লেখায় এই method-গুলো কিছুই বদলায় না।

বাংলা অঙ্ক আর isdigit() — একটি সুখবর, একটি দুঃসংবাদ

সুখবর: Python বাংলা অঙ্ককে আসল অঙ্ক হিসেবে চেনে। "১২৩".isdigit() হলো True, আর int("১২৩") সরাসরি দেয় সংখ্যা 123. ফর্মে কেউ বাংলায় বয়স লিখলেও আপনার কোড চলবে। কিন্তু এটাই আবার ফাঁদ হতে পারে: আপনি যদি isdigit() দিয়ে যাচাই করে ধরে নেন লেখাটি শুধু 0-9, তাহলে ভুল — বাংলা, আরবি বা অন্য লিপির অঙ্কও পাস করবে। শুধু ইংরেজি অঙ্ক চাইলে s.isascii() and s.isdigit() লিখুন। আরেকটি সূক্ষ্মতা: isnumeric() আরও উদার — "½".isnumeric() True, অথচ "½".isdigit() False.

দুঃসংবাদ: "বাংলা".isalpha() হলো False! অবাক হওয়ার মতো, কিন্তু কারণ যৌক্তিক। Unicode-এর হিসাবে ব, ল হলো “অক্ষর” (letter), কিন্তু া (আ-কার) আর ং (অনুস্বার) হলো “চিহ্ন” (mark). isalpha() শুধু তখনই True দেয় যখন প্রতিটি code point letter. তাই কার-চিহ্ন বা হসন্ত আছে এমন প্রায় সব বাংলা শব্দে isalpha() False. “নামে শুধু অক্ষর আছে কি না” যাচাই করতে AI প্রায়ই name.isalpha() লিখে দেয় — বাংলা নামের ফর্মে সেটা প্রায় প্রতিটি সঠিক নামই বাতিল করবে।

এবার সব একসাথে দেখুন — ফোন নম্বর পরিষ্কার, পণ্যের নাম থেকে URL slug, SMS-এ শব্দ খোঁজা, আর কয়েকটি slice. খেয়াল করুন method-গুলো কীভাবে পরপর জোড়া (chain) দেওয়া হয়েছে — প্রতিটি method নতুন string ফেরত দেয়, তাই তার ওপর সঙ্গে সঙ্গে পরের method ডাকা যায়:

phone = "+880 1712-345678"
digits = phone.replace("+", "").replace(" ", "").replace("-", "")
print(digits, digits.isdigit())
print("0" + digits[3:])          # দেশের ভেতরের রূপ

product = "  Samsung Galaxy A15 (128GB)  "
clean = product.strip().lower().replace("(", "").replace(")", "")
slug = "-".join(clean.split())
print(slug)

sms = "আপনার OTP 4821. কাউকে OTP জানাবেন না।"
print(sms.count("OTP"), sms.find("OTP"), sms.find("PIN"))
print("OTP" in sms, sms.startswith("আপনার"))

word = "Bangladesh"
print(word[::-1], word[1:7:2], word[-4:], repr(word[20:]))
print("42".zfill(5), "Total".center(11, "*"))
print(phone)                     # আসলটি বদলায়নি

এক লাইনে f-string-এর ঝলক

লেখার মধ্যে মান বসানোর সবচেয়ে আধুনিক উপায় f-string: f"{name}-এর বিল {total} টাকা". কোটের আগে একটি f, আর {}-এর ভেতরে যেকোনো নাম বা হিসাব। + আর str()-এর ঝামেলা নেই। দশমিকের ঘর, কলাম সাজানো, হাজারের কমা — এসব format-এর পুরো কৌশল পরের পর্বে (পর্ব ১০) বিস্তারিত।

৫ · বাংলা লেখা ভেতরে — code point, ord() আর chr()

এবার এই পর্বের সবচেয়ে গুরুত্বপূর্ণ অংশ, বিশেষ করে বাংলাভাষী প্রোগ্রামারের জন্য। প্রথম প্রশ্ন: len("বাংলা") কত? চোখে আপনি দেখেন “বা”, “ং”, “লা” — বড়জোর তিনটি অংশ। কিন্তু Python বলে 5. কেন?

কারণ Python গোনে code point, আর বাংলা লেখায় প্রতিটি কার-চিহ্ন, অনুস্বার, হসন্ত আলাদা code point. “বাংলা” ভেতরে আসলে এই পাঁচটি: ব (U+09AC), া (U+09BE, আ-কার), ং (U+0982, অনুস্বার), ল (U+09B2), া (U+09BE). পর্দায় ফন্ট ও রেন্ডারিং ইঞ্জিন এগুলোকে জুড়ে সুন্দর “বাংলা” আঁকে, কিন্তু মেমরিতে এরা পাঁচটি আলাদা নম্বর।

ord() আর chr() — অক্ষর আর নম্বরের মধ্যে যাতায়াত

ord(ch) একটি অক্ষরের code point নম্বর দেয়, আর chr(n) নম্বর থেকে অক্ষর। ord("A") হলো 65, ord("অ") হলো 2437, আর hex(ord("অ")) দেয় '0x985'. উল্টো দিকে chr(0x0995) দেয় 'ক'. Unicode-এ বাংলা লিপির জন্য একটি পুরো খণ্ড বরাদ্দ — U+0980 থেকে U+09FF, মোট ১২৮টি ঘর (সব ঘর অবশ্য ভরা নয়)। স্বরবর্ণ, ব্যঞ্জনবর্ণ, কার-চিহ্ন, হসন্ত, বাংলা অঙ্ক ০–৯ (U+09E6–U+09EF), এমনকি টাকার চিহ্ন ৳ (U+09F3) — সবই এখানে। অসমীয়া লিপিও একই খণ্ড ব্যবহার করে, তাই Unicode-এর নামগুলোতে বাংলাকে বলা হয় “BENGALI”.

এখন সবচেয়ে মজার উদাহরণ দুটি দেখুন — “কি” আর যুক্তাক্ষর “ক্ষ”:

1a = "কি"2print(len(a), list(a))3b = "ক্ষ"4print(len(b), list(b))5print(b[:2])

Code point বনাম grapheme cluster

মানুষ যাকে “একটি অক্ষর” ভাবে, Unicode তার নাম দিয়েছে grapheme cluster — কয়েকটি code point মিলে পর্দায় একটি একক হিসেবে দেখা যায় এমন গুচ্ছ। “কি” একটি grapheme cluster, দুটি code point. Unicode-এর অফিসিয়াল নিয়মে (UAX #29) “বাংলা” ভাগ হয় দুটি cluster-এ — “বাং” আর “লা” — কারণ অনুস্বার আর কার-চিহ্ন আগের ব্যঞ্জনের সাথে লেগে থাকে। আর ২০২৩ সালের Unicode 15.1 থেকে হসন্ত দিয়ে জোড়া “ক্ষ”-এর মতো যুক্তাক্ষরও একটি cluster ধরা হয়। অর্থাৎ একই শব্দের দৈর্ঘ্য তিন রকম হতে পারে: বাইটে, code point-এ আর grapheme-এ।

কোনটি “সঠিক” দৈর্ঘ্য? প্রশ্নটাই আসলে ভুল — নির্ভর করে কাজের ওপর। ডেটাবেসের কলামের মাপ বা SMS-এর খরচ হিসাবের জন্য বাইট বা code point (বাংলা SMS আলাদা encoding-এ যায়, তাই এক SMS-এ ইংরেজির চেয়ে অনেক কম অক্ষর আঁটে)। ব্যবহারকারীকে “আপনার নাম ২০ অক্ষরের বেশি” বলার জন্য grapheme বেশি মানুষ-বান্ধব। ইমোজিতে ব্যাপারটা আরও চরমে যায়: পরিবারের একটি ইমোজি 👨‍👩‍👧 পর্দায় একটি ছবি, কিন্তু ভেতরে ৫টি code point (তিনজন মানুষ আর তাদের জোড়া দেওয়া দুটি অদৃশ্য ZWJ অক্ষর)। grapheme ধরে কাজ করতে Python-এ তৃতীয় পক্ষের regex package-এর \X প্যাটার্ন বা grapheme-জাতীয় library ব্যবহার করা হয় — pip দিয়ে package ইনস্টল করা শিখবেন পর্ব ২৩-এ।

৬ · তুলনা, সাজানো আর “একই দেখতে” লেখার ফাঁদ

দুটি string-এর তুলনা (==, <, >) Python করে code point ধরে, বাম থেকে এক এক করে — যেখানে প্রথম অমিল, সেখানেই সিদ্ধান্ত। ইংরেজিতে এর একটি পরিচিত ফল আছে: সব বড় হাতের অক্ষরের code point ছোট হাতের চেয়ে কম ('A' 65, 'a' 97), তাই sorted(["banana", "Apple", "cherry"]) দেয় ['Apple', 'banana', 'cherry'] — আর "apple" হলে সেটি চলে যেত "Zebra"-র পরে! বড়-ছোট হাত না মেনে সাজাতে লিখুন sorted(words, key=str.casefold).

বাংলায় বেশিরভাগ ক্ষেত্রে code point-এর ক্রম বর্ণমালার ক্রমের সাথে মিলে যায়, কারণ Unicode বাংলা খণ্ড বর্ণমালার ক্রমেই সাজানো: "কলা" < "খেজুর" হলো True. কিন্তু সবসময় নয়। ড়, ঢ়, য়-এর একক code point (U+09DC, U+09DD, U+09DF) বসানো হয়েছে খণ্ডের শেষ দিকে, হ-এর (U+09B9) অনেক পরে। তাই সেগুলো দিয়ে লেখা শব্দ code point অনুযায়ী সাজালে চলে যায় হ-এর পরে — বাংলা অভিধানের ক্রমে নয়। ঠিক অভিধানের মতো সাজাতে ভাষাভিত্তিক collation লাগে (যেমন ICU library), যা Python-এর built-in sorted করে না।

একই দেখতে, তবু == হলো False — normalization

এবার একটি সত্যিকারের মাথাব্যথা। “ড়” লেখার দুটি বৈধ উপায় আছে: একক code point U+09DC, অথবা ড (U+09A1) + নুক্তা ় (U+09BC). পর্দায় দুটি হুবহু এক। কিন্তু Python-এর == code point মেলায়, তাই দুটি সমান নয়! একইভাবে ও-কার ো একটি code point (U+09CB) হিসেবেও লেখা যায়, আবার এ-কার ে + আ-কার া জুড়েও। কেউ মোবাইলে এক কীবোর্ডে, কেউ কম্পিউটারে আরেক কীবোর্ডে টাইপ করলে একই নাম ভিন্ন code point-এ জমা হতে পারে — তখন সার্চে “পাওয়া যায়নি”, ডুপ্লিকেট অ্যাকাউন্ট, লগইন ব্যর্থ।

সমাধানের নাম normalization: সব লেখাকে একটি নির্দিষ্ট আদর্শ রূপে বদলে নেওয়া। Python-এর standard library-র unicodedata.normalize("NFC", s) এই কাজ করে। নিয়ম সহজ — বাইরে থেকে আসা লেখা (ফর্ম, ফাইল, API) তুলনা বা জমা করার আগে একই রূপে normalize করুন. NFC কী, NFD কী, আর বাংলায় এর কী অদ্ভুত ব্যতিক্রম আছে — ভাবনার প্রশ্ন ০৫-এ।

in আর not in

একটি string আরেকটির ভেতরে আছে কি না জানতে "OTP" in sms — উত্তর True বা False. এটা পুরো টুকরো খোঁজে, শুধু একটি অক্ষর নয়: "ঢাকা" in "আমার বাড়ি ঢাকায়" হলো True. উল্টোটি "spam" not in subject. এটিও code point ধরে মেলায়, তাই বাংলায় normalize না করা লেখায় একই ফাঁদ আছে।

৭ · str বনাম bytes — UTF-8-এ বাংলা কত বাইট

Python-এর ভেতরে লেখা থাকে code point হিসেবে। কিন্তু ফাইলে লিখতে বা নেটওয়ার্কে পাঠাতে হলে লেখাকে বাইটে বদলাতে হয় — কারণ ডিস্ক আর তার শুধু বাইট বোঝে। code point থেকে বাইট বানানোর নিয়মকে বলে encoding, আর আজকের পৃথিবীর প্রধান encoding হলো UTF-8. "বাংলা".encode("utf-8") দেয় একটি bytes object, আর .decode("utf-8") তাকে আবার str-এ ফেরায়।

UTF-8 একটি পরিবর্তনশীল-দৈর্ঘ্যের encoding: ইংরেজি অক্ষর (code point 0–127) ১ বাইট, আর বাংলা (U+0980–U+09FF) প্রতিটি code point ৩ বাইট। তাই "বাংলা"-এর ৫টি code point UTF-8-এ ১৫ বাইট. অথচ ৫ অক্ষরের একটি ইংরেজি শব্দে লাগে মাত্র ৫ বাইট। ডেটাবেসের কলাম “VARCHAR(50)” বাইটে মাপা হলে ৫০ বাইটে বাংলা আঁটে মাত্র ১৬টির মতো code point — ডেটাবেস ডিজাইনে এটা মনে রাখা জরুরি।

এখন বাংলা লেখার সব ধারণা একসাথে নিজের চোখে যাচাই করুন — code point, ord/chr, যুক্তাক্ষর, UTF-8 বাইট, বাংলা অঙ্ক, isalpha-র ফাঁদ, normalization আর সাজানো:

import unicodedata

word = "বাংলা"
print(len(word), list(word))
print(ord("অ"), hex(ord("অ")), chr(0x0995))
print(len("ক্ষ"), list("ক্ষ"))

data = word.encode("utf-8")
print(type(data).__name__, len(data), data[:3])
print(data.decode("utf-8") == word)

print("১২৩".isdigit(), int("১২৩") + 1)
print(word.isalpha(), "বল".isalpha())

a = "\u09dc"            # ড় — একটি code point
b = "\u09a1\u09bc"      # ড + নুক্তা — দুটি code point
print(a == b, len(a), len(b))
print(unicodedata.normalize("NFC", a) == unicodedata.normalize("NFC", b))
print(sorted(["হাতি", a + "াক", "ঢাকা"]))

৮ · AI-এর যুগে — বাংলা লেখায় AI-এর কোড যাচাই

string-এর কাজে AI চ্যাটবট সাধারণত দ্রুত, কাজের কোড দেয়। সমস্যা হলো, AI-এর শেখার ডেটার বড় অংশ ইংরেজি কোড আর ইংরেজি উদাহরণ। তাই সে প্রায়ই চুপচাপ ধরে নেয় “একটি দেখা অক্ষর = একটি char” — যা ইংরেজিতে ঠিক, বাংলায় ভুল। নিচের ভুলগুলো বাস্তবে বারবার দেখা যায়:

string-এর কাজে AI-এর কোড পেলে — যাচাইয়ের চেকলিস্ট

• অন্তত একটি বাংলা উদাহরণ (কার-চিহ্ন ও যুক্তাক্ষরসহ, যেমন “ক্ষমা”) দিয়ে কোড চালিয়ে দেখেছি
• len(), slice বা [::-1] থাকলে নিশ্চিত হয়েছি — code point গোনাই এখানে ঠিক, নাকি দেখা অক্ষর দরকার
• বড়-ছোট হাত না মেনে তুলনায় casefold() ব্যবহার হয়েছে
• প্রতিটি string method-এর ফল কোনো নামে ধরা হয়েছে (s = s.strip()), শুধু s.strip() নয়
• বড় লুপে += নয়, "".join(); আর সাধারণ method দিয়ে হলে অপ্রয়োজনীয় regex নেই
• বাইরে থেকে আসা লেখা তুলনার আগে normalize, আর ফাইল/নেটওয়ার্কে encoding স্পষ্ট করে utf-8