পাঠ ২৪ · ৫৭-এর মধ্যে · মডিউল ৬
Home / Courses / Ethics in Computing & AI Safety / সেফটি-ক্রিটিক্যাল সিস্টেম

সেফটি-ক্রিটিক্যাল সিস্টেম ও বাগের প্রকৃত মূল্য

Safety-critical systems and the cost of bugs
৯ মিনিট পড়া মধ্যবর্তী · Intermediate Python কোডসহ সম্পূর্ণ বাংলায়

এই পাঠে যা শিখবেন

  • "সেফটি-ক্রিটিক্যাল সিস্টেম" এর সংজ্ঞা এবং সাধারণ সফটওয়্যার থেকে এটি ঠিক কীভাবে আলাদা
  • সেফটি-ক্রিটিক্যাল সিস্টেমের বাস্তব উদাহরণ -- মেডিকেল ডিভাইস, ফ্লাইট কন্ট্রোল, ইন্ডাস্ট্রিয়াল কন্ট্রোল
  • কেন সেফটি-ক্রিটিক্যাল সিস্টেমে বাড়তি ইঞ্জিনিয়ারিং কঠোরতা (রিডানডেন্সি, ফরমাল যাচাই, ধীর সার্টিফিকেশন) প্রয়োজন
  • Python দিয়ে একটি ইলাস্ট্রেটিভ হিসাব -- একটি বাগ ডিজাইন পর্যায়ে ধরা পড়া বনাম প্রোডাকশনে ধরা পড়ার আনুমানিক খরচ-পার্থক্য

১ · সেফটি-ক্রিটিক্যাল সিস্টেম কী

অধিকাংশ সফটওয়্যারে একটি বাগ মানে বিরক্তি, সময়ের অপচয়, বা আর্থিক ক্ষতি -- একটি ই-কমার্স সাইটের কার্টে বাগ থাকলে বিক্রি কমে যেতে পারে, কিন্তু সাধারণত তা সংশোধনযোগ্য। একটি সিস্টেমকে সেফটি-ক্রিটিক্যাল বলা হয় যখন তার ব্যর্থতা সরাসরি মৃত্যু, গুরুতর আঘাত, বা বড় ধরনের পরিবেশগত/অবকাঠামোগত ক্ষতির কারণ হতে পারে। এই সংজ্ঞার মূল কথা হলো -- ঝুঁকির মাত্রা এতটাই বেশি যে ব্যর্থতার পরে সংশোধন করাটা যথেষ্ট নয়; ব্যর্থতা ঘটার আগেই তা প্রতিরোধ করাটাই একমাত্র গ্রহণযোগ্য লক্ষ্য।

মেডিকেল ডিভাইস
রেডিয়েশন থেরাপি মেশিন, ইনফিউশন পাম্প, পেসমেকার -- সফটওয়্যার সরাসরি রোগীর শরীরে প্রয়োগ হওয়া মাত্রা/ডোজ নিয়ন্ত্রণ করে (L25-এ বিস্তারিত)।
ফ্লাইট কন্ট্রোল
বিমানের অটোপাইলট বা স্থিতিশীলতা-নিয়ন্ত্রণ সফটওয়্যার সরাসরি বিমানের ভৌত নিয়ন্ত্রণ পরিবর্তন করতে পারে (L26-এ বিস্তারিত)।
ইন্ডাস্ট্রিয়াল কন্ট্রোল
পাওয়ার প্ল্যান্ট, কারখানার রোবোটিক আর্ম, বা রাসায়নিক প্রক্রিয়া নিয়ন্ত্রণকারী সফটওয়্যার -- একটি ভুল কমান্ড শারীরিক দুর্ঘটনা ঘটাতে পারে।
অটোমোটিভ সেফটি সিস্টেম
ব্রেকিং, স্টিয়ারিং, বা ড্রাইভার-অ্যাসিস্ট সফটওয়্যার -- সিদ্ধান্ত মিলিসেকেন্ডে নেওয়া হয়, ভুল হলে সংশোধনের সময় থাকে না।

২ · সাধারণ সফটওয়্যার বনাম সেফটি-ক্রিটিক্যাল সফটওয়্যার

পার্থক্যটা শুধু "কতটা গুরুত্বপূর্ণ" তা নয় -- বরং ব্যর্থতার পরিণতি ফিরিয়ে নেওয়া যায় কি না তার উপর নির্ভর করে। একটি সাধারণ অ্যাপ ক্র্যাশ করলে রিস্টার্ট করা যায়; একটি রেডিয়েশন মেশিন ভুল ডোজ দিলে সেই ক্ষতি কোনো প্যাচ দিয়ে ফেরানো যায় না।

একটি বাগ প্রোডাকশনে ধরা পড়লো সাধারণ সফটওয়্যার প্যাচ রিলিজ করুন, ক্ষতি সীমিত সেফটি-ক্রিটিক্যাল সফটওয়্যার ক্ষতি ইতিমধ্যে ঘটে গেছে, অপরিবর্তনীয় তাই: প্রতিরোধই একমাত্র লক্ষ্য হতে হবে
সাধারণ সফটওয়্যারে ব্যর্থতার পরেও সংশোধনের সুযোগ থাকে; সেফটি-ক্রিটিক্যাল সিস্টেমে সেই সুযোগ থাকে না -- তাই বাড়তি রিডানডেন্সি, ফরমাল যাচাই ও ধীরগতির সার্টিফিকেশন প্রক্রিয়া প্রয়োজন হয়।
সিস্টেম-ডিজাইন কোর্সের সাথে সম্পর্ক

System Design কোর্সে রিলায়াবিলিটি, রিডানডেন্সি ও ফল্ট-টলারেন্সের সাধারণ প্রকৌশল-ধারণাগুলো কভার করা হয়েছে বলে ধরে নেওয়া হচ্ছে; এই পাঠ সেগুলোকে পুনরায় শেখাবে না, বরং সেফটি-ক্রিটিক্যাল প্রেক্ষাপটে সেগুলোর নৈতিক ওজন কতটা বেশি তা তুলে ধরবে।

৩ · বাগের প্রকৃত মূল্য -- একটি ইলাস্ট্রেটিভ মডেল

সফটওয়্যার ইঞ্জিনিয়ারিং সাহিত্যে একটি ধারণা প্রায়ই উদ্ধৃত হয় -- একটি বাগ যত পরবর্তী পর্যায়ে ধরা পড়ে, তা ঠিক করার খরচ তত বেশি বেড়ে যায় (ডিজাইন → কোডিং → টেস্টিং → প্রোডাকশন)। এই গুণকগুলো উৎসভেদে ভিন্ন হয়ে থাকে এবং কোনো একক সার্বজনীন পরিসংখ্যান নয় -- নিচের কোড সেলে ব্যবহৃত সংখ্যাগুলো একটি প্রায়ই-উদ্ধৃত ইলাস্ট্রেটিভ মডেল, নির্দিষ্ট কোনো নির্ভুল সার্বজনীন সত্য হিসেবে নয়। তবুও দিকনির্দেশনাটি স্পষ্ট এবং ব্যাপকভাবে গ্রহণযোগ্য: আগে ধরা পড়লে সস্তা, পরে ধরা পড়লে ব্যয়বহুল -- এবং সেফটি-ক্রিটিক্যাল সিস্টেমে "পরে ধরা পড়া" মানে কখনো কখনো আর্থিক খরচের চেয়েও অনেক বেশি কিছু হতে পারে।

Python
# ইলাস্ট্রেটিভ মডেল -- সফটওয়্যার ইঞ্জিনিয়ারিং সাহিত্যে প্রায়ই উদ্ধৃত একটি ধারণা
# (কোনো নির্দিষ্ট সার্বজনীন পরিসংখ্যান নয় -- উৎসভেদে গুণকের সংখ্যা ভিন্ন হতে পারে)

base_fix_cost = 2_000  # ডিজাইন পর্যায়ে একটি বাগ ঠিক করার আনুমানিক খরচ (ইলাস্ট্রেটিভ একক)

# পর্যায়ভিত্তিক, প্রায়ই-উদ্ধৃত ইলাস্ট্রেটিভ গুণক
stage_multiplier = {
    "ডিজাইন পর্যায়ে ধরা পড়লে":   1,
    "কোডিং পর্যায়ে ধরা পড়লে":    5,
    "টেস্টিং পর্যায়ে ধরা পড়লে":   15,
    "প্রোডাকশনে ধরা পড়লে":       100,
}

def stage_cost(base, multiplier):
    return base * multiplier

print("পর্যায়                      | আনুমানিক খরচ (ইলাস্ট্রেটিভ একক) | গুণক")
for stage, mult in stage_multiplier.items():
    cost = stage_cost(base_fix_cost, mult)
    print(f"{stage:<26} | {cost:>10,}                  | {mult}x")

design_cost = stage_cost(base_fix_cost, stage_multiplier["ডিজাইন পর্যায়ে ধরা পড়লে"])
production_cost = stage_cost(base_fix_cost, stage_multiplier["প্রোডাকশনে ধরা পড়লে"])

print(f"\nডিজাইনে ধরা পড়লে: {design_cost:,} (ইলাস্ট্রেটিভ একক)")
print(f"প্রোডাকশনে ধরা পড়লে: {production_cost:,} (ইলাস্ট্রেটিভ একক)")
print(f"পার্থক্য: প্রোডাকশনে ধরা পড়া বাগ ডিজাইনে ধরা পড়া একই বাগের চেয়ে {production_cost/design_cost:.0f}x বেশি ব্যয়বহুল (এই ইলাস্ট্রেটিভ মডেল অনুযায়ী)

    
লক্ষ্য করুন -- এই মডেলটি আর্থিক খরচ নিয়ে কথা বলে, যা সাধারণ সফটওয়্যারের জন্য প্রাসঙ্গিক। কিন্তু সেফটি-ক্রিটিক্যাল সিস্টেমে "প্রোডাকশনে ধরা পড়া" মানে কেবল বেশি টাকা খরচ নয় -- এর মানে হতে পারে ইতিমধ্যে ঘটে যাওয়া রোগীর ক্ষতি (L25) বা যাত্রীদের প্রাণহানি (L26), যা কোনো অর্থমূল্য দিয়ে পরিমাপযোগ্য নয়। আর্থিক মডেলটি এখানে শুধু "আগে ধরা পড়ার গুরুত্ব" বোঝানোর একটি সহজবোধ্য উপমা হিসেবে ব্যবহৃত হচ্ছে।
মূল কথা · Key takeaway

একটি সিস্টেম সেফটি-ক্রিটিক্যাল কি না তা নির্ধারণ করে ব্যর্থতার পরিণতি কতটা গুরুতর ও অপরিবর্তনীয়। সাধারণ সফটওয়্যারে বাগ পরে ধরা পড়লে খরচ বাড়ে; সেফটি-ক্রিটিক্যাল সিস্টেমে বাগ পরে ধরা পড়লে মানুষের জীবন ঝুঁকিতে পড়তে পারে। পরের দুটি পাঠে আমরা দেখব বাস্তবে এমনটা ঘটলে কী হয়।

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিজে কিছুক্ষণ ভাবুন -- তারপর "→ উত্তর" চাপুন।

প্র ০১ একটি সিস্টেমকে "সেফটি-ক্রিটিক্যাল" ঠিক কী কারণে ধরা হয় -- শুধু "গুরুত্বপূর্ণ" হলেই কি যথেষ্ট?

না। একটি পেরোল সিস্টেম বা একটি বড় ই-কমার্স প্ল্যাটফর্মও ব্যবসার জন্য অত্যন্ত "গুরুত্বপূর্ণ" হতে পারে, কিন্তু সেগুলো সাধারণত সেফটি-ক্রিটিক্যাল নয় কারণ তাদের ব্যর্থতা আর্থিক ক্ষতি করে, সরাসরি মৃত্যু বা শারীরিক ক্ষতি করে না। "সেফটি-ক্রিটিক্যাল" নির্ধারিত হয় পরিণতির ধরন দিয়ে (মৃত্যু/আঘাত/বড় ক্ষতি) এবং তার অপরিবর্তনীয়তা দিয়ে, শুধু গুরুত্ব দিয়ে নয়।

প্র ০২ কোড সেলের ইলাস্ট্রেটিভ মডেলে কেন স্পষ্টভাবে বলা হয়েছে এটি "সার্বজনীন পরিসংখ্যান নয়"?

কারণ প্রকৃত গুণকগুলো প্রজেক্টের ধরন, দল, এবং প্রতিষ্ঠানভেদে ব্যাপকভাবে ভিন্ন হতে পারে -- বিভিন্ন গবেষণা ও শিল্প-উৎস ভিন্ন ভিন্ন সংখ্যা উদ্ধৃত করে। একটি নির্দিষ্ট সংখ্যাকে অপরিবর্তনীয় সত্য হিসেবে দাবি করা বিভ্রান্তিকর হবে -- এখানে গুরুত্বপূর্ণ হলো দিকনির্দেশনা (আগে ধরা পড়লে সস্তা), নির্দিষ্ট সংখ্যাটি নয়।

প্র ০৩ সেফটি-ক্রিটিক্যাল সিস্টেমে "প্রতিরোধই একমাত্র লক্ষ্য" -- এর মানে কি টেস্টিং সম্পূর্ণ ছেড়ে দেওয়া উচিত, শুধু ডিজাইনে মনোযোগ দেওয়া উচিত?

না -- বরং উল্টো। প্রতিরোধ-কেন্দ্রিক দৃষ্টিভঙ্গির মানে হলো ডিজাইন, কোডিং, টেস্টিং -- প্রতিটি পর্যায়ে বাড়তি কঠোরতা প্রয়োগ করা (রিডানডেন্সি, ফরমাল যাচাই, দীর্ঘ সার্টিফিকেশন প্রক্রিয়া), যাতে যতটা সম্ভব বেশি বাগ প্রোডাকশনে পৌঁছানোর আগেই ধরা পড়ে। L28-এ আমরা দেখব টেস্টিং নিজেই কখনো "সম্পূর্ণ নিশ্চয়তা" দিতে পারে না, তাই একাধিক স্তরের নিরাপত্তা-ব্যবস্থা প্রয়োজন হয়।

অনুশীলন

  1. চিন্তা করুন: আপনার পরিচিত এমন তিনটি সফটওয়্যার সিস্টেমের তালিকা করুন -- একটি সাধারণ (যেমন একটি নোট-নেওয়ার অ্যাপ), একটি "ব্যবসায়িকভাবে গুরুত্বপূর্ণ কিন্তু সেফটি-ক্রিটিক্যাল নয়" (যেমন একটি পেমেন্ট গেটওয়ে), এবং একটি সেফটি-ক্রিটিক্যাল (উপরের চিপ-গ্রিড থেকে)। প্রতিটির ব্যর্থতার পরিণতি কল্পনা করুন।

    নোট-অ্যাপ ব্যর্থ হলে বিরক্তি ও সাময়িক ডেটা-ক্ষতি; পেমেন্ট গেটওয়ে ব্যর্থ হলে আর্থিক ক্ষতি ও গ্রাহকের আস্থা নষ্ট (তবে সাধারণত ফেরানো/ক্ষতিপূরণযোগ্য); সেফটি-ক্রিটিক্যাল সিস্টেম ব্যর্থ হলে (যেমন একটি ইনফিউশন পাম্প) সরাসরি, অপরিবর্তনীয় শারীরিক ক্ষতি। তিনটির ইঞ্জিনিয়ারিং কঠোরতার প্রয়োজনীয় মাত্রা তাই সম্পূর্ণ ভিন্ন হওয়া উচিত।

  2. পরীক্ষা করুন: উপরের কোড সেলে stage_multiplier-এর "প্রোডাকশনে ধরা পড়লে" গুণকটি 100 থেকে 50-তে বদলে Run চেপে দেখুন চূড়ান্ত পার্থক্য কীভাবে বদলায়।

    গুণক ১০০ থেকে ৫০ করলে production_cost হবে 2,000 × 50 = 100,000 (আগে ছিল ২,০০,০০০), আর পার্থক্য অনুপাত ১০০x থেকে কমে ৫০x হবে। এটি স্পষ্ট করে যে চূড়ান্ত সিদ্ধান্ত (আগে ধরা পড়া অনেক সস্তা) গুণকের নির্দিষ্ট মান পরিবর্তনের পরেও অপরিবর্তিত থাকে -- শুধু পার্থক্যের মাত্রা বদলায়, যা এই মডেলটিকে ইলাস্ট্রেটিভ (নির্দিষ্ট সংখ্যা নয়, প্রবণতা প্রদর্শনকারী) বলার আরেকটি কারণ।

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

  • কেস স্টাডি: Therac-25 পরের পাঠ একটি বাস্তব রেডিয়েশন-থেরাপি মেশিনে সফটওয়্যার রেস কন্ডিশনের কারণে রোগীর ক্ষতি -- এই পাঠের ধারণাগুলোর প্রথম বাস্তব প্রয়োগ।
  • কেস স্টাডি: Boeing 737 MAX MCAS M6 সেন্সর রিডানডেন্সির অভাব ও প্রশিক্ষণ-ঘাটতির কারণে দুটি বিমান দুর্ঘটনা -- "প্রবলেম অফ মেনি হ্যান্ডস"-এর একটি প্রামাণ্য উদাহরণ।
  • System Design কোর্স সহোদর কোর্স রিলায়াবিলিটি, রিডানডেন্সি ও ফল্ট-টলারেন্সের সাধারণ প্রকৌশল-ভিত্তি -- এই মডিউল সেই ভিত্তির উপর সেফটি-ক্রিটিক্যাল প্রেক্ষাপট যোগ করে।
  • কোর্সের সম্পূর্ণ সিলেবাস দেখুন ৫৭টি পাঠ ক্লাসিক্যাল এথিক্যাল ফ্রেমওয়ার্ক, প্রাইভেসি, অ্যালগরিদমিক বায়াস, প্রফেশনাল এথিক্স, সফটওয়্যার সেফটি, সাইবারসিকিউরিটি এথিক্স, AI অ্যালাইনমেন্ট ও রেগুলেশন।
আগের পাঠ
ইঞ্জিনিয়ারদের জন্য এথিক্যাল ডিসিশন-মেকিং ফ্রেমওয়ার্ক