নিউমেরিক্যাল ডিফারেনশিয়েশন — ফাইনাইট ডিফারেন্স

১ · কেন নিউমেরিক্যালি ডেরিভেটিভ বের করতে হয়

ডেরিভেটিভএকটি ফাংশনের কোনো বিন্দুতে পরিবর্তনের হার (রেট অফ চেঞ্জ) — গ্রাফের সেই বিন্দুর স্পর্শক রেখার ঢাল। ../math-for-ai/-এ এর গাণিতিক সংজ্ঞা বিস্তারিত আছে। কী তা Math for AI & ML কোর্সে বিস্তারিত পড়ানো হয়েছে — সংক্ষেপে, f'(x) মানে f বিন্দু x-এ কতটা দ্রুত পরিবর্তিত হচ্ছে। স্কুলে আমরা ডেরিভেটিভের সূত্র (পাওয়ার রুল, চেইন রুল ইত্যাদি) দিয়ে এনালিটিক্যালি ডেরিভেটিভ বের করি। কিন্তু বাস্তবে প্রায়ই এটি সম্ভব হয় না:

২ · তিনটি ফাইনাইট-ডিফারেন্স ফর্মুলা

ডেরিভেটিভের সংজ্ঞা হলো একটি লিমিট: f'(x) = lim(h→0) [f(x+h) - f(x)] / h। ফাইনাইট ডিফারেন্সের মূল ধারণা — h-কে শূন্যের দিকে না নিয়ে একটি ছোট (কিন্তু নন-জিরো) মান রেখে দেওয়া, এবং লিমিটের বদলে সরাসরি এই ভগ্নাংশটুকু হিসাব করা।

ফরওয়ার্ড ডিফারেন্স — সামনের দিকে একধাপ এগিয়ে দেখে:

ব্যাকওয়ার্ড ডিফারেন্স — পেছনের দিকে একধাপ দেখে:

সেন্ট্রাল ডিফারেন্স — দুই পাশ থেকে সমান দূরত্বে দেখে:

টেইলর সিরিজ ব্যবহার করে f(x₀+h)-কে f(x₀)-এর চারপাশে বিস্তৃত করলে দেখা যায় ফরওয়ার্ড ও ব্যাকওয়ার্ড ডিফারেন্সের ট্রাংকেশন এরর O(h) — অর্থাৎ h অর্ধেক করলে এরর মোটামুটি অর্ধেক হয়। কিন্তু সেন্ট্রাল ডিফারেন্সে টেইলর সম্প্রসারণের প্রথম-অর্ডার (h) পদটি ক্যান্সেল হয়ে যায় বিয়োগের সময়, ফলে এরর O(h²) — h অর্ধেক করলে এরর প্রায় এক-চতুর্থাংশ হয়ে যায়। এটাই সেন্ট্রাল ডিফারেন্সের সবচেয়ে বড় সুবিধা, এবং নিচের কোড সেলে আমরা এটি বাস্তবে গণনা করে দেখব।

৩ · সত্যিকারের ডেমো — sin(x)-এর ডেরিভেটিভ আনুমানিক করা

f(x) = sin(x)-এর প্রকৃত ডেরিভেটিভ জানা আছে — f'(x) = cos(x)। তাই আমরা x₀ = 0.8 বিন্দুতে তিনটি মেথড দিয়ে ডেরিভেটিভ আনুমানিক করে, প্রকৃত মান cos(0.8)-এর সাথে তুলনা করে সত্যিকারের এরর দেখতে পারি — এবং h ছোট করার সাথে সাথে সেই এরর কীভাবে বদলায় তা পর্যবেক্ষণ করতে পারি।

import math

def f(x):
    return math.sin(x)

def fprime_true(x):
    return math.cos(x)

x0 = 0.8
true_val = fprime_true(x0)
print(f"true f'({x0}) = cos({x0}) = {true_val:.10f}")
print()
print(f"{'h':>10} | {'forward':>12} {'err_f':>12} | {'backward':>12} {'err_b':>12} | {'central':>12} {'err_c':>12}")

hs = [0.1, 0.01, 0.001, 0.0001]
for h in hs:
    fwd = (f(x0+h) - f(x0)) / h
    bwd = (f(x0) - f(x0-h)) / h
    cen = (f(x0+h) - f(x0-h)) / (2*h)
    err_f = abs(fwd - true_val)
    err_b = abs(bwd - true_val)
    err_c = abs(cen - true_val)
    print(f"{h:>10} | {fwd:>12.8f} {err_f:>12.2e} | {bwd:>12.8f} {err_b:>12.2e} | {cen:>12.8f} {err_c:>12.2e}")

৪ · h কতটা ছোট করা উচিত?

উপরের টেবিলে h = 0.0001-এ সেন্ট্রাল ডিফারেন্সের এরর ১.১৬ × ১০⁻⁹ — এখনও কমছে। কিন্তু এই প্রবণতা অসীম পর্যন্ত চলে না। ফ্লোটিং-পয়েন্ট সংখ্যার সীমিত নির্ভুলতার কারণে (M1/L02-এ বিস্তারিত), যখন h অতিরিক্ত ছোট হয়ে যায়, তখন f(x₀+h) ও f(x₀-h)-এর মধ্যে বিয়োগে ক্যাটাস্ট্রফিক ক্যান্সেলেশন (দুটি প্রায়-সমান সংখ্যার বিয়োগে নির্ভুলতা হারানো) শুরু হয় — ট্রাংকেশন এরর কমতে থাকলেও রাউন্ড-অফ এরর বাড়তে থাকে, এবং একটি নির্দিষ্ট বিন্দুর পর মোট এরর আবার বাড়তে শুরু করে। এটি নিউমেরিক্যাল মেথডের একটি সাধারণ থিম — "যত ছোট তত ভালো" সবসময় সত্যি নয়, বরং একটি সুইট স্পট খুঁজতে হয় (M3/L14-এ কন্ডিশন নাম্বার এই একই ধরনের ট্রেড-অফের আরেকটি রূপ)।