অ্যাডাপটিভ ফিল্টার — LMS অ্যালগরিদমের ভিত্তি

১ · অ্যাডাপটিভ ফিল্টার ও LMS আপডেট নিয়ম

M৩০-M৩৯-এর FIR/IIR ফিল্টার সবসময় ডিজাইন-টাইমে হিসেব করা স্থির কোয়েফিসিয়েন্ট ব্যবহার করে। কিন্তু বাস্তব পরিস্থিতিতে (যেমন একটি টেলিফোন লাইনের অজানা ইকো, বা সময়ের সাথে বদলানো ইন্টারফেরেন্স) সঠিক কোয়েফিসিয়েন্ট আগে থেকে জানা সম্ভব না — সেখানে দরকার একটি অ্যাডাপটিভ ফিল্টারAdaptive Filterএকটি ফিল্টার যা তার নিজের ইনপুট/এরর সিগন্যাল পর্যবেক্ষণ করে স্যাম্পল-বাই-স্যাম্পল তার নিজস্ব কোয়েফিসিয়েন্ট আপডেট করে।, যা রান-টাইমে নিজেই তার কোয়েফিসিয়েন্ট "শিখে"।

সবচেয়ে জনপ্রিয় অ্যাডাপটিভ অ্যালগরিদম LMS (Least Mean Squares)। একটি $M$-ট্যাপ FIR ফিল্টারের জন্য, প্রতিটি স্যাম্পল $n$-এ:

এখানে $d[n]$ কাঙ্ক্ষিত (desired) মান, $y[n]$ ফিল্টারের বর্তমান পূর্বাভাস, $e[n]$ এরর, আর $\mu$ স্টেপ-সাইজ — কতটা "সাহসী" আপডেট নেওয়া হবে তা নিয়ন্ত্রণ করে। এই আপডেট নিয়মটি আসলে Numerical Methods কোর্সের গ্র্যাডিয়েন্ট ডিসেন্ট-এরই একটি বিশেষ রূপ — এরর-স্কয়ারকে (cost function) কমানোর জন্য ওজনগুলোকে গ্র্যাডিয়েন্টের বিপরীত দিকে ছোট ছোট ধাপে সরানো হয়, শুধু এখানে প্রতিটি নতুন স্যাম্পলে একবার করে "স্টোকাস্টিক" আপডেট হয়।

২ · একটি সত্যিকারের ডেমো — অ্যাডাপটিভ প্রেডিকশন ও এরর-কনভার্জেন্স

নিচের কোডে একটি $2$-ট্যাপ LMS প্রেডিক্টর একটি $4$ Hz সাইন সিগন্যালের ($f_s=32$ Hz, সাথে সামান্য random.gauss নয়েজ) পরবর্তী মান তার আগের দুটো স্যাম্পল থেকে অনুমান করতে শেখে। স্টেপ-সাইজ $\mu=0.05$ (ছোট ও স্থিতিশীল)। এরর প্রতি ৪০ ইটারেশনের ব্লকে গড় করে দেখানো হয়েছে, যাতে কনভার্জেন্সের প্রবণতা পরিষ্কার দেখা যায় (একক স্যাম্পলের এরর নিজেই ওঠানামা করে, কারণ সিগন্যাল পর্যায়বৃত্ত — কিন্তু ব্লক-গড় ধারাবাহিকভাবে কমে)।

import math, random

random.seed(3)

fs = 32.0
f0 = 4.0
N = 400
noise_std = 0.05

x = [math.sin(2 * math.pi * f0 * n / fs) + random.gauss(0, noise_std) for n in range(N)]

M = 2          # ট্যাপ সংখ্যা
mu = 0.05      # স্টেপ-সাইজ
w = [0.0] * M  # শুরুর ওজন (শূন্য থেকে শুরু)

errors = []
for n in range(M, N):
    y = sum(w[i] * x[n - 1 - i] for i in range(M))   # পূর্বাভাস
    e = x[n] - y                                      # এরর
    for i in range(M):
        w[i] = w[i] + mu * e * x[n - 1 - i]            # LMS আপডেট নিয়ম
    errors.append(abs(e))

theoretical_w0 = 2 * math.cos(2 * math.pi * f0 / fs)
print(f"তাত্ত্বিক সর্বোত্তম ওজন (বিশুদ্ধ সাইন প্রেডিক্টর): w0={theoretical_w0:.4f}, w1=-1.0000")
print(f"LMS-এর শেখা চূড়ান্ত ওজন: w0={w[0]:.4f}, w1={w[1]:.4f}")
print()

def avg(lst):
    return sum(lst) / len(lst)

block = 40
print(f"{'ইটারেশন':>14} | {'গড় |error|':>11}")
for start in range(0, len(errors), block):
    seg = errors[start:start + block]
    print(f"{start:>6}-{start+len(seg)-1:<6} | {avg(seg):>11.6f}")

৩ · অতিরিক্ত বড় $\mu$ — একটি সত্যিকারের ডাইভার্জেন্স ডেমো

ঠিক যেমন Numerical Methods কোর্সের গ্র্যাডিয়েন্ট ডিসেন্ট পাঠে খুব বড় লার্নিং-রেট অ্যালগরিদমকে সর্বনিম্ন বিন্দুর চারপাশে "লাফ দিয়ে" দূরে সরিয়ে দেয়, LMS-এও খুব বড় $\mu$ একই সমস্যা করে — প্রতিটি আপডেট এত বড় পদক্ষেপ নেয় যে ওজন সর্বোত্তম মানের কাছে স্থির না হয়ে ক্রমশ দূরে সরে যায়। নিচের কোডে ইচ্ছাকৃতভাবে $\mu=3.0$ (অনেক বড়, একই সিগন্যালের জন্য) ব্যবহার করে (ইটারেশন সংখ্যা মাত্র ৪০-এ সীমাবদ্ধ রেখে, সুরক্ষার জন্য) ওজনের ম্যাগনিটিউড কীভাবে বাড়ে তা দেখানো হয়েছে।

import math, random

random.seed(3)
fs = 32.0
f0 = 4.0
noise_std = 0.05
N_small = 40                                # সুরক্ষার জন্য ছোট রাখা হয়েছে
x = [math.sin(2 * math.pi * f0 * n / fs) + random.gauss(0, noise_std) for n in range(N_small)]

M = 2
mu_big = 3.0     # ইচ্ছাকৃতভাবে অনেক বড় স্টেপ-সাইজ
w2 = [0.0] * M

print(f"{'n':>3} | {'|w0|':>14} | {'|w1|':>14} | {'|error|':>14}")
for n in range(M, N_small):
    y = sum(w2[i] * x[n - 1 - i] for i in range(M))
    e = x[n] - y
    for i in range(M):
        w2[i] = w2[i] + mu_big * e * x[n - 1 - i]
    if n < 12 or n % 4 == 0:
        print(f"{n:>3} | {abs(w2[0]):>14.4e} | {abs(w2[1]):>14.4e} | {abs(e):>14.4e}")