در پلتفرم .NET، توسعه‌دهندگان به مجموعه گوناگونی از ابزارها دسترسی دارند؛ از کتابخانه‌های کم‌سطح (Low-level) برای دستکاری سیگنال‌های صوتی خام (مانند NAudio) گرفته تا مدل‌های هوش مصنوعی لبه (Edge AI) نظیر Whisper.net و APIهای ابری مقیاس‌پذیر مانند Azure Speech SDK.

در این مقاله تخصصی، معماری جامع پردازش گفتار در #C، ساختار سیگنال‌های صوتی دیجیتال، نحوه ضبط و فیلتر کردن صدا، و در نهایت پیاده‌سازی عملگرهای STT به سه روش آفلاین، مبتنی بر مدل‌های مدرن یادگیری عمیق و ابری را بررسی می‌کنیم.

مبانی نظری سیگنال‌های صوتی دیجیتال (Digital Audio Fundamentals)

پیش از نوشتن کد، درک نحوه نمایش صوت در حافظه رایانه ضروری است. صوت یک موج مکانیکی پیوسته است که برای پردازش دیجیتال باید نمونه‌برداری (Sampling) و کوانتیده (Quantization) شود.

پارامترهای کلیدی سیگنال صوتی:

1. نرخ نمونه‌برداری (Sample Rate): تعداد نمونه‌های گرفته‌شده از سیگنال در هر ثانیه (بر حسب هرتز). برای گفتار انسان، نرخ 16000 Hz (۱۶ کیلوهرتز) یا 8000 Hz استاندارد است.

2. عمق بیت (Bit Depth): دقت هر نمونه. فرضا 16-bit PCM یعنی هر نمونه بین −32,768 تا +32,767 مقداردهی می‌شود.

3. تعداد کانال‌ها (Channels): تک‌کاناله (Mono) یا دوکاناله (Stereo). اکثر مدل‌های تشخیص گفتار ورودی Mono نیاز دارند.

دریافت و ضبط سیگنال صوتی در #C با استفاده از NAudio

کتابخانه NAudio برترین ابزار open-source برای مدیریت ورودی/خروجی‌های صوتی در .NET است. برای تبدیل گفتار Real-time، ابتدا باید داده‌های صوتی را از میکروفون دریافت کرده و درون یک Buffer یا Stream ذخیره کنیم.

نصب پکیج NuGet:

dotnet add package NAudio

کد نمونه: ضبط صدا از میکروفون با فرمت ۱۶ کیلوهرتز تک‌کانال

using System;
using System.IO;
using NAudio.Wave;

namespace AudioProcessingApp
{
    public class AudioRecorder : IDisposable
    {
        private WaveInEvent? _waveIn;
        private WaveFileWriter? _writer;
        private readonly string _outputFilePath;

        public AudioRecorder(string outputFilePath)
        {
            _outputFilePath = outputFilePath;
        }

        public void StartRecording()
        {
            // تنظیم فرمت: 16kHz, 16-bit, Mono
            var waveFormat = new WaveFormat(rate: 16000, bits: 16, channels: 1);

            _waveIn = new WaveInEvent
            {
                WaveFormat = waveFormat,
                BufferMilliseconds = 100 // دریافت داده در بلاک‌های 100 میلی‌ثانیه‌ای
            };

            _writer = new WaveFileWriter(_outputFilePath, waveFormat);

            // مدیریت رویداد دریافت بایت‌های جدید
            _waveIn.DataAvailable += OnDataAvailable;
            _waveIn.RecordingStopped += OnRecordingStopped;

            _waveIn.StartRecording();
            Console.WriteLine("ضبط صدا آغاز شد...");
        }

        private void OnDataAvailable(object? sender, WaveInEventArgs e)
        {
            if (_writer != null)
            {
                // نوشتن بایت‌ها در فایل یا Stream صوتی
                _writer.Write(e.Buffer, 0, e.BytesRecorded);
                _writer.Flush();
            }
        }

        public void StopRecording()
        {
            _waveIn?.StopRecording();
        }

        private void OnRecordingStopped(object? sender, StoppedEventArgs e)
        {
            _writer?.Dispose();
            _writer = null;
            _waveIn?.Dispose();
            _waveIn = null;
            Console.WriteLine("ضبط صدا متوقف و ذخیره شد.");
        }

        public void Dispose()
        {
            StopRecording();
        }
    }
}

پیاده‌سازی تبدیل گفتار به متن (Speech-to-Text)

برای تبدیل گفتار به متن در #C، بر اساس نیاز پروژه (آفلاین بودن، دقت، پشتیبانی از زبان فارسی و هزینه‌های زیرساختی) می‌توان از سه رویکرد اصلی استفاده کرد:

روش اول: پیاده‌سازی پردازش آفلاین محلی با Whisper.net (پیشنهادی برای لبه / Edge)

مدل Whisper توسعه‌یافته توسط OpenAI یکی از دقیق‌ترین مدل‌های متن باز برای تشخیص گفتار چندزبانه (از جمله فارسی و انگلیسی) است. با استفاده از پکیج Whisper.net، می‌توان این مدل را بدون نیاز به اینترنت و مستقیم در #C اجرا کرد.

نصب پکیج‌های لازم:

dotnet add package Whisper.net
dotnet add package Whisper.net.Runtime

کد پیاده‌سازی پردازش فایل صوتی با Whisper:

using System;
using System.IO;
using System.Threading.Tasks;
using Whisper.net;
using Whisper.net.Ggml;

namespace SpeechToTextApp
{
    public class LocalWhisperService
    {
        private readonly string _modelPath = "ggml-base.bin";

        public async Task InitializeModelAsync()
        {
            // دانلود خودکار مدل GGML در صورت عدم وجود (مثلاً مدل Base یا Small)
            if (!File.Exists(_modelPath))
            {
                Console.WriteLine("در حال دانلود مدل Whisper...");
                using var modelStream = await WhisperGgmlDownloader.GetGgmlModelAsync(GgmlType.Base);
                using var fileStream = File.OpenWrite(_modelPath);
                await modelStream.CopyToAsync(fileStream);
            }
        }

        public async Task TranscribeAudioAsync(string audioFilePath)
        {
            using var whisperFactory = WhisperFactory.FromPath(_modelPath);
            
            // ساخت Processor با تنظیم زبان بر روی فارسی یا تشخیص خودکار
            using var processor = whisperFactory.CreateBuilder()
                .WithLanguage("fa") // تنظیم برای زبان فارسی ("auto" برای تشخیص خودکار)
                .Build();

            using var fileStream = File.OpenRead(audioFilePath);

            Console.WriteLine("در حال پردازش گفتار...");
            
            await foreach (var result in processor.ProcessAsync(fileStream))
            {
                Console.WriteLine($"[{result.Start} -> {result.End}]: {result.Text}");
            }
        }
    }
}

نکته معماری: مدل‌های Whisper بر روی فایل‌های PCM با Sample Rate ۱۶ کیلوهرتز بهترین عملکرد را دارند. اگر فایل صوتی ورودی فرمت متفاوتی دارد، باید ابتدا آن را با استفاده از NAudio به ۱۶ کیلوهرتز Resample کنید.

روش دوم: استفاده از سرویس‌های ابری مقیاس‌پذیر (Azure Speech SDK)

برای پروژه‌های سازمانی بزرگ که نیاز به پردازش همزمان (Real-time Streaming) با تاخیر بسیار کم (Low Latency) دارند، Azure Cognitive Services Speech SDK بهترین گزینه است.

نصب پکیج:

dotnet add package Microsoft.CognitiveServices.Speech

کد پیاده‌سازی Stream زنده از میکروفون:

using System;
using System.Threading.Tasks;
using Microsoft.CognitiveServices.Speech;
using Microsoft.CognitiveServices.Speech.Audio;

namespace CloudSpeechApp
{
    public class AzureSpeechService
    {
        private readonly string _subscriptionKey = "YOUR_AZURE_SUBSCRIPTION_KEY";
        private readonly string _region = "eastus";

        public async Task RecognizeContinuousSpeechAsync()
        {
            var speechConfig = SpeechConfig.FromSubscription(_subscriptionKey, _region);
            speechConfig.SpeechRecognitionLanguage = "fa-IR"; // تنظیم زبان فارسی ایران

            using var audioConfig = AudioConfig.FromDefaultMicrophoneInput();
            using var recognizer = new SpeechRecognizer(speechConfig, audioConfig);

            // رویداد دریافت متن اولیه در حال پردازش (Interim Results)
            recognizer.Recognizing += (s, e) =>
            {
                Console.WriteLine($"در حال تشخیص: {e.Result.Text}");
            };

            // رویداد تایید قطعی جلمه تشخیص داده شده (Final Result)
            recognizer.Recognized += (s, e) =>
            {
                if (e.Result.Reason == ResultReason.RecognizedSpeech)
                {
                    Console.WriteLine($"متن قطعی: {e.Result.Text}");
                }
            };

            // رویداد مدیریت خطاها
            recognizer.Canceled += (s, e) =>
            {
                Console.WriteLine($"خطا یا لغو پردازش: {e.ErrorDetails}");
            };

            Console.WriteLine("در حال گوش دادن به میکروفون... برای خروج Enter را بزنید.");
            await recognizer.StartContinuousRecognitionAsync();

            Console.ReadLine();

            await recognizer.StopContinuousRecognitionAsync();
        }
    }
}

چالش‌های پیشرفته و راهکارهای مهندسی در #C

در محیط‌های واقعی و عملیاتی، تبدیل گفتار به متن با چالش‌های متعدد فنی مواجه می‌شود. در ادامه راهکارهای حل سه چالش اصلی بررسی شده است:

معماری استخراج ویژگی و پردازش لایه‌ای سیگنال صوتی. Source: کافه تدریس

۱. تشخیص فعالیت گفتاری (Voice Activity Detection - VAD)

ارسال مداوم بایت‌های سکوت یا نویز محیطی به مدل‌های پردازشی باعث تلف شدن منابع CPU و افزایش هزینه APIهای ابری می‌شود. الگوریتم VAD وظیفه دارد بخش‌های دارای گفتار را از سکوت تفکیک کند.

public static class AudioFilter
{
    /// <summary>
    /// محاسبه جذر میانگین مربعات (RMS) برای سنجش انرژی و ولوم سیگنال
    /// </summary>
    public static double CalculateRMS(byte[] buffer, int bytesRecorded)
    {
        long sum = 0;
        int sampleCount = bytesRecorded / 2; // هر نمونه 16-bit برابر 2 بایت است

        for (int i = 0; i < bytesRecorded; i += 2)
        {
            short sample = (short)(buffer[i] | (buffer[i + 1] << 8));
            sum += sample * sample;
        }

        double rms = Math.Sqrt((double)sum / sampleCount);
        return rms;
    }

    public static bool IsSpeechDetected(byte[] buffer, int bytesRecorded, double threshold = 500.0)
    {
        double rms = CalculateRMS(buffer, bytesRecorded);
        return rms > threshold; // اگر انرژی سیگنال بالاتر از حد آستانه باشد
    }
}

۲. تغییر نرخ نمونه‌برداری (Resampling) در #C

اگر منبع صوتی دارای نرخ 44.1 kHz باشد اما مدل STT نیاز به 16 kHz داشته باشد، باید عملیات Resampling با کیفیت بالا انجام شود:

using NAudio.Wave;
using NAudio.Wave.SampleProviders;

public static byte[] ResampleAudio(byte[] inputPcmBytes, int sourceSampleRate, int targetSampleRate)
{
    using var inputStream = new MemoryStream(inputPcmBytes);
    using var rawStream = new RawSourceWaveStream(inputStream, new WaveFormat(sourceSampleRate, 16, 1));
    
    var sampleProvider = rawStream.ToSampleProvider();
    var resampler = new WdlResamplingSampleProvider(sampleProvider, targetSampleRate);
    
    var waveProvider = resampler.ToWaveProvider16();
    using var outputStream = new MemoryStream();
    
    byte[] buffer = new byte[4096];
    int read;
    while ((read = waveProvider.Read(buffer, 0, buffer.Length)) > 0)
    {
        outputStream.Write(buffer, 0, read);
    }

    return outputStream.ToArray();
}

مقایسه رویکردهای مختلف STT در اکوسیستم .NET

جمع‌بندی

توسعه سیستم‌های پردازش صوت و Speech-to-Text در #C با وجود کتابخانه‌های قدرتمند پلتفرم .NET و پیوند آن با مدل‌های مدرن هوش مصنوعی، هم‌اکنون به بالاترین سطح بلوغ خود رسیده است.

• برای کاربردهای محلی، امنیت بالا و حفظ حریم خصوصی، ترکیب NAudio و Whisper.net مطمئن‌ترین و دقیق‌ترین راهکار است.

• برای پروژه‌های Real-Time مقیاس‌پذیر و پردازش خطوط تلفنی، Azure Speech SDK به دلیل تاخیر بسیار اندک و پشتیبانی عالی از زبان فارسی ترجیح داده می‌شود.

با رعایت استانداردهای نمونه‌برداری (16 kHz Mono PCM) و اعمال فیلترهای VAD، می‌توانید سیستم‌های صوتی بسیار کارآمد و پایدار در #C پیاده‌سازی کنید.