پروژه تشخيص حروف صدا دار از روي تصاوير لب

تعداد صفحات : 132

فرمت: word

به همراه کد برنامه نویسی شده

چکیده
از دیرباز تشخیص و بازشناسی صحبت به عنوان اولین وسـیله ارتبـاطی بـین انسـانهـا از اهمیـت بسـیاریبرخوردار بوده است. تاکنون تکنیکهای بازشناسی صحبت با استفاده از پردازش صوت با تنوع بسیار و با موفقیت نسبی بکار گرفته شدهاند. اما وجود نویز در برخی شرایط، عامل اصلی بروز اشتباهات اساسـی در تشـخیص بـودهاست که در این گونه موارد استفاده از پردازش تصویر و به ویژه بررسی شکل لبها و حرکت آنها میتواند بـ رای ارتقاء نتایج مورد استفاده قرار گیرد. فرآیند لبخوانی و به عبارت دیگر تشخیص دیداری گفتار دو مرحلـه اصـلیقابل بررسی دارد. مرحله اول جداسازی ناحیه دهان و بطور کلی استخراج مشخصـه هـای دیـداری و مرحلـه دومدستهبندی و تشخیص کلمات میباشد. در این پروژه بـرای اسـتخراج مشخصـههـای دیـداری دو روش اسـتفادهنمودهایم. در روش اول از الگوریتم SFCM و در روش دوم از روش مبتنی بر تبدیل موجک بهره جسـته ایـم . در مرحله بعد توسط پارامترهای تعریف شده، یکسری ویژگی مربوط به تصاویر لب را استخراج مـی نمـاییم . در آخـرتوسط شبکه عصبی به دستهبندی ویژگیها و تشخیص واکهها میپردازیم.
کلمات کلیدی: لبخوانی، بخشبندی، استخراج ویژگی، دسته بندی، تبدیل موجک

فهرست مطالب

چکیده…………………………………………………………………۱
مقدمه…………………………………………………………………….۲
فصل اول ……………………………………………………..۳
مروری بر روشها ……………………………………………………………..۳
مقدمه……………………………………………………………….۴
-۱مروری بر تحقیقات انجام شده ……………………………………………………….۵
-۱-۱استخراج مشخصههای دیداری برای لبخوانی……………………………………۷
-۱-۱-۱روش پایین به بالا……………………………………………………………………۷
-۱-۱-۱-۱کانتور فعال………………………………………………………………..۸
-۲-۱-۱-۱لبخوانی با کمک اطلاعات شدت نور…………………………….۸
-۳-۱-۱-۱آنالیز فضای رنگ……………………………………………………………۹
-۲-۱-۱روش بالا به پایین…………………………………………………………………۱۰
-۱-۲-۱-۱روش مبتنی برالگوهای انعطاف پذیر………………………………………۱۱
-۲-۲-۱-۱مدل سازیهای شکل فعال…………………………………………………۱۱
-۳-۲-۱-۱آشکارسازی لب مبتنی بر مدل دگردیسپذیر…………………………..۱۱
-۴-۲-۱-۱تکنیکهای مبتنی بر زمینه تصادفی مارکوف ……………………………………….۱۳
-۵-۲-۱-۱روشهای مبتنی بر خوشه بندی فازی ………………………………..۱۴
-۲-۱دستهبندی و تشخیص کلمات…………………………………………۱۶
– تشخیص واکه با کمک شبکه های عصبی………………………………….۱۶
-۳-۱معرفی سیستم ارائه شده……………………………………….۱۸
فصل دوم………………………………………………………۲۰
مکانیابی و بازنمایی ناحیه لب…………………………………………۲۰
مقدمه……………………………………………………………۲۱
-۱مکانیابی لب……………………………….۲۲
-۱-۱تشخیص چهره………………………………………۲۴
-۲-۱مکانیابی لب………………………………………۲۴
-۲مسائل مرتبط با رنگ…………………………………………..۲۶
-۱-۲توصیف انواع مدلهای رنگ………………………………۲۷
Huncell – مدل ……………………………………………………………………….۲۷
– مدل ) RGBقرمز، سبز، آبی(………………………………۲۸
RGB – مدل نرمالیزه شده ……………………………………..۲۹
CMY – مدل …………………………………………….۳۰
XYZ – مدل …………………………………………………………..۳۰
xyz – مدل ……………………………………………………۳۱
-۱-۱-۲فضای رنگ ادراکی……………………………………………………۳۱
YUV – مدل …………………………………………………………۳۲
HSI – مدل ……………………………………………………………. ۳۲
-۲-۱-۲فضای رنگ یکنواخت ادراکی…………………………….۳۴
-۳مراحل پیشپردازش تصویر لب…………………………………………..۳۸
فصل سوم……………………………………………………………………۴۱
استخراج ناحیه مربوط به لب……………………………..۴۱
مقدمه……………………………………………………..۴۲
– ۱-۳خوشه بندی………………………………………………………۴۳
K-Means – الگوریتم۱-۱-۳ ………………………………………….۴۶
-۲-۱-۳الگوریتم -cمیانگین فازی…………………………………….۴۷
FCM -3-1-3مقایسه الگوریتم K-Meansو …………………………………………………..۴۸
-۴-۱-۳الگوریتم -cمیانگین فازی با ارتباط مکانی…………………………..۵۳
-۵-۱-۳پس پردازش……………………………………………….۵۸
-۱-۵-۱-۳شکل شناسی……………………………………….۵۸
-۲-۵-۱-۳قرینه سازی…………………………………..۶۰
-۳-۵-۱-۳روشنایی ………………………………………….۶۱
-۴-۵-۱-۳شکل دهی………………………………۶۱
-۲-۳تبدیل موجک…………………………………………۶۳
– الگوریتم مبتنی بر تبدیل موجک………………………………………………….۶۵
فصل چهارم………………………………………………………………..۶۹
استخراج ویژگیهای مناسب و طبقه بندی آنها…………………………………………………..۶۹
مقدمه………………………………………………………………۷۰
-۱-۴استخراج مشخصه های دیداری …………………………………….۷۱
-۱-۱-۴جداسازی ناحیه لب ……………………………………………۷۱
-۲-۱-۴مشخصه های دیداری مورد استفاده…………………………………..۷۲
-۱-۲-۱-۴پارامترهای معمول) پارامترهای طولی(……………………………………۷۳
-۲-۲-۱-۴پارامترهای جدید)پارامترهای زاویهای( ……………………………………….۷۴
-۲-۴دسته بندی و تشخیص کلمات……………………………………….۷۵
-۱-۲-۴پرسپترون………………………………………………..۷۵
-۲-۲-۴تصدیق تقاطعی……………………………………………۷۷
فصل پنجم………………………………………………………………..۸۲
نتایج و مشاهدات تجربی …………………………………………….۸۲
-۱-۵بانکهای داده…………………………………………………۸۳
-۲-۵تعیین خطای بخشبندی……………………………..۸۶
-۳-۵استفاده از پارامترهای طولی…………………………………………………..۸۷
-۴-۵وزندهی خروجی شبکه ها به منظور افزایش دقت………………………۸۹
فصل ششم………………………………………………………………۹۱
نتیجهگیری و پیشنهادات………………………………………۹۱
نتیجهگیری……………………………………………….۹۲
منابع و ماخذ
فهرست منابع فارسی
فهرست منابع لاتین
چکیده انگلیسی