کاربرد یادگیری ماشین در CG – مجموعه رم

1- مقدمه

یادگیری ماشین (ML) تقریباً بر روی تمام صنایع با سرعت بالایی تاثیرگذار است. این مقاله نمونه ای از کاربرد ML بر صنعت گرافیک کامپیوتری می باشد.

“هوش مصنوعی الکتریسیته جدید است” ادعای اندرو انجی[1]، استادیار دانشگاه استنفورد، که موسس کورسرا[2] و پروژه یادگیری عمیق مغز گوگل[3] می باشد. پروفسور انجی، مدعی است که همانند الکتریسیته که صدها سال گذشته تمامی صنایع را متحول کرده است، یادگیری ماشین نیز این توانایی را دارد که میان صنایع انتقال یابد، از جمله گرافیک کامپیوتری.

این مقاله شرایط فعلی این موج را در صنعت گرافیک رایانه ای، همزمان با تکنیک ها و فن آوری های جدید بیان می کند. دو روش برای پذیرش آن وجود دارد: (الف) ترکیب ماژول های یادگیری ماشین در محصولات و خدمات موجود و (ب) ارائه محصولات و خدمات جدید که قبلاً وجود نداشته اند.

2- محصولات و خدمات موجود

کمپانی های مختلف در حال ارزیابی پایپ لاین های خود و در صورت لزوم، جایگزینی مولفه های یادگیری ماشین در زنجیره این ابزارها هستند. در بیشتر موارد، این تغییرات اسرار تجارت است که شرکت ها آن را محفوظ می دارند. در زیر نمونه ای از برخی از کاربردهای این قابلیت جدید آورده شده است.

در ابزارهای ویرایش تصویر، از الگوریتم های یادگیری ماشین برای ارتقا upscaling، denoising، hole filling و جایگزینی آبجکت ها استفاده می شود. ابزارهای خاصی مانند Photolemur (photolemur.com) استفاده از یادگیری ماشین را تبلیغ می کنند، در حالی که ابزاری مانند Adobe Photoshop الگوریتم های یادگیری ماشین را در پشت صحنه پیاده سازی می کند.

در میان محصولات رندر سه بعدی، AMD Radeon ProRender و NVIDIA OPTIX 5.0 از یادگیری ماشین برای denoising (شکل 1) استفاده می کنند. علاوه بر این، NVIDIA در حال تحقیق بر روی استفاده از یادگیری ماشینی برای انیمیت صورت، anti-aliasing و بهینه سازی مسیرهای نوری (Light paths) برای رندر می باشد.

شکل 1: NVIDIA از یادگیری ماشین برای حذف نویز تصاویر رندر شده استفاده می کند. (منبع: NVIDIA استفاده شده با کسب اجازه)

3- کاربردهای جدید

با اهمیت برابر، یادگیری ماشین محصولات و خدمات جدیدی را فعال کرده که پیش از این امکان پذیر نبوده است.

• پردازش تصویر

تکنولوژی های Magic Pony (خریداری شده توسط توییتر در سال 2016) با استفاده از یادگیری ماشین برای پردازش تصویر، بهینه سازی انتقال بازی، تصاویر و دارایی های ویدئویی برای وب را انجام می دهند.

الگوریتمیا[4] در حال ایجاد یک بازار برای الگوریتم های ML است، جایی که خدمات براساس قدرت محاسبه و حق امتیاز در هر بار شارژ دریافت می شود. الگوریتمیا ماژول هایی را برای رنگ آمیزی عکس های سیاه و سفید و افزایش وضوح تصاویر را همانند فیلترهای stylization ارائه داده است.

در اکتبر گذشته ، Adobe پروژه Scribbler را به نمایش گذاشت که عکس های سیاه و سفید را به طور خودکار به عنوان بخشی از Adobe Sensei رنگ آمیزی می کند. جزئیات نهایی در مورد دسترسی کاربران هنوز در دسترس نیست.

• استایلایز کردن (سبک سازی) تصاویر و ویدئوها

محصولاتی برای استایلایز کردن تصاویر و ویدئوها قبل از این مورد استفاده قرار می گرفتند، اما هنگامی که مقاله اصلی Leon Gatys1 استفاده از یادگیری عمیق را برای این موضوع بیان کرد، آن ها واقعاً به اوج خود رسیدند. برخی از برنامه ها در این فضا بر تلفن همراه متمرکز بوده اند (به عنوان مثال Prisma )، در حالی که برخی دیگر عمدتاً بر حضور وب تمرکز کرده اند (به عنوان مثالDeepArt). در هر صورت، برنامه های زیر شایسته ذکر هستند: Prisma (prisma-ai.com) ، Artisto (artisto.my.com) ، Painnt (moonlighting.io) ، Style (macdaddy.io/style) و در آخر DeepArt (deepart.io) ، که تولید مقاله گاتیس است. شکل 2 برای عکس هایی است که با استفاده از DeepArt سبک سازی شده اند.

شکل2: DeepArt از یادگیری ماشین برای سبک سازی (stylize) کردن عکس برای داشتن سبک یک هنرمند استفاده کرده است. (منبع: depart.io استفاده شده با کسب اجازه)

4- برنامه های افزودنی

دو برنامه افزودنی وجود دارد که قابل توجه است. مدت هاست که به دنبال نمایش تصاویر سبک دار با وضوح بالا برای نمایش بر روی بوم بزرگ هستیم. از آنجا که الگوریتم ها از نظر محاسباتی گران هستند، گردش کار معمولاً شامل انتخاب سبک با وضوح کمتر و سپس ارتقا آن تا هنگام حفظ سبک است. این معمولا یک مسیر مستقیم پیش رونده نیست چرا که نمونه برداری از تصویر منحصر به سبکی است که برای آن تصویر استفاده می شود. برای سبک impasto، جزئیات مورد نظر اثر قلم مو روی بوم است، در حالی که برای سبک آبرنگ ، جزئیات مورد نظر، بافت کاغذ بوم است.

برنامه دیگر تولید فیلم از تصاویر ثابت است. اگرچه این مسئله مشکلات گوناگونی را ایجاد می کند، اما چالش اصلی حفظ انسجام سبک است. علاوه براین، هزینه بالای محاسبه گران است زیرا محاسبات باید 24-60 بار در ثانیه برای ویدئو تکرار شوند.

با توجه به جانبداری نویسنده، DeepArt بهترین کار را با کیفیت تصویر انجام می دهد، در حالی که Prisma بهترین نفوذ را در بازار دارد. اگرچه این رشته با چالش هایی از جمله کنترل بیشتر کاربران روی سبک سازی و قصه گویی روبرو است، اما یادگیری ماشینی نتایجی را فعال کرده است که تا آن زمان غیرقابل تحقق بودند.

• سبک سازی (Stylization) ویدئو از صورت به صورت آنی یا real-time

زمینه دیگری که پیشنهادات جدید جالبی در آن توسعه یافته است، تغییر شکل صورت به شکل آنی (Real-time) است.  Looksery(looksery.en.uptodown.com/android)، خریداری شده توسط Snapchat و MSQRD  (msqrd.me) ، خریداری شده توسط فیس بوک هر دو تغییر شکل آنی ویدئو را از دوربین جلوی تلفن همراه فراهم می کنند. ابتدا صورت با استفاده از یادگیری ماشین از دوربین ردیابی می شود. هنگامی که یک شبکه سه بعدی از صورت استخراج شد، می توان مدل را بر اساس افکت دلخواه تغییر شکل داده یا به آن بافت داد [1].

5- نتیجه گیری

در پایان، این مقاله برخی از زمینه های گسترده ای را که یادگیری ماشین در گرافیک رایانه تأثیر دارد، بیان می کند. با تحقق بیشتر پیش بینی های اندرو انجی، این مجموعه این روند هیجان انگیز را ادامه خواهد داد.

6- منبع

[1]      A. Agrawal, “Application of machine learning to computer graphics,” IEEE Comput. Archit. Lett., vol. 38, no. 04, pp. 93–96, 2018.

[1] Andrew Ng

[2] Coursera

[3] Google Brain Deep Learning Project

[4] Algorithmia