ในโลกโซเชียลส่วนใหญ่ที่ชอบอนิเมะ เกม โซเชียลออนไลน์ เรามักจะเคยเจอคนเอารูปโปรไฟล์การ์ตูนเป็นรูปส่วนตัวกันอยู่บ่อยๆ เมื่อเดือนที่แล้วทางทีมงานนักวิจัยของเกาหลีใต้ได้นำเสนอวิธีการโดยนำรูปที่เราเซลฟีธรรมดาๆกันมาแปลงให้เป็นรูปใบหน้าเหมือนอนิเมะ วิธีการของพวกเขาที่ใช้กันเรียกว่า U-GAT-IT
U-GAT-IT เป็นแบบจำลองในการเปลี่ยนแปลงรูปภาพจากสภาพเดิมที่มีอยู่เหมือนเดิม เปลี่ยนไปเป็นลักษณะอีกแบบหนึ่ง โดยยังคงความเป็นความเดิมของภาพนั้นๆอยู่ อาจจะงงๆ ผมจะยกตัวอย่างเช่น จากหน้าผู้ชายไปเป็นหน้าผู้หญิง หรือ จากหน้าผู้ชายไปเป็นหน้าของม้า อะไรประมาณนั้น แต่ลักษณะท่าทางที่เราได้ถ่ายไว้ตอนแรกยังคงเป็นลักษณะท่าทางเดิมโดยบทความสามารถอ่านเพิ่มเติมได้ที่นี้
วิธีการU-GAT-IT นั้น เขาได้นำรูปถ่ายเซลฟีกับภาพการ์ตูนมาเชื่อมต่อกันโดยใช้กรอบการทำงานที่เรียกว่า Adaptive Layer-Instance Normalization (AdaLIN) ในกระบวนการนี้จะเน้นไปในภาพที่สำคัญเช่น หู ตา ปาก เป็นต้น AdaLIN ยังสามารถทำการปรับองศาของของภาพได้เองอีกด้วย
วีดีโอแสดงการแปลงรูปภาพของ U-GAT-IT
นอกจาก U-GAT-IT แล้วยังมีแบบจำลองที่มีลักษณะการทำคล้ายๆกันเช่น CycleGAN, UNIT, MUNIT และ DRIT นักวิจัยเลยทำตารางประเมินประสิทธิภาพของโมเดลขึ้นมา ในการประเมินมีผู้ประเมิน 135 คน การจำลองภาพโมเดลของแต่ระภาพที่กำหนดมาให้ 5 ชุดด้วยกันดังนี้ selfie2anime, horse2zebra, photo2vangogh, cat2dog และ photo2portrait โดยให้ประเมินความชอบของโมเดลที่ทำและแสดงผลลัพธ์ที่ได้จากการแปลภาพที่กำหนดมาให้ จึงสรุปได้ว่าโมเดล U-GAT-IT นั้นเหนือกว่ารุ่นอื่น ๆ ในชุดข้อมูลสี่ชุด ผลลัพธ์แสดงด้านล่างตามตาราง
นักวิจัยใช้การประเมินปริมาณด้วย Kernel Inception Distance (KID) คะแนน KID ที่ต่ำกว่าจะแนะนำความคล้ายคลึงกันของภาพระหว่างรูปภาพจริงและของปลอม ด้านล่างคือผลการทดสอบ
สำหรับข้อมูลเพิมเติมต่างๆ สามารถอ่านได้ที่นี้ เขียนโดย Junha Kim, Minjae Kim และ Hyeonwoo Kang จากบริษัทเกมชื่อดังของเกาหลีใต้ NCSOFT