เมื่อเร็ว ๆ นี้ Bit News Meta ได้ประกาศเฟรมเวิร์ก AI ที่เรียกว่า audio2photoreal ซึ่งสามารถสร้างชุดโมเดลตัวละคร NPC ที่สมจริงและ "ลิปซิงค์" และ "วางตัว" โมเดลตัวละครโดยอัตโนมัติด้วยความช่วยเหลือของไฟล์เสียงพากย์ที่มีอยู่รายงานการวิจัยอย่างเป็นทางการชี้ให้เห็นว่าหลังจากได้รับไฟล์พากย์แล้วเฟรมเวิร์กโฟโตเรียล Audio2 จะสร้างชุดโมเดล NPC ก่อนจากนั้นใช้เทคโนโลยีการหาปริมาณและอัลกอริธึมการแพร่กระจายเพื่อสร้างการกระทําของแบบจําลองซึ่งเทคโนโลยีการหาปริมาณให้การอ้างอิงตัวอย่างการกระทําสําหรับเฟรมเวิร์กและอัลกอริทึมการแพร่กระจายจะใช้เพื่อปรับปรุงผลกระทบของการกระทําของตัวละครที่สร้างโดยเฟรมสี่สิบสามเปอร์เซ็นต์ของผู้ประเมินในการทดลองที่มีการควบคุม "พอใจอย่างยิ่ง" กับฉากบทสนทนาของตัวละครที่สร้างขึ้นโดยเฟรมดังนั้นนักวิจัยจึงรู้สึกว่ากรอบแสง Audio2 สามารถสร้างการเคลื่อนไหวที่ "มีชีวิตชีวาและแสดงออก" ได้มากกว่าผลิตภัณฑ์คู่แข่งในอุตสาหกรรม มีรายงานว่าขณะนี้ทีมวิจัยได้เผยแพร่รหัสและชุดข้อมูลที่เกี่ยวข้องบน GitHub แล้ว
Meta ประกาศเฟรมเวิร์ก audio2photoreal AI ซึ่งสามารถสร้างฉากบทสนทนาของตัวละครโดยการป้อนไฟล์พากย์
เมื่อเร็ว ๆ นี้ Bit News Meta ได้ประกาศเฟรมเวิร์ก AI ที่เรียกว่า audio2photoreal ซึ่งสามารถสร้างชุดโมเดลตัวละคร NPC ที่สมจริงและ "ลิปซิงค์" และ "วางตัว" โมเดลตัวละครโดยอัตโนมัติด้วยความช่วยเหลือของไฟล์เสียงพากย์ที่มีอยู่
รายงานการวิจัยอย่างเป็นทางการชี้ให้เห็นว่าหลังจากได้รับไฟล์พากย์แล้วเฟรมเวิร์กโฟโตเรียล Audio2 จะสร้างชุดโมเดล NPC ก่อนจากนั้นใช้เทคโนโลยีการหาปริมาณและอัลกอริธึมการแพร่กระจายเพื่อสร้างการกระทําของแบบจําลองซึ่งเทคโนโลยีการหาปริมาณให้การอ้างอิงตัวอย่างการกระทําสําหรับเฟรมเวิร์กและอัลกอริทึมการแพร่กระจายจะใช้เพื่อปรับปรุงผลกระทบของการกระทําของตัวละครที่สร้างโดยเฟรม
สี่สิบสามเปอร์เซ็นต์ของผู้ประเมินในการทดลองที่มีการควบคุม "พอใจอย่างยิ่ง" กับฉากบทสนทนาของตัวละครที่สร้างขึ้นโดยเฟรมดังนั้นนักวิจัยจึงรู้สึกว่ากรอบแสง Audio2 สามารถสร้างการเคลื่อนไหวที่ "มีชีวิตชีวาและแสดงออก" ได้มากกว่าผลิตภัณฑ์คู่แข่งในอุตสาหกรรม มีรายงานว่าขณะนี้ทีมวิจัยได้เผยแพร่รหัสและชุดข้อมูลที่เกี่ยวข้องบน GitHub แล้ว