OpenAI Point E: ஒரு GPU இல் நிமிடங்களில் சிக்கலான அலைவடிவங்களிலிருந்து 3D புள்ளி கிளவுட்டை உருவாக்கவும்

ஒரு புதிய கட்டுரையில் Point-E: சிக்கலான சிக்னல்களில் இருந்து 3D புள்ளி மேகங்களை உருவாக்குவதற்கான ஒரு அமைப்பு, OpenAI ஆராய்ச்சி குழு Point E ஐ அறிமுகப்படுத்துகிறது குறிப்புகள்.ஒரு GPU இல் நிமிடங்களில்.
இன்றைய அதிநவீன பட உருவாக்க மாதிரிகளின் அற்புதமான செயல்திறன் 3D உரைப் பொருட்களின் தலைமுறையில் ஆராய்ச்சியைத் தூண்டியுள்ளது.இருப்பினும், 2D மாடல்களைப் போலல்லாமல், சில நிமிடங்களில் அல்லது வினாடிகளில் வெளியீட்டை உருவாக்க முடியும், பொருள் உருவாக்கும் மாதிரிகள் பொதுவாக ஒரு மாதிரியை உருவாக்க பல மணிநேர GPU வேலை தேவைப்படும்.
ஒரு புதிய கட்டுரையில் Point-E: சிக்கலான சமிக்ஞைகளிலிருந்து 3D புள்ளி மேகங்களை உருவாக்குவதற்கான ஒரு அமைப்பு, OpenAI ஆராய்ச்சி குழு Point·E ஐ வழங்குகிறது, இது 3D புள்ளி மேகங்களுக்கான உரை நிபந்தனை தொகுப்பு அமைப்பு ஆகும்.இந்த புதிய அணுகுமுறையானது, ஒரு GPU இல் ஒரு நிமிடம் அல்லது இரண்டு நிமிடங்களில் சிக்கலான உரை சமிக்ஞைகளிலிருந்து மாறுபட்ட மற்றும் சிக்கலான 3D வடிவங்களை உருவாக்க ஒரு பரப்புதல் மாதிரியைப் பயன்படுத்துகிறது.
விர்ச்சுவல் ரியாலிட்டி மற்றும் கேமிங் முதல் தொழில்துறை வடிவமைப்பு வரையிலான நிஜ உலகப் பயன்பாடுகளுக்கான 3D உள்ளடக்க உருவாக்கத்தை ஜனநாயகப்படுத்துவது மிகவும் முக்கியமானது.உரையை 3D க்கு மாற்றுவதற்கான தற்போதைய முறைகள் இரண்டு வகைகளாகப் பிரிக்கப்படுகின்றன, ஒவ்வொன்றும் அதன் குறைபாடுகளைக் கொண்டுள்ளன: 1) மாதிரிகளை திறமையாக உருவாக்குவதற்கு உருவாக்க மாதிரிகள் பயன்படுத்தப்படலாம், ஆனால் பல்வேறு மற்றும் சிக்கலான உரை சமிக்ஞைகளுக்கு திறமையாக அளவிட முடியாது;2) சிக்கலான மற்றும் மாறுபட்ட உரை குறிப்புகளைக் கையாள ஒரு முன் பயிற்சி பெற்ற உரை-பட மாதிரி, ஆனால் இந்த அணுகுமுறை கணக்கீட்டு ரீதியாக தீவிரமானது மற்றும் மாதிரியானது அர்த்தமுள்ள அல்லது ஒத்திசைவான 3D பொருள்களுடன் பொருந்தாத உள்ளூர் மினிமாவில் எளிதில் சிக்கிக்கொள்ளலாம்.
எனவே, குழுவானது, மேற்கூறிய இரண்டு அணுகுமுறைகளின் பலத்தை ஒருங்கிணைப்பதை நோக்கமாகக் கொண்ட ஒரு மாற்று அணுகுமுறையை ஆராய்ந்தது, ஒரு பெரிய உரை-பட ஜோடிகளில் (பல்வேறு மற்றும் சிக்கலான சமிக்ஞைகளைக் கையாள அனுமதிக்கிறது) பயிற்சியளிக்கப்பட்ட உரை-க்கு-பட பரவல் மாதிரியைப் பயன்படுத்துகிறது. ஒரு சிறிய உரை-பட ஜோடிகளில் பயிற்சியளிக்கப்பட்ட 3D பட பரவல் மாதிரி.படம்-3D ஜோடி தரவுத்தொகுப்பு.டெக்ஸ்ட்-டு-இமேஜ் மாடல் முதலில் உள்ளீட்டு படத்தை ஒரு செயற்கை பிரதிநிதித்துவத்தை உருவாக்க மாதிரி செய்கிறது, மேலும் இமேஜ்-டு-3D மாதிரி தேர்ந்தெடுக்கப்பட்ட படத்தின் அடிப்படையில் 3D புள்ளி மேகத்தை உருவாக்குகிறது.
கட்டளையின் ஜெனரேட்டிவ் ஸ்டேக், சமீபத்தில் முன்மொழியப்பட்ட ஜெனரேட்டிவ் ஃப்ரேம்வொர்க்குகளை அடிப்படையாகக் கொண்டது, இது உரையிலிருந்து படங்களை நிபந்தனையுடன் உருவாக்குகிறது (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).அவர்கள் 3 பில்லியன் GLIDE அளவுருக்கள் (Nichol et al., 2021) கொண்ட GLIDE மாதிரியைப் பயன்படுத்துகின்றனர், ரெண்டர் செய்யப்பட்ட 3D மாடல்களில் நன்றாக டியூன் செய்யப்பட்டு, அவற்றின் டெக்ஸ்ட்-டு-இமேஜ் டிரான்ஸ்ஃபார்மேஷன் மாடலாகவும், RGB புள்ளி மேகங்களை உருவாக்கக்கூடிய பரவல் மாதிரிகளின் தொகுப்பையும் பயன்படுத்துகின்றனர். உருமாற்ற மாதிரி.படத்திற்கு படங்கள்.3D மாதிரிகள்.
முந்தைய வேலை புள்ளி மேகங்களை செயலாக்க 3D கட்டமைப்புகளைப் பயன்படுத்தியது, ஆராய்ச்சியாளர்கள் செயல்திறனை மேம்படுத்த ஒரு எளிய டிரான்ஸ்யூசர் அடிப்படையிலான மாதிரியை (வாஸ்வானி மற்றும் பலர், 2017) பயன்படுத்தினர்.அவற்றின் பரவல் மாதிரி கட்டமைப்பில், புள்ளி கிளவுட் படங்கள் முதலில் முன் பயிற்சி பெற்ற ViT-L/14 CLIP மாதிரியில் கொடுக்கப்படுகின்றன, பின்னர் வெளியீட்டு மெஷ்கள் குறிப்பான்களாக மாற்றிக்குள் செலுத்தப்படுகின்றன.
அவர்களின் அனுபவ ஆய்வில், குழு முன்மொழியப்பட்ட Point·E முறையை COCO ஆப்ஜெக்ட் கண்டறிதல், பிரித்தல் மற்றும் கையொப்ப தரவுத்தொகுப்புகளிலிருந்து ஸ்கோரிங் சிக்னல்களில் பிற உருவாக்கும் 3D மாதிரிகளுடன் ஒப்பிட்டது.Point·E ஆனது சிக்கலான டெக்ஸ்ட் சிக்னல்களில் இருந்து மாறுபட்ட மற்றும் சிக்கலான 3D வடிவங்களை உருவாக்க முடியும் மற்றும் அனுமான நேரத்தை ஒன்று முதல் இரண்டு ஆர்டர்கள் வரை வேகப்படுத்த முடியும் என்பதை முடிவுகள் உறுதிப்படுத்துகின்றன.அவர்களின் பணி 3D உரை தொகுப்புக்கான மேலும் ஆராய்ச்சிக்கு ஊக்கமளிக்கும் என்று குழு நம்புகிறது.
திட்டத்தின் கிட்ஹப்பில் முன் பயிற்சி பெற்ற புள்ளி கிளவுட் ப்ராபகேஷன் மாதிரி மற்றும் மதிப்பீட்டுக் குறியீடு கிடைக்கிறது.ஆவணப் புள்ளி-E: சிக்கலான துப்புகளிலிருந்து 3D புள்ளி மேகங்களை உருவாக்குவதற்கான அமைப்பு arXiv இல் உள்ளது.
நீங்கள் எந்த செய்தியையும் அறிவியல் கண்டுபிடிப்பையும் தவறவிட விரும்பவில்லை என்பதை நாங்கள் அறிவோம்.வாராந்திர AI புதுப்பிப்புகளைப் பெற எங்களின் பிரபலமான Synced Global AI வாராந்திர செய்திமடலுக்கு குழுசேரவும்.