SeamlessM4T, modeli multimodal i IA për përkthimet e të folurit dhe tekstit

Bota në të cilën jetojmë nuk ka qenë kurrë më e ndërlidhur duke u dhënë njerëzve akses në më shumë përmbajtje shumëgjuhëshe se kurrë më parë, sipas Meta-s.

Kjo gjithashtu e bën gjithnjë e më të rëndësishme aftësinë për të komunikuar dhe kuptuar informacionin në çdo gjuhë.

SeamlessM4T është modeli i parë i përkthimit multimodal dhe shumëgjuhësh e IA që lejon njerëzit të komunikojnë pa mundim përmes të folurit dhe tekstit në gjuhë të ndryshme.

SeamlessM4T mbështet:

Njohjen e të folurit për gati 100 gjuhë
Përkthimin nga fjalimi në tekst për gati 100 gjuhë hyrëse dhe dalëse
Përkthimin nga fjalimi në të folur duke mbështetur afro 100 gjuhë hyrëse dhe 36 gjuhë dalëse
Përkthimin nga tekst në tekst për gati 100 gjuhë
Përkthimin tekst-në-fjalë duke mbështetur afro 100 gjuhë hyrëse dhe 35 gjuhë dalëse.
”Në përputhje me qasjen tonë ndaj shkencës së hapur, ne po e nxjerrim publikisht SeamlessM4T nën një licencë kërkimi për të lejuar studiuesit dhe zhvilluesit të ndërtojnë mbi këtë punë. Ne po nxjerrim gjithashtu të dhënat e SeamlessAlign, grupi më i madh i të dhënave të përkthimit multimodal të hapur deri më sot”, thotë Meta.

”Ndërtimi i një përkthyesi të gjuhës universale, si Fiktivi Babel Fish në Udhëzuesin e Autostopeve në Galaxy, është sfidues sepse sistemet ekzistuese të fjalës në të folur dhe të fjalës në tekst mbulojnë vetëm një pjesë të vogël të gjuhëve të botës. Por, ne besojmë se puna që po shpallim sot është një hap i rëndësishëm përpara në këtë rrugëtim. Krahasuar me qasjet që përdorin modele të veçanta, qasja e vetme e sistemit SeamlessM4T redukton gabimet dhe vonesat, duke rritur efikasitetin dhe cilësinë e procesit të përkthimit. Kjo u mundëson njerëzve që flasin gjuhë të ndryshme të komunikojnë me njëri-tjetrin në mënyrë më efektive”, shton ajo.

”SeamlessM4T bazohet në përparimet që ne dhe të tjerët kemi bërë gjatë viteve në përpjekjen për të krijuar një përkthyes universal. Vitin e kaluar, ne lëshuam No Language Left Behind (NLLB), një model përkthimi me makinë tekst-në-tekst që mbështet 200 gjuhë dhe që atëherë është integruar në Wikipedia si një nga ofruesit e përkthimit. Ne shpërndamë gjithashtu një demonstrim të Përkthyesit tonë Universal të të folurit, i cili ishte sistemi i parë i përkthimit të drejtpërdrejtë nga fjalimi në të folur për Hokkien, një gjuhë pa një sistem shkrimi të përdorur gjerësisht. Dhe në fillim të këtij viti, ne zbuluam Massively Multilingual Speech, i cili ofron njohjen e të folurit, identifikimin e gjuhës dhe teknologjinë e sintezës së të folurit në më shumë se 1 100 gjuhë”, vazhdon Meta.

”SeamlessM4T bazohet në gjetjet nga të gjitha këto projekte për të mundësuar një përvojë përkthimi shumëgjuhëshe dhe multimodale që buron nga një model i vetëm, i ndërtuar në një gamë të gjerë burimesh të dhënash të folura me rezultate më të fundit. Ky është vetëm hapi më i fundit në përpjekjet tona të vazhdueshme për të ndërtuar teknologjinë e fuqizuar nga IA, që ndihmon në lidhjen e njerëzve në të gjitha gjuhët. Në të ardhmen, ne duam të eksplorojmë se si ky model themelor mund të mundësojë aftësi të reja komunikimi – duke na sjellë përfundimisht më pranë një bote ku të gjithë mund të kuptohen”, përfundon ajo.