Mesterséges intelligencia

A szövegből közvetlenül videót előállító rendszerek mellett megjelent a meglévő mozgóképanyagokat módosító Gen-1, a kreativitást támogató multimodális mesterségesintelligencia-megoldásokon dolgozó Runway új fejlesztése. A Gen-1 szöveges prompt vagy kép alapján videók beállítását vagy stílusát, az eredeti mozgásokat és formákat érintetlenül hagyva, alakítja át. Egy videónak szerkezete és tartalma van. A szerkezet a formákra és a mozgásukra, a tartalom minden egyes forma megjelenítésére vonatkozik: színére, megvilágítására, stílusára. Videogenerátorok képesek megtanulni szerkezet és tartalom egymástól szétválasztott beágyazásokban történő kódolását. Ebből pedig logikusan következik, hogy a tartalom-beágyazást másikkal helyettesítve, a videó szerkezete, az új tartalom ellenére sem változik meg.

Ezt teszi a Gen-1. A videó-képkockákat (frames) úgy hozza létre, mint egy diffúziós modell, így a gyakoroltatása is ugyanúgy történt. Ezeknek a gépi látásban alkalmazott modelleknek a célja adathalmazok rejtett szerkezetének az adatpontok térbeli szétszóródásának modellezésével történő megismerése. A gyakorlópéldákhoz változatos mennyiségű, közel száz százalék zajt adva, annak eltávolítására tanítják be. A video-képkocka generálást teljes zajjal kezdte, a szöveges prompt vagy kép alapján több lépésben távolította el azt. A rendszer három beágyazással dolgozott: az elsőben képkockát, a másodikban szerkezetet, a harmadikban tartalmat ágyaztak be. A képkocka és a szerkezet minden egyes képkockára, a tartalom a teljes klipre vonatkozott. Az adatsor 6,4 millió nyolc-képkockás videóból és 240 millió, a rendszer által egy-képkockás videóként kezelt képből áll. Előzetesen gyakoroltatott automatikus kódoló az összes képkockához elkészítette a képkocka-beállítást, majd egy modell a frame-ből kivonatolta a formákat szín nélkül kihangsúlyozó mélységi térképet. A kódoló e térkép beágyazásával jutott el a szerkezet képkockánkénti beágyazásához. Véletlenszerűen kiválasztott képkockát használva, egy tanult CLIP idegháló a kapcsolódó szöveget és képeket egybetérképezve készítette el a tartalom-beágyazást. A beágyazásokat vizsgálva, egy másik idegháló megtanulta, hogyan értékelje ki a hozzájuk adott zajt. Utána a CLIP megkapta a szöveges utasítást vagy a képet, és létrehozta a saját beágyazását, amellyel helyettesítette a tartalomét. Az összes elkészítendő képkockához a rendszer véletlenszerű, azaz száz százalék zajból álló frame beágyazást kapott. A zaj eltávolítását követően, a rendszer dekódolója megalkotta a módosított video-képkockák végső változatát.

https://jelenbolajovobe.blog.hu/2023/03/16/szoveg_alapjan_modosit_videotartalmakat_a_mesterseges_intelligencia

A magyarországi érdekeltséggel is rendelkező Fudan Egyetem fejlesztette az OpenAI sikeres csetbotjának kínai versenytársát. A MOSS azonban egyelőre nem futott be fényes karriert: hétfőn az indulását jelentették be, kedden pedig máris bocsánatot kellett kérnie az illetékeseknek, a nagy forgalom miatt ugyanis a platform összeomlott. Az egyetemi erőforrások végességére és a mérnöki tapasztalat hiányára fogták a leállást. Qiu Xipeng, a Fudan informatikai karának professzora a Shanghai Observernek hétfőn elmondta, hogy a MOSS egy nagyságrenddel kevesebb képzési paraméterrel dolgozik, mint a ChatGPT. Szerinte ez jelenti a legfőbb különbséget a két modell között, további információkat viszont nem osztottak meg a csetbotról.

https://qubit.hu/2023/02/22/a-fudan-valasza-a-chatgpt-re-a-moss-orakkal-az-indulas-utan-osszeomlott

A Google vezérigazgatója a cég hivatalos blogoldalán jelentette be, hogy elindul a Google saját chatbotja: a Google Bard. Sundar Pichai közleménye szerint a Google Bard egyelőre csak bizonyos, válogatott felhasználók lesz elérhető, de heteken belül a széles nyilvánosság is használhatja majd. A Google Bard kifejlesztésével lényegében konkurenciát teremtettek az OpenAI saját chatbotjának, a százmillió felhasználóval rendelkező ChatGPT-nek, aminek fejlesztésébe a Microsoft komoly összegekkel szállt be. A Google új fejlesztése úgy tűnik nem is hagyta nyugodni a versenytársakat, ugyanis néhány perccel a Bard bejelentése után a Microsoft nyilvános eseményt hirdetett a mai napra, ahol a szakértők szerint bejelenthetik a Microsoft Bing keresőjének és a ChatGPT összeolvadását. A Bard chatbot a cég LaMDA nyelvi modelljén alapul, annak egy egyszerűsített változata. A kérdésekre a chatbot válaszai közvetlenül a keresőmező alatt jelennek meg más találatokat lejjebb szorítva, de egyelőre forráshivatkozás nélkül. Ha ez ebben formában fog működni, akkor az sok weboldalnak – különösen a blogtulajdonosnak és tartalomszolgáltatóknak – is kihívást jelenthet. Hiszen a chatbot által dobott válaszok elvehetik a látogatóikat, és így jelentősen csökkenhet a forgalmuk.

https://telex.hu/tech/2023/02/07/google-chatbot-google-bard-chatgpt-microsoft-mesterseges-intelligencia-sundar-pichai

A Google legújabb fejlesztése szöveges parancsok alapján ír zenét, illetve képes arra is, hogy egy eldúdolt-fütyült dallamot hangszereljen át más hangszerekre. A MusicLM névre keresztelt szolgáltatás egyelőre nem hozzáférhető a mezei felhasználók számára, most még csak azokra a mintákra lehet rácsodálkozni, melyeket a vállalat tett közzé. A fejlesztést bemutató tanulmányban a Google mérnökei azt írják, hogy ezen a szinten nem tervezik az algoritmus szabadon engedését, mivel szerintük alkalmas lehetne például plagizálásra. Úgyhogy a szöveg alapján zenét író algoritmushoz egyelőre csak mérnökök és AI-fejlesztők férnek hozzá, viszont a Google összesen 5500 szöveg-zene párosítást hoz nyilvánosságra.

https://444.hu/2023/01/28/a-google-uj-algoritmusa-szoveges-parancs-alapjan-ir-zenet

Mi történik a jövőben a mesterséges intelligencia egyik leggyorsabban fejlődő területével, a nagy nyelvmodellekkel (large language models, LLM), a felhasználók csak kevés cég csúcstechnológiái, vagy sokkal több fejlesztő szintén hatékony modelljei közül válogathatnak? – teszi fel a kérdést Andrew Ng, a gépi tanulás egyik abszolút szaktekintélye. Azonnal meg is válaszolja: ugyan az LLM-fejlesztések kezdeti szakaszában járunk, de a felhasználók sok vállalat modelljeihez hozzáférhetnek majd, ami nagyon jót tesz az innovációnak. Egy mai LLM begyakoroltatásához rengeteg adat és komoly infrastruktúra kell, a trendek viszont a szélesebb körű elérhetőséget vetítik előre.

Népszerűvé válnak és egyre jobb teljesítményt nyújtanak a nyílt modellek, mint a Big Science BLOOM-ja, a Tsinghua Egyetem GLM-je és a Meta OPT-je. Az utóbbit a kutatókat bátorító, a kereskedelmi felhasználást viszont kizáró, szigorú licenc alapján tették közzé. A mai nyílt modellek kétségtelenül nem annyira jók, mint egyes cégek szabadalmaztatott darabjai, viszont gyors fejlődés előtt állnak. A kutatók a gyakorlás hatékonyságát növelő technikákat fejlesztenek. A terület egyik élenjárója, a Google-hoz tartozó londoni DeepMind ajánlásokat tett közzé LLM-ek trenírozásáról: hogyan tegyük eredményesebbé őket fix, tehát korlátos költségvetés mellett. Kiderült: akár egyetlen GPU-n (grafikus feldolgozó egységen), egy nap alatt szignifikáns mértékben növelhető egy modell teljesítménye, ráadásul nyolc-, sőt, négy-bites számításokkal is komoly haladás érhető el.

Minél többen fejlesztenek és tesznek közzé nagy nyelvmodelleket, annál szisztematikusabb lesz a költségek, hozzáférhetőség és más feltételek alapján történő kiválasztást segítő összehasonlítás. A felhasználó könnyebben megtalálja, amire tényleg szüksége van. Szerencsére léteznek már kimerítő és pontos összehasonlító LLM-elemzések. Ng többször (Stanford, Google stb.) dolgozott már a legnagyobb rendszerekkel, de aztán mindig jöttek még gyorsabbak, még jobbak. Egy mai LLM esetében rengeteg számítási kapacitás szükséges, de az infokom eddig történelméből egyértelműen kiderül: ez nem lesz mindig így, és inkább előbb, mint utóbb, lényegesen leegyszerűsödik a gyakorlás és a tanulás.

https://jelenbolajovobe.blog.hu/2023/01/17/mi_lesz_a_nagy_nyelvmodellekkel

3 másodperc alatt bárkitől eltanulja a beszédstílusát a Microsoft által fejlesztett VALL-E intelligenciamodell, írja az Ars Technica. Ezzel komplett szövegek felolvasása válik lehetségessé anélkül, hogy valódi embereket kellene alkalmazni. A technológia pedig lehetőséget ad arra is, hogy egy felvétel tartalmát akár utólag szerkesszék. A VALL-E egy neurális nyelvmodell (neural coding language), amely a Meta által 2022 októberében bemutatott EnCodec technológiájára épül. Ez a tömörítési megoldás az elterjedten alkalmazott MP3 formátumhoz képest 10-szeres tömörítést tesz lehetővé audiofájlokon a mesterséges intelligencia használatával. A Meta szerint erre a Metaverzum információinak tárolása miatt van szükség, de a VALL-E fejlesztése is azt mutatja, hogy más területeken is alkalmazható.

Az intelligens beszédszintetizátor a hangminta alapján felismert sajátosságokat képes alkalmazni más szövegrészletek felolvasásakor. Más módszerekkel ellentétben nem hullámformák manipulációját aknázza ki, hanem helyette diszkrét audiokódokat generál a szöveg és az akusztikus jellemzők alapján. Részleteiben elemzi a beszédmintát, a jellemzőket pedig az EnCodec segítségével összetevőnként (tokenenként) rögzíti, majd ezeket alkalmazza a felolvasáskor. Erre több példa is elérhető a VALL-E weboldalán, ahol a Meta által összeállított LibriLight hangkönyvtáron kiképzett intelligencia egy sor minta felolvasásával demonstrálja tudását. Talán pont a sokoldalúsága lehet az oka annak, hogy a Microsoft a forráskódokat és magát a rendszert sem tette egyelőre elérhetővé. A beszédszintetizátor ugyanis olyan eredményes az utánzásban, hogy felvételek manipulációjára, és jó minőségű deepfake tartalmak előállítására is alkalmas lehet. Ezért egyelőre nincs mód a saját hangunkon is kipróbálni a rendszert.

https://qubit.hu/2023/01/11/barki-hangjat-kepes-utanozni-a-microsoft-uj-mesterseges-intelligenciamodellje

A Descript hasonló modellje bárki számára elérhetővé teszi ezt a funkciót.

https://www.descript.com/overdub

Ritka az olyan mértékű tudományos áttörés, mint amilyet 2020-ban a fehérjék háromdimenziós szerkezetét megfejtő AlphaFold2 mesterséges intelligencia fejlesztői produkáltak egy addig kevesek által ismert bioinformatikai versenyen. Az algoritmus praktikusan megoldotta, hogyan alakul ki az élethez nélkülözhetetlen, aminosav-maradékok láncolatából felépülő fehérjék háromdimenziós struktúrája, és ez egy sor biotechnológiai és gyógyszerkutatási felfedezést alapozhat meg a következő években. A fehérjefeltekeredés problémája évtizedek óta foglalkoztatja a molekuláris biológusokat, és az 1990-es évek közepe óta léteznek olyan irányú próbálkozások, hogy egyre jobb, a fehérjeszekvenciából térbeli modelleket generáló algoritmusokat fejlesszenek ki.

Az AlphaFold-forradalom kezdete 2018 végére, a CASP13 versenyre nyúlik vissza. Itt már a Google anyacégéhez, az Alphabethez tartozó DeepMind vállalat mélytanulási (deep learning) algoritmusa bizonyult a legjobbnak, de úgy tűnt, a kutatásokhoz és biotechnológiai alkalmazásokhoz szükséges pontosságra még sokáig várni kell. Nem így alakult: két év múlva, a CASP14-en megérkezett az áttörés, és az algoritmus továbbfejlesztett változata, az AlphaFold2 precizitásával lemosta a mezőnyt. 2021 nyarán aztán a DeepMind kutatói a Nature-ben publikált tanulmányukban részletesen ismertették az AlphaFold2-t, valamint az emberi sejtek által kifejezett közel 21 ezer fehérje (emberi proteom) háromdimenziós szerkezetét, és a GitHub-on mindenkinek elérhetővé tették a mélytanulási algoritmust. Az AlphaFold2 azóta tízezerszer ennyi, 200 millió fehérje térszerkezetét határozta meg – ezek mind nyíltan elérhetők az európai bioinformatikai intézet (EBI) és a DeepMind által kifejlesztett adatbázisban.

A CASP15 szervezői részben korábbi tesztek megváltoztatásával, részben újak létrehozásával reagáltak az AlphaFold2 utáni világra. Ezekben már a fehérjék más molekulákkal, például gyógyszerek hatóanyagaival történő interakcióit vizsgálták, vagy az egyes fehérjék által felvehető különböző térbeli szerkezeteket fejtették meg. Az AlphaFold2 módosításával a kutatók azt is el tudták érni, hogy az algoritmus a több, egymással kölcsönható fehérje által alkotott fehérjekomplexek szerkezetét is meghatározza. Ezek a komplexek vírusos fertőzéseknél lejátszódó immunológiai folyamatok mellett olyan alapvető sejtbeli mechanizmusokban játszanak szerepet, mint a jelátviteli útvonalak, a DNS RNS-re átírása (transzkripció), vagy a hírvivő RNS (mRNS) fehérjékké való lefordítása (transzláció). A CASP15 során az algoritmusok a korábbiaknál sokkal pontosabban adták vissza a komplexek szerkezetét, és ebben a nagyobb adathalmazok mellett olyan neurálisháló-komponensek segítették őket, mint az AlphaFold2 Evoformerje. A Nature-nek nyilatkozó Arne Elofsson, a Stockholmi Egyetem bioinformatikusa szerint e komplexek precíz szerkezetének feltárása fontos új kihívást jelent, mert ezen a téren bőven van még az algoritmusoknak hová fejlődni.

https://qubit.hu/2023/01/12/elkepesztoen-fejlett-feherjekutato-algoritmusok-versengenek-egymassal-hogy-felterkepezzek-a-legalapvetobb-biologiai-folyamatokat

A többszáz különböző feladatot általánosító, kezelő algoritmusoknak csak a kezdeti szakaszában vagyunk, gyerekcipőben járnak még, 2022 több fejlesztése viszont bizonyította: a mélytanulásban (deep learning) megvan a potenciál hozzájuk. Ha felgyorsulnak és eredményesek lesznek az ezirányú fejlesztések, közelebb kerülünk az általános mesterséges intelligenciához. A több feladatra (multi-task) használható modellek lehetőségei – a feladatok száma – drámai mértékben bővültek. Kutatók a mesterséges ideghálók által elsajátítható adottságok kereteit feszegették, és a fejlesztések 2023-ban nyilván folytatódnak.

A nagy nyelvi modellek emergens módon kialakuló képességei jelentették az inspirációt. Másrészt, ezek, a szövegeken és képeken gyakoroltatott modellek ma már meg tudják találni a két különböző adattípus közötti kapcsolatokat. Harmadrészt, ahhoz, hogy ugyanaz a modell előbb verset, majd számítógépes programot írjon, nem kell áthangolni az architektúrát. A Google PaLM modellje demonstrálta, hogy nyelvmegértéssel és szöveggenerálással kapcsolatos, többszáz feladatot néhány lépés alatt képes megoldani. Egyes esetekben az ezekre a célokra finomhangolt modelleket és az embert is felülmúlta. A DeepMind Gato transzformere hatszáznál több változatos feladat kezelését tanulta meg: Atari játékok használatát, építőkockák egymásra rakását, robotkar alkalmazását, képaláírások generálását stb. Egyelőre nem annyira jó bennük, mint a külön-külön egyikre, másikra trenírozott modellek, viszont már maga a tény is figyelemre méltó. A rendszert felügyelet melletti tanulással gyakoroltatták, szimultán használt hozzájuk sok és nagyon különböző adatsort. Ezeket a képi, szöveges, cselekvés stb. adatsorokat megerősítéses tanuláson alapuló ágensek generálták.

A Google kutatói a robotikára is próbálják alkalmazni az új megközelítést. Az RT-1 transzformer lehetővé teszi, hogy egy robot hétszáznál több feladattal boldoguljon. A cselekvésekből és a képekből tokeneket generáló rendszer másfél év alatt összegyűjtött adatsoron tanult. Az adatsorban robotflottákról szóló 130 ezer epizód található. Korábbi technológiákkal összevetve, feltűnően jól teljesített.

https://jelenbolajovobe.blog.hu/2023/01/02/jonnek_a_multifunkcionalis_ideghalok

Néhány nagyszerű AI alkalmazás.

Hang valós idejű megváltoztatása.
https://www.voicemod.net/

Kép kijelölt elemének eltüntetése.
https://cleanup.pictures/

Videó automatikus szerkesztése.
https://www.capcut.com/

Az Alphabethez (Google) tartozó DeepMind az AlphaCode modell részvételével rendezett kódíró versenyeket. Az MI jól teljesített, de nem ért el semmilyen kimagasló, szenzációszámba menő – szalagcímekre kívánkozó – eredményt. Nagyjából annyit nyújtott, mint egy néhány hónap, maximum egy év gyakorlattal rendelkező, kezdő programozó. A DeepMind elmondása alapján a teszten „kb. emberi szintet” hozott, és kódszegmensek előrejelzésével, valamint többmillió potenciális opció generálásával korábban nem ismert természetes nyelvi problémákat oldott meg. Az opciók számát aztán maximum tízre szűkítette. A számítógépes kód szerkezetére vonatkozó, előzetesen beintegrált ismeretek nélkül jött rá ezekre.

Ha ezt a teljesítményt összevetjük mesterséges intelligenciák, köztük a DeepMind MI-jei bonyolult táblás játékokban elért eredményeivel, akkor nem nevezhetjük nagyon meggyőzőnek. A kódoló verseny nehézségi szintjét figyelembe véve viszont már inkább. Először AlphaCode-nak természetes nyelven kellett megértenie komplex kódolási problémákat, majd kóddarabkák memorizálása helyett inkább előre nem jelzett problémákra kellett következtetnie. Megoldotta, pedig nem ismerte őket, és arra sincs bizonyíték, hogy a korábbi gyakorlóadatokból másolt volna valamit. Mindezek tudatában a DeepMind kutatói „komoly előrelépést” emlegetnek. Ráadásul a feladat nehézségi foka sem számít az MI-nek. Nem ő a kódolásra is használható egyetlen nyelvi modell – az OpenAI GPT-3, illetve a (Microsofthoz tartozó) GitHub Copilot modellje is képes rá. Mindez azt jelenti, hogy a mesterséges intelligencia általi kódgenerálás kezdeti korszakában járunk, a DeepMind viszont bizakodik, plusz az AlphaCode fejlesztők új generációja számára teheti hozzáférhetőbbé a programozást, sőt, valamikor paradigmaváltást is okozhat a területen: az ember formába önti, az MI megoldja a problémákat.

https://jelenbolajovobe.blog.hu/2022/12/14/a_deepmind_modellje_az_embernel_is_jobban_kodolhat

A DALL-E 2 kifestő képességével ilyen képek készíthetőek.

A Google új módszert mutatott be nagy nyelvi modellek (large language models, LLM) felhasználására. Lényege, hogy robotok emberek utasításai (promptok) alapján képesek megírni a saját kódjukat. A munka a vállalat egyik új nyelvi modelljén alapul. A modell lehetővé teszi, hogy robotok megértsenek emberek által adott utasításokat, majd racionálisan és biztonságosan reagáljanak rájuk a fizikai térben. A kivitelezéshez az OpenAI híres GPT-3-ját és kapcsolódó automatizált kódkiegészítéseket (például a GitHub Copilotját) is használták.

Mi történik akkor, ha robotok utasítások alapján autonóm megírják a világgal folytatott interakciókhoz szükséges saját kódjukat? – tették fel a kérdést a Google kutatói. Volt okuk a bizakodásra, mert a nyelvi modellek legújabb generációja képes bonyolult következtetésekre, ráadásul többmillió kódsoron gyakoroltatják őket. A kutatók rájöttek, hogy a modellek természetes nyelvű utasításokat követve nemcsak általános, hanem robotok cselekvéseit irányító kódokat is tudnak írni (Kód, mint szabályozás a fejlesztés neve). A kódíró LLM-eket át is programozhatják azzal a céllal, hogy természetes nyelvű utasításokra reagálva, írjanak robotokat szabályozó kódokat. A felhasználó például azt mondja, hogy „tedd az építőkockákat az üres tálcára”, mire a nyelvi modell a kódot Pythonban író és a robotot az elmondottak követésére utasító programot generál. A Google szerint nyelvi modellek – különösen a CaP – jobbak erre a feladatra, mint a korábbi megoldások. A CaP plusz rugalmasságot ad a robotnak, az viszont potenciális kockázatokkal, például előre nem kalkulált viselkedéssel is járhat.

https://jelenbolajovobe.blog.hu/2022/11/11/robotok_irhatjak_a_sajat_kodjukat

Bár nem a klasszikus társasjátékot játszották, a mesterséges intelligenciák (MI) kimondottan jól boldogultak az emberek között is a kompetitív és kooperációt igénylő Diplomacy nevű játékban. Azokat a részeket, amelyekben a játékosok tárgyalásokat folytatnak, ugyan elhagyták, de az együttműködési lépéseket megtartották. Így az MI-nek is kellett az emberekkel közös döntéseket hoznia, ami a technológiában egyedülálló, írja a New Scientist. A Meta fejlesztői szerint különleges megközelítést igényelt az, hogy a mesterséges intelligenciát nemcsak a játékszabályokra, hanem az együttműködés alapjaira is meg kellett tanítani. Ezért sem volt önmagában célravezető a szokásos, az MI-k programozásában használt megerősítéses (trial-and-error) tanulás. Ezt ki kellett egészíteni a megfigyeléssel: a játékban használt két intelligencia 46 ezer, az emberek által játszott játékot tanulmányozott, ebből megismerte az emberek játékstílusát és stratégiáit. Ugyan a pókerben, a sakkban vagy a góban elegendő az önálló, a játékszabályok ismeretén nyugvó döntéshozatal, addig a Diplomacy nyertes stratégiája ennél összetettebb. A kiképzett mesterséges intelligenciák azonban sikerrel jártak: egy online meghirdetett bajnokságon, ahol a játékosok tudták, hogy 6 partnerük közül az egyik egy gép (a játékot 7 játékos játszhatja), viszont nem ismerték, hogy melyik az, a MI-k az összetett első és harmadik helyet szerezték meg a legalább két játékot játszó versenyzők között. A 62 játékos mezőnyében kezdők és profik egyaránt voltak, ők mérkőztek meg a különböző emberi reakciókra programozott mesterséges intelligenciákkal.

https://qubit.hu/2022/10/19/a-meta-mesterseges-intelligenciaja-mar-tarsasjatekban-is-jobb-mint-az-ember

A Meta (Facebook) bő egy hete mutatta be a rövid szöveges leírásból (promptból) nagyon rövid videót generáló Make-A-Video mesterségesintelligencia-modellt. Egy héttel később a Google tovább lépett: Phenaki nevű rendszere néhány mondatból tetszőleges hosszúságú, komplett narratívát hoz létre. Ha a képeket egyetlen képkockaként kezeljük, és szöveges felirattal kiegészített rövid videók relatíve kisebb adatsoraival összekombináljuk őket, a rendszer betanítható rövid videók készítésére. Ha utána a rendszerbe új szöveget és az utolsó generált képkockákat betápláljuk, meghosszabbíthatjuk a videót. Megismételve ezt a folyamatot, hosszú és komplex mozgókép-anyagok hozhatók létre.

Phenaki kódolót használ videó-beágyazásokhoz, nyelvi modell végzi a szöveg-beágyazásokat, a szöveges és a videó-beágyazásokat kétirányú transzformer alakítja új videó-beágyazásokká, az így szintetizált videókat pedig dekódoló változtatja pixelekké. A teljes méretű Phenaki 1,8 milliárd paramétert tartalmaz. A rendszer „szövegből videót” teljesítményének kvantitatív kiértékeléséhez a Google kutatói 900 millió paraméteres, az adatai felén gyakoroltatott változatot hasonlítottak össze egy 3,3 millió szöveg-kép, 41250 szöveg-videó páron és egymillió három másodperces videón trenírozott, 900 millió paraméteres, vizuális adatokat generáló, módosító NUWA rendszerrel. Utóbbit 160 ezer tíz másodperces videón finomhangolták. A Phenaki kicsinyített változatát nem finomhangolták, de még így is jobban teljesített, mint a NUWA. A modell az output hosszának és a narratíva komplexitásának növelésére is képes. A Phenaki és a Make-A-Video külön-külön és együtt is forradalmasíthatják a filmkészítést.

https://jelenbolajovobe.blog.hu/2022/10/18/szintet_lep_a_google_videot_keszito_mesterseges_intelligenciaja

Az utóbbi hónapokban ellepték az internetet a mesterségesintelligencia-alapú képgenerátorok. Mark Zuckerberg Metája tegnap egy újabb AI-modellel emelte a tétet az algoritmikus tartalomgyártásban: csütörtökön bemutatta a Make-A-Video programot, amely egyszerű szövegből képes videót generálni. A Meta gépi tanulással foglalkozó mérnökei olyan modellt hoztak létre, amely néhány másodperces, mozgó képkockákat kreál az írott szövegből, állóképeket is bemozgat és már meglévő felvételeket is továbbfejleszt. A videókról egyelőre ordít a mesterkéltség, az animáció nem tökéletes és a tárgyak is elmosódnak, a fejlesztés azonban mégis óriási lépés az AI-alapú kontentgyártás terén.

Mark Zuckerberg Facebook-posztjában azt írta, a képeknél sokkal nehezebb videókat generálni, mivel a szoftvernek minden egyes pixel megfelelő legenerálásán túl azt is előre meg kell tudnia mondani, hogy azok hogyan fognak változni. A Make-A-Video ezt egy olyan mélytanuló algoritmus segítségével oldja meg, amely lehetővé teszi a modellnek, hogy megpróbálja a maga módján „megtanulni”, hogyan működik a mozgás a fizikai világban, és alkalmazza ezt a hagyományos, szövegből generált képek esetén. Ezt nevezik felügyelet nélküli gépi tanulásnak (unsupervised learning). A Meta AI-kutatói a modellt magyarázó tanulmányukban azt írják, hogy a Make-A-Video programot felcímkézett képpárokon és jelöletlen videóanyagon tanították. Ez utóbbi több millió videófelvételt jelent a WebVid-10M és a HD-VILA-100M adatbázisokból, és az internetről leszedett videóktól kezdve stockvideókig bezárólag rengeteg órányi képkockát tartalmaz. De nem csak a Meta kísérletezik szövegalapú videógyártó programokkal. A Csinghua Egyetem és a Pekingi Mesterséges Intelligencia Akadémia (BAAI) kutatói például szintén idén tették közzé saját modelljüket, a CogVideo nevű szoftvert, amely szintén szövegből generál videót.

https://qubit.hu/2022/09/30/egyszeru-szovegekbol-videokat-kreal-a-meta-uj-ai-modellje

Ingyenes, telepítés nélküli alkalmazások a Stable Diffusion képgenerátorhoz.

A GPT-3 is elmondta a véleményét arról, hogy a LaMDA-nak vannak-e érzései és öntudata.

A DALL·E-mini fejlesztett változata a Craiyon elődjénél kifinomultabb szöveg által generált képeket ígér.

https://www.craiyon.com/

"Őrült tudós szivárvány felhőt kreál."

A Microsoft felülvizsgálta 2019-ben kidolgozott Felelős MI Szabványát, igyekszik proaktívan hozzáállni a témakörhöz. Az új anyag hat alapérték támogatására hívja fel a figyelmet.

Az elszámoltathatóság arra vonatkozik, hogy a fejlesztőknek fel kell mérniük rendszerük társadalmi hatásait, tényleg működő megoldás-e a kapcsolódó problémára, és kié az MI és az adatok miatti felelősség. Érzékenyebb területeken (pénzügy, oktatás, munkaerő-piac, egészségügy, ingatlanok, biztosítás, társadalmi jólét) az átlagosnál is nagyobb figyelemre van szükség. A rendszereket alaposan dokumentálni kell, azaz átláthatónak kell lenniük, és a felhasználónak is tudnia kell, hogy MI-vel lépett interakcióba. A méltányosság szintén alapérték, úgy kell kidolgozni az MI-t, hogy a különböző demográfiai csoportokkal egyformán igazságos legyen, minimalizálja a különbségeket. A felhasználókat figyelmeztetni kell az azonosított kockázatokra. A rendszer legyen megbízható és biztonságos, definiálni kell, hogy meddig, milyen keretek között működik kockázatmentesen, minimalizálni kell az előrejelezhető hibákat. Módszerek szükségesek a folyamatos monitorozáshoz, illetve iránymutatók a meghibásodás esetében történő visszavonáshoz. A privacy és a biztonság a fejlesztőcég e területen megfogalmazott alapelveihez igazodjon, a felhasználó tudja mindig, ha adatot gyűjtenek róla. Az MI-nek befogadónak kell lennie, be kell tartani a vonatkozó szabványokat, hogy például fogyatékkal élők is hozzáférjenek.

Az új irányelveknek való megfelelés érdekében a Microsoft korlátozta az Azure felhőplatformja által nyújtott mesterségesintelligencia-szolgáltatásokat. Új felhasználóknak hozzáférést kell kérniük az arcfelismerő és a szöveget beszéddé alakító (text-to-speech) alkalmazásokhoz. Az arcfelismerő szolgáltatás portré alapján többé nem készít becslést az illető koráról, neméről, érzelmi állapotáról. Jelenlegi felhasználók 2023 júniusáig használhatják ezt a funkciót. A Microsoft azért döntött a 2.0 mellett, mert az első változatot elnagyoltnak tartják. Az új egyértelműbb irányelveket ad a fejlesztőknek. Ezt segítendő, a nagyvállalat kb. húsz eszközt bocsát a rendelkezésükre, amelyekkel könnyebb felelős MI-t kidolgozni. Például a HAX Workbook az ergonómián javít, az InterpretML segít elmagyarázni a modell viselkedését, a Counterfit biztonsági stressz-tesztet végez.

https://jelenbolajovobe.blog.hu/2022/07/19/etikus_mi_2