Umělá inteligence se neřídí logikou vědeckého pokroku
Mnohokrát jsme v MT psali o výzkumnících a profesionálech, kteří prohlašují systémy strojového učení za „černé skříňky“ (1) i pro ty, kdo je vytvářejí. To ztěžuje hodnocení výsledků a opětovné použití nově vznikajících algoritmů.
Neuronové sítě – technika, která nám poskytuje inteligentní konvertující roboty a důmyslné textové generátory, které dokonce dokážou vytvářet poezii – zůstávají pro vnější pozorovatele nepochopitelnou záhadou.
Jsou stále větší a složitější, zpracovávají obrovské datové sady a používají masivní výpočetní pole. To činí replikaci a analýzu získaných modelů nákladnými a někdy nemožnými pro jiné výzkumníky, s výjimkou velkých center s obrovskými rozpočty.
Mnoho vědců si tento problém dobře uvědomuje. Mezi nimi je Joel Pino (2), předseda NeurIPS, přední konference o reprodukovatelnosti. Odborníci pod jejím vedením chtějí vytvořit „kontrolní seznam reprodukovatelnosti“.
Pino řekl, že myšlenkou je povzbudit výzkumné pracovníky, aby nabídli ostatním plán, aby mohli znovu vytvořit a použít již vykonanou práci. Můžete žasnout nad výmluvností nového textového generátoru nebo nadlidskou obratností videoherního robota, ale ani ti nejlepší odborníci netuší, jak tyto zázraky fungují. Reprodukce modelů AI je proto důležitá nejen pro identifikaci nových cílů a směrů výzkumu, ale také jako ryze praktický návod k použití.
Ostatní se snaží tento problém vyřešit. Výzkumníci Google nabídli „karty modelů“, aby podrobně popsali, jak byly systémy testovány, včetně výsledků, které poukazují na potenciální chyby. Výzkumníci z Allen Institute for Artificial Intelligence (AI2) zveřejnili dokument, jehož cílem je rozšířit kontrolní seznam Pinotovy reprodukovatelnosti na další kroky experimentálního procesu. "Ukažte svou práci," vyzývají.
Někdy chybí základní informace, protože výzkumný projekt je ve vlastnictví zejména laboratoří pracujících pro společnost. Častěji je to však známka neschopnosti popsat měnící se a stále složitější metody výzkumu. Neuronové sítě jsou velmi složitá oblast. K dosažení nejlepších výsledků je často vyžadováno jemné doladění tisíců „knobů a tlačítek“, kterým někteří říkají „černá magie“. Výběr optimálního modelu je často spojen s velkým množstvím experimentů. Magie se stává velmi drahou.
Když se například Facebook pokusil replikovat práci AlphaGo, systému vyvinutého společností DeepMind Alphabet, tento úkol se ukázal jako extrémně obtížný. Obrovské výpočetní požadavky, miliony experimentů na tisících zařízení po mnoho dní, v kombinaci s nedostatkem kódu, způsobily, že podle zaměstnanců Facebooku bylo „velmi obtížné, ne-li nemožné, systém znovu vytvořit, otestovat, vylepšit a rozšířit“.
Zdá se, že problém je specializovaný. Pokud se však zamyslíme dále, fenomén problémů s reprodukovatelností výsledků a funkcí mezi jedním a druhým výzkumným týmem podkopává veškerou nám známou logiku fungování vědy a výzkumu. Výsledky předchozího výzkumu mohou být zpravidla použity jako základ pro další výzkum, který stimuluje rozvoj znalostí, technologií a všeobecný pokrok.
