Nacionalni institut za standarde i tehnologiju (NIST), agencija američkog Ministarstva trgovine koja razvija i testira tehnologiju za američku vladu, kompanije i širu javnost, ponovo je objavila program dizajniran da izmeri koliko zlonamerni napadi – posebno napadi koji „truju” AI model — mogu da pogoršaju performanse AI sistema. 

 Nazvan Dioptra (po klasičnom astronomskom i geodetskom instrumentu), modularni, veb-bazirani alat otvorenog koda, koji je prvi put objavljen 2022. godine, nastoji da pomogne kompanijama da obučavaju AI modele – i ljude koji koriste ove modele – da procene, analiziraju i prate AI rizike. Dioptra se može koristiti za merenje i istraživanje modela, kaže NIST, kao i da obezbedi zajedničku platformu za izlaganje modela simuliranim pretnjama u okruženju „crvenog tima“. 

 „Testiranje efekata suprotstavljenih napada na modele mašinskog učenja jedan je od ciljeva Dioptre“, napisao je NIST u saopštenju za štampu. „Softver otvorenog koda, poput generisanja dece dostupnog za besplatno preuzimanje, mogao bi da pomogne zajednici, uključujući vladine agencije i mala i srednja preduzeća, da sprovedu korake kako bi procenili tvrdnje programera veštačke inteligencije o performansama njihovih sistema. 

Dioptra je debitovala zajedno sa dokumentima NIST-a i NIST-ovog nedavno osnovanog Instituta za bezbednost veštačke inteligencije koji izlažu načine za ublažavanje nekih opasnosti od veštačke inteligencije, kao što je način na koji se može zloupotrebiti za stvaranje pornografije bez saglasnosti. Sledi pokretanje Inspekcije Instituta za bezbednost veštačke inteligencije Ujedinjenog Kraljevstva, skupa alata koji je na sličan način usmeren na procenu mogućnosti modela i ukupne bezbednosti modela. SAD i Ujedinjeno Kraljevstvo imaju stalno partnerstvo za zajednički razvoj naprednog testiranja AI modela, najavljenog na britanskom Samitu o AI bezbednosti u Blečli parku u novembru prošle godine.  

 Dioptra je takođe proizvod izvršne naredbe (EO) predsednika Džoa Bajdena o AI, koja nalaže (između ostalog) da NIST pomaže u testiranju AI sistema. EO, s tim u vezi, takođe uspostavlja standarde za AI bezbednost i bezbednost, uključujući zahteve za kompanije koje razvijaju modele (npr. Apple) da obaveste saveznu vladu i dele rezultate svih bezbednosnih testova pre nego što budu objavljeni u javnosti. 

NIST ne tvrdi da Dioptra može u potpunosti isključiti modele iz rizika. Ali agencija predlaže da Dioptra može baciti svetlo na to koje vrste napada mogu učiniti da sistem veštačke inteligencije radi manje efikasno i kvantifikuje ovaj uticaj na performanse. 

Izvor: techcrunch.com

Možda će vas zanimati: