Vidokezo kutoka kwa timu ya Usalama wa Itifaki ya Taasisi ya Ethereum kuhusu kuendesha mawakala wa AI walioratibiwa dhidi ya msimbo halisi wa itifaki, ikijumuisha jinsi tunavyopanga kazi, kile kinachostahimili uchunguzi, na kile ambacho timu za wateja na watafiti wa usalama wanaweza kujifunza kutokana nayo. Chapisho hili linajitegemea; machapisho ya baadaye yataingia kwa undani zaidi kuhusu wateja binafsi.
Kile ambacho tumekuwa tukiendesha, na kile kilichotushangaza
Katika timu ya Usalama wa Itifaki ya Taasisi ya Ethereum, tumekuwa tukiendesha mawakala wa AI walioratibiwa dhidi ya aina za mifumo ambayo mtandao unategemea, kama vile programu za mifumo, msimbo wa kigriptografia, na mikataba ambayo lazima iwe sahihi. Mawakala walipata hitilafu halisi. Moja sasa ipo wazi: hofu inayoweza kuanzishwa kwa mbali katika gossipsub ya libp2p, sehemu kuu ya tabaka la rika-kwa-rika ambalo wateja wa mwafaka wa Ethereum wanaendeshwa, iliyorekebishwa na kufichuliwa kama CVE-2026-34219 kwa kutoa sifa kwa timu.
Mawakala kupata hitilafu haikuwa jambo la kushangaza. Cha kushangaza ni jinsi kazi kidogo ilivyotumika katika kuzipata, na jinsi kazi nyingi ilivyotumika katika kutofautisha hitilafu halisi na zile ambazo zilionekana tu kuwa halisi.
Chapisho hili ni kwa ajili ya timu za wateja na watafiti wa usalama wanaotaka kufanya jambo lile lile. Linashughulikia jinsi tunavyopanga mawakala, kiwango ambacho mgombea anapaswa kufikia kabla ya kuhesabiwa kama ugunduzi, na tabia zinazofanya matokeo yawe ya kuaminika.
Timu kwingineko zinakubaliana kwenye mbinu hiyo hiyo. Timu ya Red ya Eneo Jipya ya Anthropic iliunda wakala ambaye anaandika majaribio yanayotegemea sifa na kupata hitilafu halisi katika mfumo mzima wa Python. Cloudflare iliendesha modeli ya Eneo Jipya kupitia mfumo wa utafiti wa usalama dhidi ya mifumo yao wenyewe. Kila mtu anafikia mzunguko ule ule: elekeza modeli yenye uwezo kwenye msingi wa msimbo, iruhusu itafute, na uchambue kile kinachorudi. Kwa hivyo swali la msingi ni jinsi ya kufanya hivi bila kuzama katika kelele zinazosikika kwa ujasiri.
Angalizo moja mapema: zana za ukaguzi unaoendeshwa na mawakala zinasonga haraka, na usanidi wowote maalum hupitwa na wakati ndani ya wiki chache. Kwa hivyo chapisho hili linahusu makusudi mbinu, ambazo ni za kudumu, badala ya zana. Ufichuaji ni mada inayojitegemea na huenda ikawa chapisho lake lenyewe.
Wakala ni zana ya kutafuta, sio orakeli
Wakala anayeelekezwa kwenye msingi wa msimbo ni zana ya kutafuta, sawa sana na fuzzer. Tofauti ni kile kinachorudi. Fuzzer inakupa mkwamo na ufuatiliaji wa staki. Wakala anakupa mengi zaidi, ikijumuisha maelezo (mnyororo wa wito, dai la athari, ukali uliopendekezwa) na vizalia vya kuunga mkono, kama vile uthibitisho wa dhana unaoweza kuendesha dhidi ya msimbo halisi.
Yote hayo yanafanya matokeo kuwa rahisi kusoma na rahisi kuamini, hasa uthibitisho wa dhana unaoendeshwa. Kwa hivyo usihesabu ni wagombea wangapi ambao wakala anazalisha. Hesabu ni wangapi wanageuka kuwa halisi.
Jinsi kazi inavyopangwa
Tunaendesha mawakala wengi sambamba dhidi ya lengo moja. Wanaratibu kupitia hazina yenyewe, na hali iliyoshirikiwa katika udhibiti wa toleo na hakuna mchakato mkuu unaotoa kazi. Wakala anaandika dai ambapo wengine wanaweza kuliona, anafanya kazi, na kuwasilisha.
Tulipata mbinu hii kutoka kwa maelezo ya Anthropic kuhusu kuunda kikusanyaji cha C na kundi la mawakala, ambayo inaratibu kwa njia sawa. Hakuna mratibu mkuu wa kuunda au kudumisha, na kuna uwezekano mdogo wa mambo kuharibika.
Majukumu yanazalishwa na kazi inayovumbuliwa:
- Upelelezi unageuza eneo la kushambuliwa kuwa dhana thabiti, zinazoweza kujaribiwa. Sio "kagua kisimbuzi" bali "uga huu unaaminika kupita hatua hii; hii hapa ni sifa inayopaswa kuweka, njia ambayo inaweza kuvunjika, na uthibitisho ambao ungesuluhisha hilo."
- Uwindaji unachukua dhana moja, unafuatilia njia ya msimbo, na kujaribu kuunda kizalishaji upya.
- Kujaza mapengo kunaangalia kile kilichokubaliwa na kile kilichokataliwa, kunaandika kundi linalofuata la dhana, na kufuatilia ufikiaji ili mawakala wasiendelee kupitia eneo lile lile.
- Uthibitishaji unakagua tena kila mgombea kwa kujitegemea, unaondoa nakala, na kuamua.
Hatukubuni mtiririko huu. Cloudflare inaelezea hatua zile zile, upelelezi, uwindaji sambamba, uthibitishaji huru, uondoaji wa nakala, utoaji wa ripoti, na maelezo yao yalisaidia kuunda yetu.
Hivi ndivyo mgombea anavyoonekana kabla ya kuhesabiwa kama ugunduzi:
lengo: sehemu na kituo cha kuingilia ambacho mshambuliaji anaweza kukifikia kweli isiyobadilika: sifa ambayo lazima ishikiliwe utaratibu: njia maalum ambayo inaweza kufanywa ivunjike mafanikio: uthibitisho unaoonekana: hofu, mkwamo, ingizo batili lililokubaliwa kizalishaji upya: kizalia kinachojitegemea ambacho kinaendeshwa dhidi ya msimbo halisi ondoa nakala: ufunguo, ili mawakala wawili wasifuatilie kitu kimoja
Mpangilio upo kwa sababu maalum. Unalazimisha dai maalum, linaloweza kujaribiwa na ufafanuzi wazi wa kukamilika. Wakala ambaye anapaswa kuandika uthibitisho unaoonekana hawezi kutegemea "hii inaonekana kuwa hatari."
Inayoweza kuzalishwa upya au haikufanyika
Sheria moja ni muhimu zaidi kuliko nyingine yoyote. Mgombea sio ugunduzi hadi kuwe na kizalia kinachojitegemea ambacho kinazalisha upya kufeli dhidi ya msimbo halisi, na ambacho kinaendeshwa kwa mtu ambaye hakuandika.
Kizalishaji upya hakisomi maelezo, na hakijali jinsi modeli ilivyosikika kwa ujasiri. Kinaendeshwa au hakiendeshwi.
Thamani yake kubwa ipo katika chanya za uongo inazokamata. Tatu kati yao hujitokeza mara kwa mara, na kila moja ni wakala kupata idhini kwa sababu isiyo sahihi:
- Hofu ambayo hutokea tu katika muundo wa utatuzi. Ikusanye na kuiendesha jinsi programu inavyosafirishwa kweli, na thamani inajizungusha tu. Hakuna kinachokwama. Inaonekana kama mkwamo, lakini sio.
- Kizalishaji upya ambacho kinaunda thamani fulani ya ndani kwa mkono, ambayo hakuna ingizo halisi lingeweza kuzalisha, kwa sababu kila njia anayodhibiti mshambuliaji inaikataa mapema. Hitilafu "inazalishwa upya" tu dhidi ya utendakazi ambao hakuna kitu kinachofikika kinachouita kwa njia hiyo.
- Katika kazi ya uthibitishaji rasmi, uthibitisho ambao unapita lakini haumaanishi kile ulichotaka. Taarifa ni ya kweli kijuujuu bila kujali msimbo unafanya nini, au ni dhaifu kuliko sifa uliyokusudia kunasa. Mhakiki anaridhika, lakini nadharia haizuii tabia uliyojali kweli.
Hakuna kati ya haya ambayo ni mapya. Ni jambo lile lile kama jaribio ambalo linapita kwa sababu halikagui chochote kweli. Kitu kipya ni kiasi. Wakala anaandika toleo lisilofaa kwa haraka kama lile halisi, na kwa ujasiri ule ule. Kwa hivyo ukaguzi lazima uwe wa kiotomatiki. Huwezi kumtegemea wakala kujikamata mwenyewe.
Ishara-kwa-kelele ndio kazi kubwa
Wagombea wengi ni makosa, nakala, au nje ya upeo. Hilo sio tatizo la mbinu; ndivyo inavyofanya kazi. Lengo ni kukataa zile zisizo sahihi haraka na kuunga mkono zile halisi kwa uthibitisho ambao ni mgumu kubishana nao.
Kila mgombea anayenusurika anapata ukaguzi mbili huru. Je, mshambuliaji halisi anaweza kuifikia kweli katika usanidi wa kawaida? Na inamgharimu nini mshambuliaji kufanikisha, ikilinganishwa na kile inachogharimu mtandao ikiwa itafanya kazi? Hitilafu ambayo mwenza yeyote mmoja anaweza kuanzisha ni tofauti sana na ile inayohitaji ufikiaji maalum au kiasi kikubwa cha rasilimali.
Kila kitu kinakaguliwa dhidi ya orodha inayoendelea ya kile ambacho tayari kinajulikana, kilichorekebishwa, au kilichokataliwa. Bila hivyo, mawakala wanaendelea kugundua tena suala lile lile lililofungwa na kuliripoti tena na tena.
Viwango vya kukubalika vinatofautiana sana kutoka lengo hadi lengo, na tofauti hiyo ni muhimu yenyewe. Endesha hii dhidi ya msimbo uliokomaa, uliokaguliwa sana na karibu hakuna kinachonusurika, jambo ambalo bado linafaa kujulikana. "Tulitafuta kwa bidii na hatukupata chochote" ni matokeo halisi. Iendeshe dhidi ya msimbo ambao haujachunguzwa sana, au dhidi ya msimbo uliothibitishwa rasmi, ambapo uthibitisho uliokaguliwa na mashine unashughulikia modeli na msimbo wa baiti uliosambazwa unachukuliwa tu kuendana nayo, na mengi zaidi yanapita.
Sisi sio pekee tuliogundua kuwa uchambuzi ndio sehemu ngumu. Jambo kuu la kujifunza la Cloudflare lilikuwa kwamba upeo mwembamba unashinda uchanganuzi mpana. Wakala wa majaribio yanayotegemea sifa wa Anthropic alizalisha kitu kama ripoti elfu moja za wagombea, kisha akatumia upangaji na ukaguzi wa wataalam kufikia kiwango cha juu ambacho kilistahimili asilimia 86 ya wakati. Uzalishaji ulikuwa sehemu rahisi. Sitachapisha nambari zetu wenyewe hapa; zikifungamanishwa na lengo maalum, zingesema mengi kuhusu lengo kuliko kuhusu mbinu.
Kile ambacho mawakala ni wazuri nacho, na pale wanapopotosha
Kuna msisimko katika pande zote mbili, kwa hivyo hii hapa ni orodha wazi ya kile ambacho mawakala wanafanya vizuri na pale wanapopotosha.
| Wazuri kwa | Wanapotosha kwa |
|---|---|
| Kusoma vipimo na msimbo kwa pamoja | Minyororo ya wito inayoonekana kufikika lakini haifikiki |
| Kueleza na kukagua isiyobadilika halisi | Kuchezea ukaguzi wa mafanikio (kupita kwa sababu isiyo sahihi). |
| Kuandaa kizalishaji upya kutoka kwa wazo la mstari mmoja | Kukuza ukali ili kuendana na jinsi maelezo yanavyosikika kuwa makubwa |
| Kupendekeza chanzo kikuu kabla hujaangalia | Hitilafu zinazochukua mfululizo wa hatua halali |
Mgawanyo hata sio thabiti kutoka kazi moja hadi nyingine. Stanislav Fort, akijaribu anuwai ya modeli kwenye udhaifu halisi, anaita hii Eneo Jipya lenye mapengo, au modeli inayorejesha mnyororo kamili wa unyonyaji kwenye msingi mmoja wa msimbo inaweza kushindwa ufuatiliaji wa kimsingi wa mtiririko wa data kwenye mwingine. Huwezi kudhani matokeo moja mazuri yanamaanisha linalofuata litastahimili, ambayo ni sababu nyingine kila mgombea anakaguliwa peke yake.
Safu ya mwisho ndiyo muhimu. Kipindi cha wakala mmoja ni kizuri katika hoja za mara moja na kibaya katika hitilafu zinazochukua mfululizo wa hatua, ambapo kila hatua ni halali na mpangilio pekee ndio mbaya. Kwa hizo, wakala sio zana ya kutafuta. Kazi yake ni kupendekeza ni mfululizo upi unaofaa kuendeshwa kupitia mfumo wa majaribio wenye hali. Ikitumika kwa njia hiyo, inafanya kazi vizuri. Ikitumika kama mbadala wa mfumo, inakosa hitilafu ghali zaidi zilizopo, zile ambazo hujitokeza tu katika mfululizo.
Kuiweka kuwa ya kweli
Mbinu chache hufanya kazi kubwa ya kufanya matokeo ya wakala yawe ya kuaminika, na hakuna hata moja ambayo ni ngumu.
- Asili kwenye kila kizalia: nini kilikizalisha, kwa muktadha gani, dhidi ya marekebisho yapi. Ugunduzi unapaswa kuwa kitu unachoweza kuendesha tena miezi kadhaa baadaye.
- Uthabiti pale inapohitajika: mazingira moja, njia moja ya kuunda na kuendesha, kwa hivyo "inazalisha upya" inamaanisha kitu kimoja kwenye kila mashine, sio tu ile ambapo ilipatikana.
- Kanuni, sio hati: waambie mawakala kile ambacho ni muhimu, zisizobadilika na kiwango cha ugunduzi halisi, badala ya utaratibu ulio na nambari. Mawakala waliopewa hati kupita kiasi wanavunjika kwa njia sawa na majaribio yaliyobainishwa kupita kiasi, wanaendelea kufuata hatua baada ya hatua kuacha kuleta maana. Utafiti wa faili za muktadha wa hazina uligundua jambo lile lile: mahitaji ya ziada yalipunguza mafanikio ya kazi na kuongeza gharama kwa zaidi ya 20%, na waandishi wanapendekeza kuweka muktadha kwa mahitaji ya chini kabisa.
- Mtu anafanya uamuzi wa mwisho: mawakala wanapendekeza. Hawaamui nini ni halisi, nini ni nakala ya suala linalojulikana, au nini kinafichuliwa na lini.
Kizuizi kilihamishwa
AI haikuchukua nafasi ya mtafiti wa usalama. Ilihamisha kazi. Muda ambao ulikuwa ukitumika katika kuja na kufuatilia dhana sasa unaenda katika kuzihukumu kwa kiwango kikubwa, ikijumuisha kuunda orakeli, kuendesha uchambuzi, kuweka orodha ya masuala yanayojulikana, na kushughulikia ufichuaji.
Kizuizi hakikuondoka. Kilihama kutoka kupata hitilafu hadi kuamini matokeo, ambalo ni eneo zuri zaidi kwake, kwa sababu hapo ndipo uamuzi wa binadamu unajalisha kweli. Lakini bado ni kizuizi, na kupuuza hilo ndivyo unavyoishia kusafirisha "iko sawa" isiyo sahihi.
Mbinu zinazofanya hili lifanye kazi sio mpya. Kufeli kunakoweza kuzalishwa upya, orakeli halisi, na uchambuzi makini ni mbinu zile zile zilizogeuza fuzzing kutoka mada ya utafiti kuwa mbinu ya kawaida katika kipindi cha miaka kumi na tano iliyopita. Zana ni mpya. Mbinu sio mpya.
Jinsi zana zinavyoendelea kubadilika kwa haraka ni swali wazi. Nicholas Carlini, mwangalifu na ambaye aliwahi kuwa na shaka yeye mwenyewe, anatoa hoja kwamba kesi ya kielelezo inafaa kuchukuliwa kwa uzito, hata wakati anaweka mipaka mipana ya makosa juu yake. Ikiwa upande wa uzalishaji unapanda haraka hivyo, upande wa uamuzi lazima upande nao, au pengo kati ya kile kinachozalishwa na kile kinachothibitishwa kweli linaongezeka tu.
Kwa mifumo ambayo Ethereum inategemea, hiyo ndiyo sehemu muhimu. Mawakala wanaturuhusu kufunika eneo kubwa zaidi kuliko tunavyoweza kwa mkono. Kwa kubadilishana, wanaomba uamuzi makini zaidi, katika rundo kubwa zaidi la madai yanayosikika kwa ujasiri. Hiyo ni biashara inayofaa kufanywa, mradi tu unakumbuka kuwa uamuzi ndio bidhaa halisi.