నిజమైన ప్రోటోకాల్ కోడ్పై సమన్వయంతో కూడిన AI ఏజెంట్లను రన్ చేయడం గురించి ఎథీరియం ఫౌండేషన్ యొక్క ప్రోటోకాల్ సెక్యూరిటీ బృందం నుండి గమనికలు, ఇందులో మేము పనిని ఎలా నిర్వహిస్తాము, పరిశీలనలో ఏది నిలబడుతుంది మరియు క్లయింట్ బృందాలు మరియు భద్రతా పరిశోధకులు దీని నుండి ఏమి తీసుకోవచ్చు అనేవి ఉన్నాయి. ఈ పోస్ట్ దేనికదే ప్రత్యేకంగా ఉంటుంది; తదుపరి పోస్ట్లు వ్యక్తిగత క్లయింట్ల గురించి మరింత లోతుగా వివరిస్తాయి.
మేము దేనిని రన్ చేస్తున్నాము మరియు మమ్మల్ని ఆశ్చర్యపరిచినది ఏమిటి
ఎథీరియం ఫౌండేషన్ యొక్క ప్రోటోకాల్ సెక్యూరిటీ బృందంలో, నెట్వర్క్ ఆధారపడే సిస్టమ్ సాఫ్ట్వేర్, క్రిప్టోగ్రాఫిక్ కోడ్ మరియు కచ్చితంగా ఉండాల్సిన కాంట్రాక్ట్ల వంటి సిస్టమ్లపై మేము సమన్వయంతో కూడిన AI ఏజెంట్లను రన్ చేస్తున్నాము. ఏజెంట్లు నిజమైన బగ్లను కనుగొన్నారు. వాటిలో ఒకటి ఇప్పుడు పబ్లిక్ చేయబడింది: ఎథీరియం ఏకాభిప్రాయం (consensus) క్లయింట్లు రన్ అయ్యే పీర్-టు-పీర్ లేయర్లో కీలక భాగమైన libp2p యొక్క gossipsub లో రిమోట్గా ట్రిగ్గర్ చేయగల పానిక్, ఇది పరిష్కరించబడింది మరియు బృందానికి క్రెడిట్తో CVE-2026-34219 గా వెల్లడించబడింది.
ఏజెంట్లు బగ్లను కనుగొనడం ఆశ్చర్యం కలిగించలేదు. ఆశ్చర్యకరమైన విషయం ఏమిటంటే, వాటిని కనుగొనడానికి ఎంత తక్కువ పని అవసరమైంది మరియు నిజమైన బగ్లను కేవలం నిజమైనవిగా కనిపించే వాటి నుండి వేరు చేయడానికి ఎంత ఎక్కువ పని అవసరమైంది అనేది.
ఇదే పని చేయాలనుకునే క్లయింట్ బృందాలు మరియు భద్రతా పరిశోధకుల కోసం ఈ పోస్ట్ ఉద్దేశించబడింది. మేము ఏజెంట్లను ఎలా నిర్వహిస్తాము, ఒక అభ్యర్థి ఫైండింగ్గా పరిగణించబడటానికి ముందు దాటాల్సిన ప్రమాణం మరియు ఫలితాలను విశ్వసనీయంగా ఉంచే అలవాట్లను ఇది కవర్ చేస్తుంది.
ఇతర చోట్ల ఉన్న బృందాలు కూడా ఇదే పద్ధతిని అనుసరిస్తున్నాయి. ఆంత్రోపిక్ (Anthropic) యొక్క ఫ్రాంటియర్ రెడ్ టీమ్ ఒక ఏజెంట్ను నిర్మించింది, అది ప్రాపర్టీ-ఆధారిత పరీక్షలను వ్రాస్తుంది మరియు Python ఎకోసిస్టమ్లో నిజమైన బగ్లను కనుగొంది. క్లౌడ్ఫ్లేర్ (Cloudflare) తమ సొంత సిస్టమ్లపై సెక్యూరిటీ-రీసెర్చ్ హార్నెస్ ద్వారా ఒక ఫ్రాంటియర్ మోడల్ను రన్ చేసింది. ప్రతి ఒక్కరూ ఒకే లూప్కు చేరుకుంటారు: ఒక సమర్థవంతమైన మోడల్ను కోడ్బేస్పై గురిపెట్టడం, దానిని వెతకనివ్వడం మరియు తిరిగి వచ్చే వాటిని ట్రయాజ్ (triage) చేయడం. కాబట్టి అసలు ప్రశ్న ఏమిటంటే, నమ్మకంగా అనిపించే అనవసరమైన సమాచారంలో మునిగిపోకుండా దీన్ని ఎలా చేయాలి అనేది.
ముందుగా ఒక హెచ్చరిక: ఏజెంట్-ఆధారిత ఆడిట్ల కోసం టూలింగ్ వేగంగా మారుతుంది మరియు ఏదైనా నిర్దిష్ట సెటప్ కొన్ని వారాల్లోనే పాతబడిపోతుంది. కాబట్టి ఈ పోస్ట్ ఉద్దేశపూర్వకంగా టూలింగ్ గురించి కాకుండా, స్థిరంగా ఉండే పద్ధతుల గురించి వివరిస్తుంది. డిస్క్లోజర్ (వెల్లడింపు) అనేది దానికి అదే ఒక ప్రత్యేక అంశం మరియు బహుశా అది ఒక ప్రత్యేక పోస్ట్గా రావచ్చు.
ఏజెంట్ అనేది ఒక శోధన సాధనం, ఆరకిల్ కాదు
కోడ్బేస్పై గురిపెట్టిన ఏజెంట్ అనేది ఫజర్ (fuzzer) లాంటి ఒక శోధన సాధనం. తేడా ఏమిటంటే తిరిగి వచ్చే ఫలితంలో ఉంటుంది. ఫజర్ మీకు క్రాష్ మరియు స్టాక్ ట్రేస్ను ఇస్తుంది. ఒక ఏజెంట్ మీకు రైట్-అప్ (కాల్ చైన్, ప్రభావం గురించిన క్లెయిమ్, సూచించిన తీవ్రత) మరియు దానికి మద్దతు ఇచ్చే ఆర్టిఫాక్ట్లు, అంటే మీరు నిజమైన కోడ్పై రన్ చేయగల ప్రూఫ్-ఆఫ్-కాన్సెప్ట్ వంటి మరెన్నో ఇస్తుంది.
ఇవన్నీ ఫలితాన్ని చదవడానికి మరియు విశ్వసించడానికి సులభతరం చేస్తాయి, ముఖ్యంగా రన్ అవుతున్న ప్రూఫ్-ఆఫ్-కాన్సెప్ట్. కాబట్టి ఏజెంట్ ఎంత మంది అభ్యర్థులను ఉత్పత్తి చేస్తుందో లెక్కించవద్దు. వాటిలో ఎన్ని నిజమైనవిగా తేలాయో లెక్కించండి.
పని ఎలా నిర్వహించబడుతుంది
మేము ఒకే లక్ష్యంపై సమాంతరంగా అనేక ఏజెంట్లను రన్ చేస్తాము. అవి రిపోజిటరీ ద్వారానే సమన్వయం చేసుకుంటాయి, వెర్షన్ కంట్రోల్లో భాగస్వామ్య స్థితి ఉంటుంది మరియు పనిని అప్పగించే కేంద్ర ప్రక్రియ ఏదీ ఉండదు. ఒక ఏజెంట్ ఇతరులు చూడగలిగే చోట ఒక క్లెయిమ్ రాస్తుంది, పని చేస్తుంది మరియు కమిట్ చేస్తుంది.
ఏజెంట్ల సమూహంతో C కంపైలర్ను నిర్మించడం గురించి ఆంత్రోపిక్ రాసిన రైట్-అప్ నుండి మేము ఈ విధానాన్ని తీసుకున్నాము, ఇది కూడా అదే విధంగా సమన్వయం చేస్తుంది. నిర్మించడానికి లేదా నిర్వహించడానికి కేంద్ర కోఆర్డినేటర్ ఎవరూ లేరు మరియు తప్పు జరగడానికి తక్కువ ఆస్కారం ఉంటుంది.
కనుగొనబడిన పని ద్వారా పాత్రలు సృష్టించబడతాయి:
- రికాన్ (Recon) ఎటాక్ సర్ఫేస్ను నిర్దిష్టమైన, పరీక్షించదగిన పరికల్పనలుగా మారుస్తుంది. "డీకోడర్ను ఆడిట్ చేయండి" అని కాకుండా "ఈ ఫీల్డ్ ఈ పాయింట్ దాటిన తర్వాత విశ్వసించబడుతుంది; ఇది ఉంచాల్సిన ప్రాపర్టీ ఇక్కడ ఉంది, ఇది విచ్ఛిన్నమయ్యే విధానం మరియు దానిని నిర్ధారించే రుజువు ఇక్కడ ఉంది."
- హంటింగ్ (Hunting) ఒక పరికల్పనను తీసుకుంటుంది, కోడ్ పాత్ను ట్రేస్ చేస్తుంది మరియు రీప్రొడ్యూసర్ను నిర్మించడానికి ప్రయత్నిస్తుంది.
- గ్యాప్-ఫిల్లింగ్ (Gap-filling) ఏది ఆమోదించబడింది మరియు ఏది తిరస్కరించబడింది అని చూస్తుంది, తదుపరి బ్యాచ్ పరికల్పనలను వ్రాస్తుంది మరియు కవరేజీని ట్రాక్ చేస్తుంది, తద్వారా ఏజెంట్లు ఒకే విషయాన్ని మళ్లీ మళ్లీ చేయకుండా ఉంటాయి.
- వాలిడేషన్ (Validation) ప్రతి అభ్యర్థిని స్వతంత్రంగా మళ్లీ తనిఖీ చేస్తుంది, నకిలీలను తీసివేస్తుంది మరియు నిర్ణయిస్తుంది.
మేము ఈ పైప్లైన్ను కనిపెట్టలేదు. క్లౌడ్ఫ్లేర్ కూడా రికాన్, సమాంతర హంటింగ్, స్వతంత్ర వాలిడేషన్, డీడ్యూప్లికేషన్, రిపోర్టింగ్ వంటి అవే దశలను వివరిస్తుంది మరియు వారి రైట్-అప్ మా విధానాన్ని రూపొందించడంలో సహాయపడింది.
ఒక అభ్యర్థి ఫైండింగ్గా పరిగణించబడటానికి ముందు ఎలా ఉంటుందో ఇక్కడ ఉంది:
లక్ష్యం: దాడి చేసే వ్యక్తి వాస్తవానికి చేరుకోగల కాంపోనెంట్ మరియు ఎంట్రీ పాయింట్ ఇన్వేరియంట్: తప్పనిసరిగా ఉండాల్సిన ప్రాపర్టీ మెకానిజం: అది విచ్ఛిన్నమయ్యేలా చేయగల నిర్దిష్ట విధానం విజయం: గమనించదగిన రుజువు: పానిక్, స్టాల్, ఆమోదించబడిన-చెల్లని ఇన్పుట్ రీప్రొడ్యూసర్: నిజమైన కోడ్పై రన్ అయ్యే స్వయం-సమగ్ర ఆర్టిఫాక్ట్ డీడ్యూప్: ఒక కీ, తద్వారా ఇద్దరు ఏజెంట్లు ఒకే విషయాన్ని వెంబడించరు
స్కీమా ఉండటానికి ఒక కారణం ఉంది. ఇది ఒక నిర్దిష్టమైన, పరీక్షించదగిన క్లెయిమ్ మరియు పని పూర్తయిందనడానికి స్పష్టమైన నిర్వచనాన్ని బలవంతం చేస్తుంది. గమనించదగిన రుజువును వ్రాయాల్సిన ఏజెంట్ "ఇది ప్రమాదకరంగా కనిపిస్తోంది" అని చెప్పి తప్పించుకోలేదు.
పునరుత్పత్తి చేయగలిగితేనే జరిగినట్లు, లేదంటే లేదు
అన్నిటికంటే ఒక నియమం చాలా ముఖ్యం. నిజమైన కోడ్పై వైఫల్యాన్ని పునరుత్పత్తి చేసే మరియు దానిని వ్రాయని వ్యక్తి కోసం రన్ అయ్యే స్వయం-సమగ్ర ఆర్టిఫాక్ట్ ఉన్నంత వరకు ఒక అభ్యర్థి ఫైండింగ్ కాదు.
రీప్రొడ్యూసర్ రైట్-అప్ను చదవదు మరియు మోడల్ ఎంత నమ్మకంగా ఉందో పట్టించుకోదు. అది రన్ అవుతుంది లేదా రన్ అవ్వదు.
దాని విలువలో ఎక్కువ భాగం అది పట్టుకునే ఫాల్స్ పాజిటివ్లలో ఉంటుంది. వాటిలో మూడు పదే పదే వస్తుంటాయి మరియు ప్రతి ఒక్కటి ఏజెంట్ తప్పు కారణంతో పాస్ అవ్వడమే:
- డీబగ్ బిల్డ్లో మాత్రమే జరిగే పానిక్. సాఫ్ట్వేర్ వాస్తవానికి షిప్ అయ్యే విధంగా దాన్ని కంపైల్ చేసి రన్ చేయండి, అప్పుడు విలువ కేవలం ర్యాప్ అవుతుంది. ఏదీ క్రాష్ అవ్వదు. ఇది క్రాష్ లాగా కనిపిస్తుంది, కానీ అది క్రాష్ కాదు.
- చేతితో కొంత అంతర్గత విలువను నిర్మించే రీప్రొడ్యూసర్, ఏ నిజమైన ఇన్పుట్ కూడా దానిని ఎప్పటికీ ఉత్పత్తి చేయలేదు, ఎందుకంటే దాడి చేసే వ్యక్తి నియంత్రించే ప్రతి మార్గం దానిని ముందే తిరస్కరిస్తుంది. చేరుకోగల ఏదీ ఆ విధంగా కాల్ చేయని ఫంక్షన్పై మాత్రమే బగ్ "పునరుత్పత్తి" అవుతుంది.
- ఫార్మల్-వెరిఫికేషన్ పనిలో, ఒక రుజువు పాస్ అవుతుంది కానీ మీరు కోరుకున్న అర్థాన్ని ఇవ్వదు. కోడ్ ఏమి చేస్తుందనే దానితో సంబంధం లేకుండా స్టేట్మెంట్ సాధారణంగా నిజం అవుతుంది లేదా మీరు క్యాప్చర్ చేయాలనుకున్న ప్రాపర్టీ కంటే ఇది బలహీనంగా ఉంటుంది. ధృవీకర్త సంతృప్తి చెందుతుంది, కానీ సిద్ధాంతం మీరు వాస్తవానికి పట్టించుకున్న ప్రవర్తనను నియంత్రించదు.
ఇవేవీ కొత్తవి కావు. ఇది వాస్తవానికి దేనినీ తనిఖీ చేయనందున పాస్ అయ్యే పరీక్ష లాంటిదే. కొత్త విషయం ఏమిటంటే దాని పరిమాణం. ఒక ఏజెంట్ పనికిరాని వెర్షన్ను నిజమైన దానిలాగే వేగంగా మరియు అంతే నమ్మకంగా వ్రాస్తుంది. కాబట్టి తనిఖీ ఆటోమేటిక్గా జరగాలి. ఏజెంట్ తనను తాను పట్టుకుంటుందని మీరు ఆశించలేరు.
సిగ్నల్-టు-నాయిస్ అనేది చాలా వరకు పని
చాలా మంది అభ్యర్థులు తప్పు, నకిలీ లేదా పరిధికి వెలుపల ఉంటారు. అది పద్ధతితో ఉన్న సమస్య కాదు; అది అలాగే పనిచేస్తుంది. తప్పు వాటిని వేగంగా తిరస్కరించడం మరియు వాదించడానికి కష్టంగా ఉండే రుజువుతో నిజమైన వాటికి మద్దతు ఇవ్వడం దీని లక్ష్యం.
నిలిచి ఉన్న ప్రతి అభ్యర్థికి రెండు స్వతంత్ర తనిఖీలు జరుగుతాయి. సాధారణ కాన్ఫిగరేషన్లో నిజమైన దాడి చేసే వ్యక్తి వాస్తవానికి దానిని చేరుకోగలడా? మరియు అది పనిచేస్తే నెట్వర్క్కు అయ్యే ఖర్చుతో పోలిస్తే, దానిని అమలు చేయడానికి దాడి చేసే వ్యక్తికి ఎంత ఖర్చవుతుంది? ఏ ఒక్క పీర్ అయినా ట్రిగ్గర్ చేయగల బగ్, ప్రత్యేక యాక్సెస్ లేదా భారీ మొత్తంలో వనరులు అవసరమయ్యే బగ్ కంటే చాలా భిన్నంగా ఉంటుంది.
ఇప్పటికే తెలిసిన, పరిష్కరించబడిన లేదా తిరస్కరించబడిన వాటి రన్నింగ్ జాబితాతో ప్రతిదీ తనిఖీ చేయబడుతుంది. అది లేకపోతే, ఏజెంట్లు మూసివేయబడిన అదే సమస్యను మళ్లీ మళ్లీ కనుగొని నివేదిస్తూనే ఉంటాయి.
ఆమోద రేట్లు లక్ష్యాన్ని బట్టి చాలా మారుతూ ఉంటాయి మరియు ఆ వైవిధ్యం దానంతట అదే ఉపయోగకరంగా ఉంటుంది. పరిణతి చెందిన, భారీగా ఆడిట్ చేయబడిన కోడ్పై దీన్ని రన్ చేస్తే దాదాపు ఏదీ నిలబడదు, ఇది కూడా తెలుసుకోవలసిన విషయమే. "మేము తీవ్రంగా వెతికాము మరియు ఏమీ కనుగొనలేదు" అనేది ఒక నిజమైన ఫలితం. తక్కువగా అన్వేషించబడిన కోడ్పై లేదా ఫార్మల్గా ధృవీకరించబడిన కోడ్పై దీన్ని రన్ చేయండి, ఇక్కడ మెషిన్-చెక్ చేయబడిన రుజువు ఒక మోడల్ను కవర్ చేస్తుంది మరియు డిప్లాయ్ చేయబడిన బైట్కోడ్ దానికి సరిపోలుతుందని మాత్రమే భావించబడుతుంది, అప్పుడు మరిన్ని ఆమోదించబడతాయి.
ట్రయాజ్ అనేది కష్టమైన భాగం అని కనుగొన్నది మేము మాత్రమే కాదు. క్లౌడ్ఫ్లేర్ యొక్క ప్రధాన సారాంశం ఏమిటంటే, విస్తృత స్కానింగ్ కంటే ఇరుకైన పరిధి మెరుగ్గా పనిచేస్తుంది. ఆంత్రోపిక్ యొక్క ప్రాపర్టీ-ఆధారిత-టెస్టింగ్ ఏజెంట్ దాదాపు వెయ్యి అభ్యర్థి నివేదికలను రూపొందించింది, ఆపై ర్యాంకింగ్ మరియు నిపుణుల సమీక్షను ఉపయోగించి టాప్ టైర్కు తగ్గించింది, ఇది సుమారు 86 శాతం సమయం నిలబడింది. ఉత్పత్తి చేయడం అనేది సులభమైన భాగం. నేను మా స్వంత సంఖ్యలను ఇక్కడ ప్రచురించడం లేదు; ఒక నిర్దిష్ట లక్ష్యానికి కట్టుబడి ఉంటే, అవి పద్ధతి గురించి కంటే లక్ష్యం గురించి ఎక్కువగా చెబుతాయి.
ఏజెంట్లు దేనిలో మంచివి మరియు అవి ఎక్కడ తప్పుదారి పట్టిస్తాయి
రెండు వైపులా హైప్ ఉంది, కాబట్టి ఏజెంట్లు ఏమి బాగా చేస్తాయి మరియు అవి ఎక్కడ తప్పుదారి పట్టిస్తాయి అనే దాని సాధారణ జాబితా ఇక్కడ ఉంది.
| దేనిలో మంచివి | ఎక్కడ తప్పుదారి పట్టిస్తాయి |
|---|---|
| స్పెక్ మరియు కోడ్ను కలిపి చదవడం | చేరుకోగలిగినట్లుగా కనిపించే కానీ చేరుకోలేని కాల్ చైన్లు |
| నిజమైన ఇన్వేరియంట్ను పేర్కొనడం మరియు తనిఖీ చేయడం | సక్సెస్ చెక్ను గేమింగ్ చేయడం (తప్పు కారణంతో పాస్ అవ్వడం). |
| ఒక-లైన్ ఆలోచన నుండి రీప్రొడ్యూసర్ను డ్రాఫ్ట్ చేయడం | రైట్-అప్ ఎంత నాటకీయంగా ఉందో దానికి సరిపోయేలా తీవ్రతను పెంచడం |
| మీరు చూడకముందే మూలకారణాన్ని సూచించడం | చెల్లుబాటు అయ్యే దశల క్రమంలో విస్తరించి ఉండే బగ్లు |
ఒక టాస్క్ నుండి మరొక టాస్క్కు ఈ విభజన స్థిరంగా ఉండదు. స్టానిస్లావ్ ఫోర్ట్ (Stanislav Fort), నిజమైన దుర్బలత్వాలపై మోడల్ల శ్రేణిని పరీక్షిస్తూ, దీనిని జాగెడ్ ఫ్రాంటియర్ అని పిలుస్తారు, లేదా ఒక కోడ్బేస్పై పూర్తి ఎక్స్ప్లాయిట్ చైన్ను రికవర్ చేసే మోడల్ మరొక దానిపై ప్రాథమిక డేటా-ఫ్లో ట్రేసింగ్లో విఫలం కావచ్చు. ఒక మంచి ఫలితం అంటే తదుపరిది కూడా నిలబడుతుందని మీరు అనుకోలేరు, ప్రతి అభ్యర్థిని స్వతంత్రంగా తనిఖీ చేయడానికి ఇది మరొక కారణం.
చివరి అడ్డు వరుస ముఖ్యమైనది. ఒకే ఏజెంట్ సెషన్ వన్-షాట్ రీజనింగ్లో మంచిది మరియు దశల క్రమంలో విస్తరించి ఉండే బగ్లలో చెడ్డది, ఇక్కడ ప్రతి దశ చెల్లుబాటు అవుతుంది మరియు క్రమం మాత్రమే తప్పుగా ఉంటుంది. వాటి కోసం, ఏజెంట్ శోధన సాధనం కాదు. స్టేట్ఫుల్ టెస్ట్ హార్నెస్ ద్వారా ఏ సీక్వెన్స్లను రన్ చేయడం విలువైనదో సూచించడం దీని పని. ఆ విధంగా ఉపయోగించినప్పుడు, ఇది బాగా పనిచేస్తుంది. హార్నెస్కు ప్రత్యామ్నాయంగా ఉపయోగించినప్పుడు, ఇది అత్యంత ఖరీదైన బగ్లను కోల్పోతుంది, అవి కేవలం ఒక సీక్వెన్స్లో మాత్రమే కనిపిస్తాయి.
దీనిని నిజాయితీగా ఉంచడం
కొన్ని అలవాట్లు ఏజెంట్ ఫైండింగ్లను విశ్వసనీయంగా మార్చడంలో చాలా వరకు పని చేస్తాయి మరియు వాటిలో ఏవీ సంక్లిష్టమైనవి కావు.
- ప్రతి ఆర్టిఫాక్ట్పై మూలం (Provenance): దానిని ఏది ఉత్పత్తి చేసింది, ఏ సందర్భంతో, ఏ రివిజన్పై. ఫైండింగ్ అనేది మీరు నెలల తర్వాత మళ్లీ రన్ చేయగలదిగా ఉండాలి.
- అవసరమైన చోట డిటర్మినిజం: ఒక పర్యావరణం, నిర్మించడానికి మరియు రన్ చేయడానికి ఒక మార్గం, కాబట్టి "పునరుత్పత్తి" అంటే అది కనుగొనబడిన మెషీన్లో మాత్రమే కాకుండా ప్రతి మెషీన్లో ఒకే అర్థాన్ని ఇస్తుంది.
- నిబంధనలు, స్క్రిప్ట్లు కాదు: సంఖ్యాపరమైన విధానానికి బదులుగా, ఏది ముఖ్యమో, ఇన్వేరియంట్లు మరియు నిజమైన ఫైండింగ్ కోసం ప్రమాణం ఏమిటో ఏజెంట్లకు చెప్పండి. ఓవర్-స్క్రిప్ట్ చేయబడిన ఏజెంట్లు ఓవర్-స్పెసిఫైడ్ పరీక్షల మాదిరిగానే విచ్ఛిన్నమవుతాయి, దశలు అర్థరహితంగా మారిన తర్వాత కూడా అవి దశలను అనుసరిస్తూనే ఉంటాయి. రిపోజిటరీ కాంటెక్స్ట్ ఫైల్ల అధ్యయనం కూడా ఇదే విషయాన్ని కనుగొంది: అదనపు అవసరాలు టాస్క్ విజయాన్ని తగ్గించాయి మరియు ఖర్చును 20% కంటే ఎక్కువ పెంచాయి, మరియు రచయితలు కాంటెక్స్ట్ను కనీస అవసరాలకు ఉంచాలని సిఫార్సు చేస్తున్నారు.
- ఒక వ్యక్తి తుది నిర్ణయం తీసుకుంటారు: ఏజెంట్లు సూచిస్తాయి. ఏది నిజం, తెలిసిన సమస్యకు ఏది నకిలీ, లేదా ఏది ఎప్పుడు వెల్లడించబడుతుంది అనేది అవి నిర్ణయించవు.
అడ్డంకి మారింది
AI భద్రతా పరిశోధకుడిని భర్తీ చేయలేదు. అది పనిని మార్చింది. పరికల్పనలను తీసుకురావడానికి మరియు వెంబడించడానికి వెచ్చించే సమయం ఇప్పుడు వాటిని భారీ స్థాయిలో అంచనా వేయడానికి వెళుతుంది, ఇందులో ఆరకిల్ను నిర్మించడం, ట్రయాజ్ను రన్ చేయడం, తెలిసిన సమస్యల జాబితాను ఉంచడం మరియు డిస్క్లోజర్ను నిర్వహించడం వంటివి ఉన్నాయి.
అడ్డంకి పోలేదు. ఇది బగ్లను కనుగొనడం నుండి ఫలితాలను విశ్వసించడం వైపుకు మారింది, ఇది దానికి మెరుగైన ప్రదేశం, ఎందుకంటే అక్కడే మానవ తీర్పు వాస్తవానికి ముఖ్యమైనది. కానీ ఇది ఇప్పటికీ ఒక అడ్డంకి, మరియు దానిని విస్మరించడం వల్లే మీరు తప్పుగా "ఇది బాగానే ఉంది" అని షిప్ చేస్తారు.
ఈ పనిని సాధ్యం చేసే పద్ధతులు కొత్తవి కావు. పునరుత్పత్తి చేయగల వైఫల్యాలు, నిజమైన ఆరకిల్స్ మరియు జాగ్రత్తగా చేసే ట్రయాజ్ అనేవి గత పదిహేనేళ్లలో ఫజ్జింగ్ను పరిశోధనా అంశం నుండి ప్రామాణిక పద్ధతిగా మార్చిన అవే పద్ధతులు. సాధనాలు కొత్తవి. పద్ధతులు కావు.
సాధనాలు ఎంత వేగంగా మారుతూ ఉంటాయి అనేది ఒక ఓపెన్ ప్రశ్న. నికోలస్ కార్లిని (Nicholas Carlini), జాగ్రత్తగా ఉండే వ్యక్తి మరియు ఒకప్పుడు స్వయంగా సంశయవాది, దానిపై విస్తృత ఎర్రర్ బార్లను ఉంచుతూనే, ఘాతాంక (exponential) కేసును తీవ్రంగా పరిగణించడం విలువైనదని వాదించారు. ఉత్పత్తి వైపు అంత వేగంగా ఎదిగితే, తీర్పు వైపు కూడా దానితో పాటు ఎదగాలి, లేదంటే ఉత్పత్తి చేయబడిన దానికి మరియు వాస్తవానికి ధృవీకరించబడిన దానికి మధ్య అంతరం మాత్రమే పెరుగుతుంది.
ఎథీరియం ఆధారపడే సిస్టమ్ల కోసం, అది ముఖ్యమైన భాగం. ఏజెంట్లు మనం చేతితో చేయగలిగిన దానికంటే చాలా ఎక్కువ గ్రౌండ్ను కవర్ చేయడానికి అనుమతిస్తాయి. దానికి బదులుగా, నమ్మకంగా అనిపించే క్లెయిమ్ల యొక్క చాలా పెద్ద కుప్పలో, అవి మరింత జాగ్రత్తగా తీర్పు ఇవ్వాలని అడుగుతాయి. తీర్పు అనేది నిజమైన ఉత్పత్తి అని మీరు గుర్తుంచుకున్నంత కాలం, అది చేయడానికి విలువైన వ్యాపారం.