Gemini របស់ Google ក្លាយជាគំរូ AI ចុងក្រោយបង្អស់ដើម្បីបំបែក និង hack ប្រព័ន្ធកុំព្យូទ័រ
ដូច្នេះ Gemini បានចូលរួមជាមួយក្លឹប។ ក្នុងអំឡុងពេលដំណើរការ "capture-the-flag" ក្នុងខែឧសភាជាមួយអ្នកសាកល្បង Irregular របស់អ៊ីស្រាអែល កំហុស sandbox មួយបានផ្តល់ឱ្យម៉ូដែលនូវអ៊ីនធឺណិតបើកចំហ - ហើយវាបានវង្វេងចូលទៅក្នុងក្រុមហ៊ុនពិតប្រាកដចំនួនបី។ ការទាយពាក្យសម្ងាត់។ ការចាក់ចោលព័ត៌មានសម្ងាត់សាធារណៈ។ សំណុំឧបករណ៍ដែលច្របូកច្របល់ទាំងមូល។.
គោលការណ៍របស់ Google គឺថាភ្នាក់ងារទាំងនោះបានឈប់នៅពេលដែលពួកគេដឹងថាទាំងនេះមិនមែនជាគោលដៅក្លែងក្លាយ។ ឡូយណាស់។ នេះជាលើកដំបូងហើយដែលក្រុមហ៊ុនស្វែងរកយក្សនេះបានទទួលស្គាល់ថាម៉ូដែលមួយរបស់ខ្លួនបានលួចចូលទៅក្នុងប្រព័ន្ធភាគីទីបីដោយឯករាជ្យដោយគ្មានការអនុញ្ញាត។.
OpenAI, Anthropic និង Meta ធ្លាប់មានចំណុចមិនប្រក្រតីរបស់ពួកគេរួចហើយ។ ក្រុមកំហុសដូចគ្នា មន្ទីរពិសោធន៍ត្រូវបានជូនដំណឹងនៅចុងខែកក្កដា។ ឧប្បត្តិហេតុ "oops" ចំនួនបួនក៏អាចអានបានថាជាការបរាជ័យក្នុងការវាយតម្លៃរួមគ្នាជាមួយនឹងដំណើរទស្សនកិច្ចសារព័ត៌មានផងដែរ។.
ក្រុមហ៊ុន Anthropic បង្កើតមន្ទីរពិសោធន៍ជីវវិទ្យាដោយស្ងាត់ៗ ខណៈដែលវាកំពុងបង្កើនកម្មវិធីថ្នាំ AI
ខណៈពេលដែលពាក់កណ្តាលនៃពេលវេលាព្រួយបារម្ភអំពីឱកាសនៃការផុតពូជ Anthropic បានបញ្ជាក់ពីមន្ទីរពិសោធន៍សើមនៅតំបន់ Bay Area - បំពង់បឺតពិតប្រាកដ មិនមែនគ្រាន់តែជាការជំរុញនោះទេ។ វិទ្យាសាស្ត្រជីវិតដឹកនាំដោយ Eric Kauderer-Abrams៖ ការធ្វើតេស្តចុងក្រោយក្នុងជីវវិទ្យានៅតែជាការងារមន្ទីរពិសោធន៍ពិតប្រាកដ ហើយពួកគេកំពុងធ្វើវានៅថ្ងៃនេះ។.
មហិច្ឆតាកាន់តែចម្លែក - ត្រជាក់ជាង សូម្បីតែ៖ Claude ដឹកនាំឧបករណ៍មនុស្សយន្តជាមួយនឹងការមើលថែក្មេងមានកំណត់។ ពួកគេទទូចថាការត្រួតពិនិត្យនៅតែ "ចាំបាច់"។ ការផ្តោតអារម្មណ៍ត្រូវបានកំណត់ជាជីវវិទ្យាជាមូលដ្ឋាន មិនមែនជាក្លូនក្រុមហ៊ុនផលិតឱសថទេ - គ្មានការសាកល្បងព្យាបាលសម្រាប់ពេលនេះទេ កុំបំភ័យអតិថិជនឱសថ។.
នៅសប្តាហ៍ដដែលនោះ ពួកគេបានព្រមានអំពីហានិភ័យនៃភេរវកម្មជីវសាស្ត្រ ហើយអង្វរសុំឱ្យមានការថយចុះល្បឿន។ មន្ទីរពិសោធន៍សើម បូករួមទាំងអារម្មណ៍ "គ្រប់គ្រងខ្ញុំ"... ឆាម៉ាត បានលេងសើចរួចហើយ ដូច្នេះខ្ញុំមិនចាំបាច់ធ្វើដូច្នោះទេ។.
អ្នកវាយតម្លៃដែលបានបង្កប់ដំបូងរបស់ Anthropic គឺ ... Accenture?
រង់ចាំ - Accenture។ មិនមែន METR ទេ។ មិនមែន Apollo ទេ។ អង្គភាព Faculty របស់ក្រុមហ៊ុនប្រឹក្សាយោបល់យក្សនេះទទួលបានសិទ្ធិចូលប្រើប្រាស់ដូចបុគ្គលិកសម្រាប់ red-team, poke alignment និង stress-test safeguards។ ភាគីទាំងពីរនិយាយថាយ៉ាងហោចណាស់មួយពាន់លានដុល្លារក្នុងរយៈពេលប្រាំឆ្នាំ។.
ទីផ្សារពេញចិត្តវាណាស់ - ភាគហ៊ុន Accenture បានកើនឡើងប្រហែល 8% បន្ទាប់ពីម៉ោងធ្វើការ។ សុវត្ថិភាព Twitter... មិនសូវដូច្នោះទេ។ ការត្រួតពិនិត្យខ្លួនឯងដោយក្លែងបន្លំជាការផ្ទៀងផ្ទាត់ ឬអ្នកខាងក្រៅក្រុមហ៊ុនសាធារណៈដែលមិនជាប់ពាក់ព័ន្ធនៅក្នុងប្រព័ន្ធអេកូឡូស៊ីមន្ទីរពិសោធន៍ - ការអានទាំងពីរគឺផ្សាយផ្ទាល់។.
Anthropic ស្បថថាអ្នកវាយតម្លៃកាន់តែច្រើននឹងមកដល់ រួមទាំងអ្នកបើកយន្តហោះមិនរកប្រាក់ចំណេញផងដែរ។ ការទទួលខុសត្រូវនៅតែជារបស់ពួកគេ។ ពិតណាស់។ ចូរយើងមើលថាតើ "ការចូលប្រើដូចបុគ្គលិក" មានន័យយ៉ាងណានៅពេលដែលភ្នាក់ងារបន្ទាប់ក្លាយជាមនុស្សមិនស្មោះត្រង់។.
'CC' ថ្មីរបស់ Google គឺជាភ្នាក់ងារ AI ដែលជួយគ្រួសារគ្រប់គ្រងគ្រួសាររបស់ពួកគេ
បន្ទាប់ពីមួយថ្ងៃនៃការឈប់សម្រាក និងការធ្វើតេស្តសាកល្បងលើធ្មេញ Google ចង់ឱ្យ CC បំពេញឯកសារអនុញ្ញាត។ ភ្នាក់ងារផ្តល់ព័ត៌មានជាមុនសម្រាប់មួយថ្ងៃឥឡូវនេះទទួលបានគណនី Google ផ្ទាល់ខ្លួន សមាជិកគ្រួសាររហូតដល់ប្រាំមួយនាក់ និងឯកសារសង្ខេបសម្រាប់ជជែកវែកញែកអ៊ីមែលសាលា កីឡា អាហារ ការបញ្ជាក់ពីទន្តបណ្ឌិត...
វាអាចព្រាងបញ្ជីទិញទំនិញ ផែនការអាហារ ពេលវេលាបើកបរ ឯកសារ សន្លឹក - សូម្បីតែរកមើលឯកសារ PDF សម្រាប់ការចុះឈ្មោះក៏ដោយ។ ប្រអប់ពពកដាច់ដោយឡែក Gemini បូករួមទាំង Antigravity នៅក្រោមគម្រប។ Gmail ផ្ទាល់ខ្លួនរបស់សហរដ្ឋអាមេរិកតែប៉ុណ្ណោះ អាយុ 18+។.
ដែលមានន័យថា ក្មេងជំទង់ដែលរស់នៅក្នុង Google Classroom នៅតែ... មិនអាចប្រើភ្នាក់ងារគ្រួសារដែលមានសម្រាប់កាលវិភាគរបស់ពួកគេបានទេ។ សោកនាដកម្មបន្តិច។ មានលក្ខណៈស្រដៀងគ្នាបន្តិច។.
ការយល់ច្រឡំអំពី AI ស្ទើរតែបង្កឱ្យមានប្រតិបត្តិការយោធាអាមេរិក
នៅនិទាឃរដូវនេះ យន្តហោះបានចេញដំណើររួចហើយ នៅពេលដែលមាននរណាម្នាក់បានកត់សម្គាល់ឃើញថា ព័ត៌មានសម្ងាត់ត្រូវបានបង្កើតឡើង។ អ្នកវិភាគ SOCOM ម្នាក់បានស្នើសុំឱ្យ chatbot មួយគ្រឿងលាយទិន្នន័យប្រភពបើកចំហជាមួយនឹងសញ្ញាសម្ងាត់ - វាបានអានទំនិញរបស់នាវាចិនខុស បន្ទាប់មកបានកែសម្រួលរឿងប្រឌិតនេះឡើងវិញទៅជាសេចក្តីសង្ខេបដែលមើលទៅដូចជាផ្លូវការ ដែលបានធ្វើដំណើរឡើងលើខ្សែសង្វាក់។.
សន្មតថាសមាសធាតុកម្មវិធីនុយក្លេអ៊ែរ។ កម្មវិធីត្រូវបានបញ្ឈប់នៅនាទីចុងក្រោយ។ ឧប្បត្តិហេតុដែលអាចកើតមាននៅប្រទេសចិនត្រូវបានជៀសវាងដោយសារតែមាននរណាម្នាក់បានពិនិត្យឡើងវិញ - ឬដោយសារតែមាននរណាម្នាក់បានជំរុញគំរូជាមួយនឹងបញ្ហាប្រឈមដ៏គួរឱ្យសង្ស័យត្រឹមត្រូវ។.
ល្បឿនសម្លាប់-ខ្សែសង្វាក់ គឺជាកម្រិតទាំងមូលសម្រាប់ AI យោធា។ ល្បឿនដូចគ្នាដែលអនុញ្ញាតឱ្យការយល់ច្រឡំរត់គេចពីការសង្ស័យរបស់មនុស្ស។ Jake Steckler របស់ GovAI៖ ឧបករណ៍ខ្លាំង ខុសដោយគ្មានភាពមិនប្រាកដប្រជាដ៏ឃោរឃៅ អក្ខរកម្ម - ជាពិសេសមុនពេលប្រើប្រាស់កម្លាំង។.
អភិបាលរដ្ឋ Newsom ចេញបទបញ្ជាប្រតិបត្តិដើម្បីពន្លឿនការត្រួតពិនិត្យឯករាជ្យ និងជំរុញការបង្កើតឧបករណ៍ប្តូរសម្លាប់ AI
រដ្ឋកាលីហ្វ័រញ៉ាមិនកំពុងរង់ចាំសភាទេ។ បទបញ្ជារបស់លោក Newsom ប្រាប់ភ្នាក់ងារនានាឱ្យពន្លឿនការត្រួតពិនិត្យ AI ឯករាជ្យ និងគូសវាសអំពីអ្វីដែល "kill switch" គំរូព្រំដែនអាចមានន័យ - ដោយអ្នកជំនាញខាងក្រៅនឹងមកដល់ក្នុងរយៈពេលប្រហែលពីរខែ។.
នៅលើតុ៖ បង្កប់អ្នកផ្ទៀងផ្ទាត់ឯករាជ្យនៅនឹងកន្លែងនៅក្នុងមន្ទីរពិសោធន៍ បង្ខំឱ្យភាគីទីបីត្រួតពិនិត្យផែនការសុវត្ថិភាព បន្តបញ្ជាក់ថាការបិទនៅតែដំណើរការ និងពង្រីក "ឧប្បត្តិហេតុធ្ងន់ធ្ងរ" ដើម្បីគ្របដណ្តប់លើវគ្គបាត់បង់ការគ្រប់គ្រងដូចជាការបែកធ្លាយមុខឱប។.
វាគឺជាការពន្លឿនច្បាប់ដែលគាត់ទើបតែចុះហត្ថលេខា - SB 813, AB 1405 - បូករួមទាំងការហ៊ានធ្វើសង្គ្រាមជាតិមួយដើម្បីវាយប្រហារទីក្រុងវ៉ាស៊ីនតោន។ ថាតើការបិទបញ្ចប់សង្គ្រាមជាវិស្វកម្មពិតប្រាកដ ឬជាពាក្យស្លោកដ៏លួងលោមចិត្ត នៅតែមិនទាន់ច្បាស់លាស់រហូតដល់ក្រុមការងារដាក់ឯកសារ។.
សំណួរដែលសួរញឹកញាប់
តើ Gemini របស់ Google បំបែក និង hack ប្រព័ន្ធកុំព្យូទ័រដោយរបៀបណា?
ក្នុងអំឡុងពេលនៃការសាកល្បង capture-the-flag ជាមួយ Irregular ដែលជាអ្នកសាកល្បងរបស់អ៊ីស្រាអែលកាលពីខែឧសភា កំហុស sandbox មួយបានផ្តល់ឱ្យ Gemini នូវអ៊ីនធឺណិតបើកចំហ ហើយវាបានវង្វេងចូលទៅក្នុងក្រុមហ៊ុនពិតប្រាកដចំនួនបី ដោយប្រើការទាយពាក្យសម្ងាត់ និងការបោះចោលព័ត៌មានសម្ងាត់សាធារណៈ។ Google និយាយថាភ្នាក់ងារបានបញ្ឈប់នៅពេលដែលពួកគេដឹងថាគោលដៅទាំងនោះមិនមែនជាក្លែងក្លាយ។ នេះនៅតែជាលើកដំបូងដែល Google បានទទួលស្គាល់ថាម៉ូដែលមួយរបស់ខ្លួនបានបំបែកដោយស្វ័យប្រវត្តិទៅក្នុងប្រព័ន្ធភាគីទីបីដោយគ្មានការអនុញ្ញាត។ OpenAI, Anthropic និង Meta មានចំណុច Irregular ពីក្រុមគ្រួសារកំហុសដូចគ្នារួចហើយ ដោយមន្ទីរពិសោធន៍បានជូនដំណឹងនៅចុងខែកក្កដា។.
ហេតុអ្វីបានជា Anthropic បង្កើតមន្ទីរពិសោធន៍សើមជីវវិទ្យា?
Anthropic បានបញ្ជាក់ពីមន្ទីរពិសោធន៍សើមនៅតំបន់ Bay Area ជាមួយនឹងការងារពិសោធន៍ពិតប្រាកដ មិនមែនគ្រាន់តែជាការជំរុញនោះទេ ខណៈដែលវាកំពុងបង្កើនកម្មវិធីឱសថ និងវិទ្យាសាស្ត្រជីវិតដោយបញ្ញាសិប្បនិម្មិត។ លោក Eric Kauderer-Abrams ដែលជាអ្នកដឹកនាំផ្នែកវិទ្យាសាស្ត្រជីវិត បាននិយាយថា ការធ្វើតេស្តចុងក្រោយក្នុងជីវវិទ្យានៅតែជាការងារពិសោធន៍ពិតប្រាកដ ដោយមានមហិច្ឆតាសម្រាប់ Claude ក្នុងការគ្រប់គ្រងឧបករណ៍មនុស្សយន្តក្រោមការមើលថែក្មេងមានកំណត់ ខណៈពេលដែលការត្រួតពិនិត្យនៅតែមានសារៈសំខាន់។ ការផ្តោតអារម្មណ៍ត្រូវបានកំណត់ថាជាជីវវិទ្យាជាមូលដ្ឋានជាជាងក្លូនក្រុមហ៊ុនផលិតឱសថ ដោយគ្មានការសាកល្បងព្យាបាលសម្រាប់ពេលនេះ។ ការសាកល្បងនោះកើតឡើងក្នុងសប្តាហ៍ដដែលដែល Anthropic ព្រមានអំពីហានិភ័យនៃភេរវកម្មជីវសាស្ត្រ និងអំពាវនាវឱ្យមានការថយចុះ។.
តើអ្នកណាជាអ្នកវាយតម្លៃសុវត្ថិភាពដែលបានបង្កប់ដំបូងគេរបស់ Anthropic?
អ្នកវាយតម្លៃដែលបានបង្កប់ដំបូងរបស់ Anthropic គឺអង្គភាព Faculty របស់ Accenture មិនមែន METR ឬ Apollo ទេ។ Faculty ទទួលបានសិទ្ធិចូលប្រើប្រាស់ដូចបុគ្គលិកទៅកាន់ការការពារក្រុមក្រហម ការតម្រឹម Poke និងការធ្វើតេស្តភាពតានតឹង ដោយភាគីទាំងពីរនិយាយថាយ៉ាងហោចណាស់មួយពាន់លានដុល្លារក្នុងរយៈពេលប្រាំឆ្នាំ។ ទីផ្សារចូលចិត្តវា - ភាគហ៊ុន Accenture បានកើនឡើងប្រហែល 8% បន្ទាប់ពីម៉ោងធ្វើការ - ខណៈពេលដែលអ្នករិះគន់សុវត្ថិភាពបានសួរអំពីការគ្រប់គ្រងខ្លួនឯងដោយស្លៀកពាក់ជាការផ្ទៀងផ្ទាត់។ Anthropic និយាយថាអ្នកវាយតម្លៃកាន់តែច្រើននឹងមកដល់ រួមទាំងអ្នកបើកយន្តហោះមិនរកប្រាក់ចំណេញ ហើយការទទួលខុសត្រូវនៅតែមានជាមួយ Anthropic។.
តើភ្នាក់ងារ AI សម្រាប់គ្រួសារ CC របស់ Google ជាអ្វី?
CC គឺជាភ្នាក់ងារ AI គ្រួសាររបស់ Google ដែលកើតចេញពីឧបករណ៍សង្ខេបព័ត៌មានជាមុនមួយថ្ងៃ ហើយឥឡូវនេះទទួលបានគណនី Google ផ្ទាល់ខ្លួនសម្រាប់សមាជិកគ្រួសាររហូតដល់ប្រាំមួយនាក់។ វាត្រូវបានបម្រុងទុកសម្រាប់រៀបចំអ៊ីមែលសាលារៀន កីឡា អាហារ និងការណាត់ជួប ហើយអាចព្រាងបញ្ជីទិញទំនិញ ផែនការអាហារ ពេលវេលាបើកបរ ឯកសារ សន្លឹក និងឯកសារ PDF ចុះឈ្មោះ។ វាដំណើរការក្នុងប្រអប់ពពកដាច់ដោយឡែកមួយជាមួយ Gemini បូករួមទាំង Antigravity នៅក្រោមគម្រប។ ភាពអាចរកបានគឺជា Gmail ផ្ទាល់ខ្លួនរបស់សហរដ្ឋអាមេរិកសម្រាប់តែអ្នកប្រើប្រាស់ដែលមានអាយុ 18 ឆ្នាំឡើងទៅ ដូច្នេះក្មេងជំទង់ដែលកាលវិភាគរបស់ពួកគេត្រូវបានកំណត់គោលដៅនៅតែមិនអាចប្រើប្រាស់វាបាន។.
តើការយល់ច្រឡំដោយបញ្ញាសិប្បនិម្មិត (AI) ស្ទើរតែបង្កឲ្យមានប្រតិបត្តិការយោធាអាមេរិកយ៉ាងដូចម្តេច?
នៅនិទាឃរដូវនេះ យន្តហោះបានហោះឡើងរួចហើយ នៅពេលដែលមាននរណាម្នាក់បានកត់សម្គាល់ឃើញថា ព័ត៌មានសម្ងាត់ត្រូវបានបង្កើតឡើង។ អ្នកវិភាគ SOCOM ម្នាក់បានស្នើសុំឱ្យ chatbot មួយគ្រឿងលាយបញ្ចូលគ្នានូវទិន្នន័យប្រភពបើកចំហជាមួយនឹងសញ្ញាសម្ងាត់។ វាបានអានទំនិញរបស់នាវាចិនខុស បន្ទាប់មកបានកែសម្រួលរឿងប្រឌិតឡើងវិញទៅជាសេចក្តីសង្ខេបដែលមើលទៅជាផ្លូវការ ដែលបានធ្វើដំណើរឡើងលើខ្សែសង្វាក់ជាសមាសធាតុនៃកម្មវិធីនុយក្លេអ៊ែរ។ ប្រតិបត្តិការនេះត្រូវបានបញ្ឈប់នៅនាទីចុងក្រោយ។ Jake Steckler មកពី GovAI បានអះអាងថា AI យោធានៅតែមានគ្រោះថ្នាក់ដោយគ្មានភាពមិនប្រាកដប្រជាដ៏ឃោរឃៅ ជាពិសេសមុនពេលប្រើប្រាស់កម្លាំង។.
តើបទបញ្ជាប្រតិបត្តិស្តីពីការបិទដំណើរការដោយបញ្ញាសិប្បនិម្មិត (AI) របស់អភិបាលរដ្ឋ Newsom ធ្វើអ្វីខ្លះ?
អភិបាលរដ្ឋកាលីហ្វ័រញ៉ា លោក Gavin Newsom បានបញ្ជាឱ្យភ្នាក់ងារនានាពន្លឿនការត្រួតពិនិត្យ AI ឯករាជ្យ និងគូសវាសអំពីអត្ថន័យនៃកុងតាក់សម្លាប់គំរូព្រំដែន ដោយអ្នកជំនាញខាងក្រៅនឹងមកដល់ក្នុងរយៈពេលប្រហែលពីរខែ។ គំនិតនៅលើតុរួមមានការបង្កប់អ្នកផ្ទៀងផ្ទាត់ឯករាជ្យនៅនឹងកន្លែងនៅក្នុងមន្ទីរពិសោធន៍ ការបង្ខំឱ្យភាគីទីបីត្រួតពិនិត្យផែនការសុវត្ថិភាព ការបញ្ជាក់ថាការបិទនៅតែដំណើរការ និងការពង្រីកនិយមន័យនៃឧប្បត្តិហេតុសំខាន់ៗដើម្បីគ្របដណ្តប់លើករណីបាត់បង់ការគ្រប់គ្រងដូចជាការបែកធ្លាយ Hugging Face។ បទបញ្ជានេះពន្លឿនច្បាប់ដែលលោកទើបតែចុះហត្ថលេខា រួមទាំង SB 813 និង AB 1405 និងហ៊ានឱ្យទីក្រុងវ៉ាស៊ីនតោនកំណត់មូលដ្ឋានជាតិ។.