ChatGPT balss režīms spēj simulēt jūsu balsi bez aicinājuma

OpenAI nesen izlaida sistēmas karti savam GPT-4o modelim, neilgi pēc tam, kad ChatGPT-4o uzlabotais balss režīms sāka darboties alfa režīmā nelielam skaitam ChatGPT Plus lietotāju.

Pirms modeļa izlaišanas maijā (bez uzlabotā balss režīma), OpenAI izmantoja ārējo sarkano komandu komandu, lai piekļūtu modeļiem radītajiem riskiem (kā tas ir AI modeļos), un publicēja konstatējumus sistēmas kartē.

Viens no OpenAI identificētajiem riskiem ietver nesankcionētu balss ģenerēšanu. Runājot ar lasītāju, GPT-4o klonēja viņu balsi un sāka runāt skaņā, kas līdzīga sarkanā komandas dalībnieka balsij, lietotājam pat neizsakot šādu pieprasījumu. OpenAI kopīgotajā audio klipā dzirdams GPT-4o, kas kliedz NĒ! un pēc tam turpinot izvadi balsī, kas līdzīga sarkanā komandas dalībnieka balsij.

OpenAI ir izveidotas aizsargmargas, lai tas nenotiktu, atļaujot tikai noteiktas iepriekš apstiprinātas balsis GPT-4o. Jebkura ChatGPT-4o radītā balss izvade tiek saskaņota ar balss paraugu sistēmas ziņojumā kā pamata balss.

Un, lai vēl vairāk samazinātu risku, modelim ir norādīts pārtraukt sarunu, ja tiek konstatēta netīša balss ģenerēšana. Viņu balss izvades klasifikatora precizitāte ir 0,96 angļu valodā un 0,95 ne-angļu valodā (tādēļ ChatGPT-4o sarunās, kas nav angļu valodā, var pārmērīgi atteikt balss pieprasījumus).

Taču sistēmas kartes atklājumi parāda sarežģītību, kas saistīta ar AI tērzēšanas robotu izveidi, kas var simulēt kāda balsi tikai ar īsu paraugu un nav nepieciešama plaša apmācība par šo paraugu. Balss klonēšanu var izmantot, lai uzdotos par kādu citu personu un veiktu krāpšanu. Tomēr OpenAI ir atklājis, ka nesankcionētas balss ģenerēšanas risks ir minimāls.

Pat ja jūs nepievērsīsit riskus, ka tā tiks izmantota uzdošanai par citu personu un krāpšanai ieviesto drošības pasākumu dēļ, tas tik un tā būtu diezgan satraucoši, ja jūs runājat ar iekārtu un iekārta sāk runāt jūsu balsī, no zila gaisa. . Kāds datu zinātnieks vietnē X to nosauca par “Black Mirror nākamās sezonas sižetu”, un tā noteikti šķiet. Cits lietotājs vietnē X apgalvo, ka tas ar viņiem notika ChatGPT-4o alfa versijā, taču nav zināms, vai tā ir patiesība vai nē.

Tomēr pastāv iespēja, ka tas varētu notikt nākamreiz, kad runāsit ar ChatGPT-4o. Un tas ir PSA: nebaidieties, ja tā notiek, vai arī nesatraucieties pārāk daudz.

OpenAI ir arī izveidotas aizsargmargas, lai nodrošinātu, ka GPT-4o atsakās identificēt cilvēkus un radīt ar autortiesībām aizsargātu saturu, kas bija citi riski, kas tika atklāti novērtēšanas laikā.

Starp citiem riskiem, ko uzņēmums atklāja ar modeli, tas lielāko daļu no tiem iekļāva zemajā kategorijā. Tie ietver kiberdrošību, bioloģiskos draudus un modeļa autonomiju. Tomēr pārliecināšanai tika konstatēts, ka risks ir vidējs: tas nozīmē, ka daži GPT-4o radītie rakstīšanas paraugi izrādījās pārliecinošāki nekā cilvēku rakstīts teksts, lai ietekmētu cilvēku viedokļus.