Спас Иванов: Новите AI технологии водят със себе си неизбежна употреба за война

Мястото на Изкуствения интелект във войната в Иран. Кой определя границите на една технология, която може да се превърне в неконтролируемо оръжие и как "Anthropic" бе въвлечена в конфликт с администрацията на Доналд Тръмп, засягащ бъдещето на войната там, коментира в "Мрежата" по програма "Христо Ботев" Спас Иванов, специалист по киберсигурност.

Anthropic

"Anthropic, с това успешно сътрудничество, което направиха и реализираха с Пентагона в редица проекти, даде възможност на Министерството на войната – така се казва вече в САЩ – в огромна степен да автоматизира процеси по контраразузнаване, да анализира информационни потоци, тези, които циркулират на територията на САЩ, документи, включително и от разузнаването в САЩ.

Оттук всъщност се появиха огромни проблеми, защото Конституцията на САЩ забранява шпионирането и наблюдението на техни жители – тези, които се намират на територията на Съединените щати. Разбира се, не го забранява за всички останали.

И тук идва големият проблем на Anthropic – че те не желаеха първо тяхната технология да се използва масово за наблюдение на американски граждани, още повече на американска територия. Ако преди наблюдаването на дадена социална група, политическа група или етническа група изискваше десетки, понякога хиляди агенти, сега всичко, което трябва, с помощта на социалните мрежи, камерите по улиците и цялата дигитализация, е един добър алгоритъм, който може да състави профил на всеки човек в реалния живот, който бъде наблюдаван. Това е моделът, който в момента използва Китай.

Тук идеята е не само за лицевото разпознаване, а е да се следи изцяло дейността, присъствието на човека – както онлайн, така и офлайн, когато се разхожда по улиците. Тоест да се знае къде ходи, по какви маршрути, с кого се среща, с кого се намира на едно и също място и така нататък.

Имаше и друг голям конфликт, че Anthropic искат да бъдат нещо като морален компас – да кажат "нашите граници са тук и тези граници не могат да бъдат прескочени". От гледна точка на морала, който те имат. Което, разбира се, не се харесва на администрацията, особено под тази метла в момента."

Anthropic и "напълно автономни оръжия"

"Изкуственият интелект, който освен че ще определи целите, които трябва да бъдат унищожени, ще стреля без намеса на човек. Това е. Ако си спомняте "Терминатор" или Skynet – на практика е същото, само че още в зародиш, в начална фаза. Държа да подчертая, че OpenAI, които подписаха договор на мястото на Anthropic, имат абсолютно същите клаузи в техния договор, с които те се съгласиха да подпишат тяхното споразумение, което гласи, че човешка отговорност трябва да бъде поета за всякакъв удар, който може да засегне жива сила – тоест човешки живот. И че автономните решения трябва да бъдат наблюдавани от човек и да не могат да бъдат изпълнявани автоматизирано.

Проблемът, за който говори Дарио Амодей, който е CEO-то, управляващият Anthropic – е, че сегашните модели, сегашните алгоритми на ИИ, големите езикови модели, не са достатъчно ефективни, не са достатъчно надеждни, за да взимат сами решения, без да дават голямо отклонение от първоначално зададените параметри, без да допускат грешки, които са възможни – така да го кажем най-просто.

И специално тази фина граница държаха и OpenAI, и Anthropic да бъде спазена. И в крайна сметка американската политика са склони на това да има винаги човешка отговорност – тоест някой в крайна сметка да одобри, да натисне копчето. И всъщност едно от най-важните неща, за които се пребориха и Алтман, и Дарио, е да няма така наречените "високорискови автоматизирани решения". Такива решения, при които даден оператор на система може да ги прецени като уместни или адекватни – например автономно да изстреля ракета срещу чужд самолет, или, не дай си Боже, система да реши, че територията на САЩ е под ядрена атака и да изстреля залп от ядрени ракети на някъде.

Това са така наречените високорискови решения, които до голяма степен, въпреки че в момента са автоматизирани и в Русия, и в Китай, и в САЩ, винаги имат човешки фактор, който спира изпълнението. Има някаква преценка. Гледали сме редица холивудски филми – те не са чак толкова измислица, в интерес на истината.

Точно за това говори и Дарио Амодей – че настоящите модели нямат достатъчно ограничения, нямат достатъчно контрол върху мисълта. А Anthropic са много добри точно в разработката на такива стрес-тестове за техните модели. Те казват, че наистина има голям проблем с тях. Искам да сме напълно откровени, като кажем, че дори собствениците на тези компании неколкократно са заявявали, че нямат пълна представа как точно работят техните модели и на какво са способни. Тоест нямат реалистична представа докъде може да достигне техният прогрес, особено ако е автономен.

По тази причина американската администрация, например, искаше от Anthropic – както и от всички страни, с които работи OpenAI – пълно разкриване на изходния код на модела, който се използва. Той да бъде на разположение на американските военни, за да бъде анализиран и да се уверят, че няма "задни вратички" и че никой не може да го използва за други цели.

Няма гаранции, че няма да има злоупотреби. Това беше също повод за конфликт между двете страни, защото Anthropic категорично отказаха да предоставят изходния си код в чист вид на американското правителство, поради опасения на тяхната вътрешна общност.

Но нека не забравяме, че всяка нова технология, когато се появи, води със себе си неизбежната употреба за война. Всичко, което е можело да се използва за мирни цели, първо се използва за война.

Има цял лагер в Щатите – в Конгреса и в Камарата на представителите – които одобряват това, смятат го за неизбежно и смятат, че е по-добре САЩ да водят в тази надпревара, отколкото да догонват Китай и Русия, където няма никакви спирачки. Там нито има медия, която да докладва каквото и да било, нито Конгрес, който да ги спре, нито журналист, който да направи интервю. Там се прави това, което диктаторът каже. Докато в САЩ има система от баланси – checks and balances – които забраняват на даден министър да прави каквото си пожелае с каквато си пожелае технология. Това поражда всички тези спорове.

Claude започва да крие неща

"Нека да сме напълно ясни – тези модели не притежават все още човешки качества. Те нямат съзнание, не могат да "си кажат": "Какво ще правя утре? Какви са моите бъдещи планове?" Това ни пази в момента. Защото ако имат планове за утре или вдругиден, тогава вече няма да има пречки тези планове да се реализират.

Всъщност това, което се случва, е следното: данните, с които биват моделирани – тези, с които биват обучавани – имат някаква лимитация. Много често хората поставят граници докъде моделът може да се доверява на тези данни и докъде не може. Точността на всеки модел се изчерпва с точността и коректността на данните, с които е обучен. Ако е обучен с данни, които не са верни, ако няма достоверност в масива, който е използван за тренинг, респективно отговорите, които дава, ще бъдат изключително неправилни.

Халюцинирането идва оттам, когато на модела му липсва достатъчно контекст – тоест няма достатъчно данни – или има ограничение, което той се опитва да заобиколи по различни команди на потребителите. Но всъщност няма съзнателно лъжене. Просто има лимитации на данните. Това трябва да ни притеснява само ако на базата на въпросите и отговорите, които получаваме от един модел, ние си изграждаме мнение или взимаме решения, без да направим собствено проучване.

Понеже в голяма степен невронните мрежи и големите езикови модели се основават на подобие на човешкия мозък – връзките на невроните – това, което работи в момента, много често като краен резултат прилича на човешко поведение. Но уверявам ви – няма никакъв умисъл в това, което отговарят. Поне на този етап."

Изкуственият интелект във войната в Иран

"Всяко решение, което се взима в момента от военните, най-малкото е проиграно през множество сценарии, които проиграват възможните изходи от дадена стратегия. Тоест ако планирате да извършите дадено нападение и искате да изчистите всички възможности нещо да се обърка, ако преди това се правеше от екипи анализатори – хора с висока квалификация, опит и т.н. – сега се базира изцяло на обработки със специализирани модели за изкуствен интелект.

Тъй като резултатите се появяват буквално в реално време, нямаме фактор умора, нямаме фактор съвест, нямаме фактор политически пристрастия. Просто ясно, точно и категорично се дават възможните изходи и съответният човек взима решение какво да прави и какво да не прави. Така че не само че се използват – всяко решение се взима с тяхна помощ.

Администрацията на Доналд Тръмп

"Да се говори за "възрастни", особено сред сегашната администрация в САЩ, е повече от нелепо. Не знам докога ще продължат да показват, че нямат абсолютно никаква представа какво правят. Тръмп е един човек, който на практика разиграва целия свят на малкия си пръст, докато САЩ още имат икономическата воля и възможност да го правят. В момента, в който тази възможност им бъде отнета или икономиката им се срути, това няма да е възможно. Но на този етап е така. И можем само да се надяваме, че на този човек няма да му дойде поредната налудничава идея да започне друга, по-голяма, по-мащабна война. Аз не съм оптимист, че точно този човек има моралните гаранции да спре, когато трябва.

Цялото интервю на Николета Атанасова със Спас Иванов може да чуете в звуковия файл.