Последната версия на AI модела Gemini на Google среща вътрешен скептицизъм
Според запознати източници той има трудности с определени задачи по програмиране
Редактор: Петър Нейков
Google (собственост на Alphabet Inc.) започна внедряването на Gemini 4 Argon – своя дългоочакван водещ модел с изкуствен интелект – но компанията се сблъсква с вътрешен скептицизъм относно представянето му в ключови области, като например писането на програмен код.
Google представи модела в сряда пред малка група доверени партньори в сферата на киберсигурността и заяви, че ще разшири достъпа до него след допълнителни тестове, като първи ще го получат платените абонати. Компанията отбеляза, че Gemini 4 е постигнал отлични резултати в няколко сравнителни теста, включително като е победил модела Astra на OpenAI в тест за оценка на уменията в областта на сигурността.
Някои служители обаче твърдят, че тези показатели не разкриват цялата картина. Макар Gemini 4 да се представя добре в стандартните тестове за ефективност, резултатите му са по-слаби, когато служителите реално го използват в работния процес, споделят хора, пряко ангажирани с проекта. Моделът среща трудности при изпълнението на определени задачи, свързани с програмиране, твърдят източниците, пожелали анонимност.
Акциите на Alphabet поскъпнаха с около 1,7% по време на извънборсовата търговия след съобщението на компанията. В края на редовната сесия обаче те загубиха част от натрупания по-рано през деня ръст, след като Bloomberg съобщи за скептицизма на служителите относно модела.
Напоследък Google полага сериозни усилия за разработване на модели, способни да се конкурират с тези на OpenAI и Anthropic PBC. Компанията е планирала да пусне друга версия през юни – Gemini 3.5 Pro – но впоследствие се е отказала от този проект, твърдят източниците.
От Google заявиха, че би било неточно да се твърди, че Gemini 4 се представя незадоволително в области като писането на код. Компанията препрати Bloomberg към изказване от миналата седмица на Корай Кавукджуоглу, ръководител в Google DeepMind, който изрази оптимизъм относно представянето на модела.
„Имам пълно доверие на екипа“, заяви Кавукджуоглу на конференция, организирана от технологичния новинарски сайт The Information. „За мен е сигурно, че винаги ще бъдем на преден план в технологичното развитие.“
В рамките на Google съществуват различни мнения. Някои служители смятат, че моделите Fable на Anthropic и Astra на OpenAI се усъвършенстват по-бързо от Gemini. Според тях Gemini 4 – дори в най-добрата си форма – все още ще изостава от тези модели в определени аспекти. Други служители смятат, че предстоящата версия е настигнала водещите лаборатории за изкуствен интелект.
Служител на Google, запознат с процеса на разработка на моделите, заяви, че в компанията съществува „широк консенсус“, че Gemini 4 е на върхово технологично ниво. Според него компанията е провела задълбочени тестове на моделите и той отхвърли твърденията, че те срещат затруднения при сложни задачи за писане на програмен код в реална среда.
За Google е от критично значение Gemini 4 да бъде успешен. Различните версии на модела са в основата на почти всеки продукт, предлаган от компанията – от отговорите, генерирани от изкуствен интелект в търсачката (основния източник на печалба за Google), до Maps, Gmail и Chrome. Всеки от тези продукти има над един милиард потребители – предимство по отношение на обхвата, с което някои от конкурентите на компанията не разполагат.
В същото време OpenAI и Anthropic все повече се насочват от продажбата на модели към създаването на собствени продукти, включително „агенти“ за писане на код. Ако не успее да предложи модел от най-ново поколение, Google рискува да даде на конкурентите си повече време, за да убедят потребителите, разработчиците и бизнеса, че бъдещето на търсенето в интернет и софтуера трябва да се гради върху техните платформи.
В отговор на запитване от Bloomberg, от Google заявиха, че макар последният им модел от серията Pro да е пуснат през февруари, оттогава компанията отбелязва растеж при продуктите си с изкуствен интелект. Това включва корпоративната версия на Gemini, както и чатбота за масови потребители и функцията с изкуствен интелект в търсачката Google Search – като последните две вече са преминали границата от 1 милиард потребители.
През ноември миналата година Google представи Gemini 3 – модел, който беше приет положително и възприет от мнозина като повратна точка в усилията на компанията да настигне OpenAI и Anthropic. На конференцията I/O през май Google обяви нова версия, наречена Gemini 3.5 Pro, и обеща да я пусне на пазара през следващия месец. Този срок обаче изтече, а според запознати източници компанията впоследствие се е отказала от Gemini 3.5 Pro.
Освен че е възпрепятствало амбициите на Google в сферата на изкуствения интелект, това решение вероятно е коствало на компанията значителни ресурси под формата на време и средства. Според Мандип Сингх, анализатор в Bloomberg Intelligence, разходите за обучение при създаването на подобен модел могат да достигнат 400 милиона долара. Ангажирането на високоплатени изследователи в областта на изкуствения интелект може допълнително да оскъпи процеса. В момента Google се сблъсква с различни предизвикателства по отношение на Gemini 4.
Според запознати с вътрешните оценки на модела, способностите му за писане на програмен код са неравномерни. Един от източниците отбелязва, че Gemini не се справя особено добре с фронтенд дизайна – аспектът, който определя визията и потребителското изживяване при приложенията и уебсайтовете. Това е потенциално сериозен проблем, тъй като Google изпитва трудности да се конкурира на изключително динамичния пазар за инструменти с изкуствен интелект за писане на код.
Освен това става въпрос за модел с огромен мащаб, твърди лице, запознато с разработката му. Поддържането на големи модели обикновено е скъпо, което може да окаже натиск върху маржовете на печалба на Google.
Експерти посочват, че Google може би страда от характерната за индустрията тенденция да се набляга прекомерно на сравнителните тестове (бенчмаркове) – явление, известно като „benchmaxxing“. При него инженерите се съсредоточават повече върху постигането на висок резултат, отколкото върху създаването на продукт, който върши работата си добре. Лабораториите за изкуствен интелект често постъпват така, тъй като клиентите обикновено оценяват моделите въз основа на резултатите им в бенчмарковете. Изглежда, че Gemini 4 също е повлиян от тази тенденция, твърдят двама души, запознати с модела.
Едуин Чен, основател на стартъпа за изкуствен интелект Surge AI, отбелязва, че разчитането на подобни тестове може да подтикне лабораториите да се съсредоточат върху създаването на модели, които пишат код на конкретен език, вместо върху разработването на приложения, които са лесни за употреба или с добър дизайн.
„Аналогията би била следната: „О, да, детето ми изкара отличен резултат на изпита SAT“, но резултатът от SAT невинаги е показател за реалните способности и представяне в живота“, казва Чен. „Това е изключително пагубен проблем.“
Gemini 4 все пак има своите силни страни; според запознат източник моделът се отличава със способността си да обработва информация извън текстовия формат – например чрез извличане на метаданни от видеоклипове. Също така се посочват безопасността на модела, киберсигурността и способността му да комуникира ясно и естествено.
Разочарованието в рамките на Google е осезаемо. Изследователи, интервюирани за предишна статия на Bloomberg, посочват като причина тромавата бюрокрация, която се опитва да интегрира технологията в почти всеки продукт на компанията, както и постоянно променящите се изисквания и приоритети, затрудняващи фокусирането върху единна стратегия.
Междувременно Google беше напусната от редица водещи изследователи в областта на изкуствения интелект, включително легендарния инженер Джеф Дийн, носителя на Нобелова награда Джон Джъмпър и Ноам Шазийр, който е съавтор на технологията, залегнала в основата на бума на изкуствения интелект. През август Демис Хасабис, който дълго време ръководеше изследователската дейност на компанията в сферата на AI, пое нова роля като председател и прехвърли оперативното управление на DeepMind на Кавукджуоглу – свой дългогодишен сътрудник.
В сряда от Google заявиха, че Gemini 4 е създаден за изпълнение на мащабни и сложни задачи в сферата на софтуерното инженерство, финансите, правото и киберсигурността. Според компанията моделът може да генерира по-дълги отговори в сравнение с предшественика си – до 1 милион токена (или приблизително 750 000 думи) наведнъж.
Докато компанията се опитва да навакса изоставането, конкурентите продължават да напредват стремително, въпреки дискусиите за забавяне на разработката на някои от най-усъвършенстваните модели след поредица от инциденти, при които AI агенти проникнаха в системи на външни организации. По-рано този месец Meta Platforms Inc. пусна Muse – AI агент, който според компанията може да изпълнява ежедневни задачи като онлайн пазаруване и записване на часове за срещи. Приложението бързо се изкачи до върха на класациите за изтегляния.