Недавно је ЦхатГПТ постао ново жариште за вештачку интелигенцију, а Мицрософт и Гоогле у Силицијумској долини улажу велика средства у такву технологију (Мицрософт има удео од 10 милијарди долара у ОпенАИ, компанији која стоји иза ЦхатГПТ-а, а Гоогле је недавно објавио сопствени БАРД модел), док су компаније за интернет технологију у Кини, које представљају Баиду и други, такође наговестиле да развијају такву технологију и да ће почети са радом у блиској будућности. У Кини, Баиду и друге компаније за интернет технологију такође су наговестиле да развијају такве технологије и да ће почети са радом у блиској будућности.
Генеративни модели које представља ЦхатГПТ имају заједничку карактеристику, то јест, користе огромне податке за претходну обуку и често су упарени са моћнијим језичким моделом. Главна функција језичког модела је да учи из огромног постојећег корпуса, а након учења може да разуме корисничка лингвистичка упутства, или штавише, да генерише релевантан текстуални излаз према упутствима корисника.
Генеративни модели се могу широко класификовати у две категорије, једна су генеративни модели засновани на језику, а друга су генеративни модели засновани на слици. Генеративне моделе засноване на језику представља ЦхатГПТ, чији језички модел може не само да научи да разуме значење корисничких команди (нпр. „напиши песму, у стилу Ли Баи“), већ и генерише релевантан текст на основу корисника команде након тренинга са масивним подацима (у горњем примеру, писање песме у стилу Ли Баи). песма). То значи да ЦхатГПТ мора да има велики језички модел (ЛЛМ) који разуме језик корисника и може да произведе висококвалитетне језичке резултате – на пример, модел мора да разуме како да генерише песме, како да генерише песме у стилу Ли Баи , и тако даље. Ово такође значи да велики језички модели у генеративној вештачкој интелигенцији заснованој на језику захтевају веома велики број параметара да би извршили ову врсту сложеног учења и запамтили толико информација. ЦхатГПТ, на пример, има 175 милијарди параметара (700 ГБ простора за складиштење ако се користе стандардни бројеви са покретним зарезом), што показује колико је „велик“ његов језички модел.
Друга класа генеративних модела је модел генерисања слика који представља Диффусион, типично Далле из ОпенАИ, ИмаГен из Гоогле-а и тренутно најпопуларнији Стабле Диффусион из Рунваи АИ. Ови модели генерисања сличних сликама такође користе језички модел да разумеју језичке команде корисника, а затим генеришу слике високог квалитета на основу тих команди. За разлику од генеративних модела заснованих на језику, језички модел који се овде користи углавном користи језик за разумевање корисничког уноса без генерисања језичког излаза, тако да број параметара може бити прилично мали (реда неколико стотина милиона), док је број параметара за Дифузиони модели засновани на сликама су релативно мали, у укупном поретку од неколико милијарди, али рачунски напор није мали јер резолуција генерисаних слика или видео записа може бити веома висока.
Генеративни модели могу да произведу невиђено висок квалитет излаза кроз масовну обуку података, а већ постоји низ јасних тржишта апликација, укључујући претрагу, ботове за дијалог, генерисање и уређивање слика, итд. Очекује се више апликација у будућности, што такође поставља потражњу за сродни чипови.
Потреба за чиповима за генерисање модела класа
Као што је раније поменуто, ЦхатГПТ представља генеративни модел који треба да учи из великих количина података о обуци да би постигао висококвалитетни генеративни резултат. Да би подржали ефикасну обуку и закључивање, генеративни модели имају своје захтеве за сродним чиповима.
Први је потреба за дистрибуираним рачунањем; број параметара за језичке генеративне моделе као што је ЦхатГПТ је у стотинама милијарди, и скоро је немогуће користити обуку и закључивање на једном рачунару, али се мора користити много дистрибуираног израчунавања. У дистрибуираном рачунарству, пропусни опсег међуповезивања података између машина и рачунарског чипа за такво дистрибуирано рачунарство (као што је РДМА) има велику потражњу, јер често уско грло задатка можда није у рачунарству, већ у међусобној повезаности података изнад, посебно у Ова врста дистрибуираног рачунарства великих размера, чип за ефикасну подршку дистрибуираног рачунарства постао је критичнији.
Следећи је капацитет меморије и пропусни опсег. Иако су дистрибуирана обука и закључивање неизбежни за генеративне моделе засноване на језику, локална меморија и пропусни опсег сваког чипа ће у великој мери одредити ефикасност извршења једног чипа (јер се меморија сваког чипа користи до својих граница). За генеративне моделе засноване на сликама, могуће је све моделе (око 20 ГБ) ставити у меморију чипа, али како ће се генеративни модели засновани на сликама даље развијати у будућности, вероватно ће се и захтеви за меморијом додатно повећати. . Из ове перспективе, меморијска технологија ултра-високог пропусног опсега коју представља ХБМ постаће неизбежан избор за сродне акцелераторске чипове, док ће модели генеративне класе такође убрзати ХБМ меморију како би додатно повећали капацитет и пропусни опсег. Поред ХБМ-а, нове технологије складиштења као што је ЦКСЛ заједно са софтверским оптимизацијама такође ће имати потенцијал да повећају капацитет и перформансе локалног складишта у таквим апликацијама и процењује се да ће добити више индустријског усвајања од успона модела генеративне класе.
Коначно, рачунање, и модели генеративних класа засновани на језику и на слици имају велику потражњу за рачунарством, а генеративни модели засновани на сликама могу имати много већу потражњу за аритметичком снагом јер генеришу све веће резолуције и крећу се ка видео апликацијама – тренутним маинстреам генеративни модели слика имају обим рачунања од око 20 ТФлопса, а што се тиче високе резолуције и слика, 100-1000 ТФЛОПС аритметичке потражње ће вероватно бити норма.
Да сумирамо, верујемо да захтеви генеративних модела за чипове укључују дистрибуирано рачунарство, складиштење и рачунање, за које се може рећи да укључују све аспекте дизајна чипа, и што је још важније, како комбиновати све ове захтеве заједно на разуман начин како би се осигурало да један аспект не постане уско грло, што ће такође постати проблем инжењерског система дизајна чипа.
ГПУ и нови АИ чип, ко има веће шансе
Генеративни модели имају нову потражњу за чиповима. Ко има веће шансе да ухвати ову нову потражњу и тржиште за ГПУ-е (које заступају Нвидиа и АМД) и нове АИ чипове (које заступају Хабана, ГрапхЦоре)?
Прво, из перспективе генеративних модела заснованих на језику, произвођачи ГПУ-а који тренутно имају комплетан распоред у овој врсти екологије су повољнији због огромног броја учесника и потребе за добром дистрибуираном рачунарском подршком. Ово је проблем системског инжењеринга који захтева комплетно софтверско и хардверско решење, и у том смислу, Нвидиа је комбиновала своје ГПУ-е да лансира Тритон решење, које подржава дистрибуирану обуку и дистрибуирано закључивање, омогућавајући моделу да се подели на више делова и обради на различитим ГПУ-има, чиме се решава проблем превеликог броја параметара које главна меморија једног ГПУ-а не може прихватити. Ово решава проблем превеликог броја параметара за главну меморију једног ГПУ-а. Било да користите Тритон директно или радите даљи развој на бази Тритона у будућности, згодније је имати комплетан еколошки ГПУ. Са рачунске тачке гледишта, пошто је главно израчунавање модела генерације заснованог на језику матрично израчунавање, што је снага ГПУ-а, нови АИ чип са ове тачке гледишта нема очигледну предност у односу на ГПУ.
Са становишта модела генерисања заснованих на сликама, број параметара таквих модела је такође велики, али је за један до два реда величине мањи од модела генерисања заснованих на језику, поред тога што ће се његов прорачун и даље користити у великој мери. број конволуционих прорачуна, тако да апликације за закључивање, ако можете да урадите веома добру оптимизацију, АИ чипови могу имати неке могућности. Овде оптимизација укључује велику количину меморије на чипу за прилагођавање параметара и средњих резултата прорачуна, за конволуцију и ефикасну подршку матричним операцијама.
Уопштено говорећи, тренутна генерација АИ чипова је дизајнирана да циља мање моделе (број параметара на нивоу од милијарду, израчунавање на нивоу 1ТОПС), док је потражња за генеративним моделима и даље релативно већа од првобитног циља дизајна. ГПУ-ови су дизајнирани да буду флексибилнији по цену ефикасности, док су АИ чипови дизајнирани да раде супротно, тежећи ефикасности циљне апликације. Стога верујемо да ће ГПУ-ови и даље доминирати таквим убрзањем генеративних модела у наредних годину или две, али како дизајни генеративних модела постају стабилнији и дизајни АИ чипова имају времена да сустигну итерације генеративних модела, АИ чипови имају прилику да надмаше ГПУ у простору генеративног модела из перспективе ефикасности.

