Google prezanton dy sisteme të reja TPU për inteligjencën artificiale: 8tx për sigurinë dhe 8i Max për dritare gjigante konteksti

Google njoftoi të hënën (9 nëntor) zgjerimin e portofolit të gjeneratës së tetë të njësive të saj të përpunimit tensor, TPU, me dy sisteme të reja — TPU 8tx dhe TPU 8i Max — siç njoftoi vetë Google në blogun e tij zyrtar. Me këto dy shtesa, kompania arrin në katër sisteme TPU të prezantuara brenda një viti, për herë të parë në historinë e saj, në një garë gjithnjë e më të ashpër me çipat e Nvidia-s për inteligjencën artificiale. Sipas raportimit të Reuters, që citon Bloomberg News, aksionet e Alphabet u rritën mbi 2% në tregtimin para hapjes së bursës pas njoftimit.

Këto nuk janë çipa të rinj, por sisteme — rikonfigurime të ndërtuara rreth çipave ekzistues. Google e quan këtë qasje “ndërtimi i kompjuterit rreth çipit”, një mënyrë që i lejon të sjellë superkompjuterë të specializuar brenda muajsh, jo vitesh, duke i përshtatur sistemet për ngarkesa të veçanta pune. Drejtori kryesor i teknologjisë për infrastrukturën e AI, Amin Vahdat, i tha Bloomberg News se variantet e reja janë rikonfigurime të dizajnuara pikërisht për ngarkesat që klientët kanë kërkuar.

Sistemi i parë, TPU 8tx, është i optimizuar për inferencë të sigurt dhe konfidenciale — dhe edhe për trajnim në shkallë të vogël — për ndërmarrje të rregulluara dhe për qeveri. Ai është i ndërtuar mbi të njëjtin silic si TPU 8t dhe është i çiftuar me hostë AMD EPYC të gjeneratës së pestë. Siguria është e ndërtuar në harduer: të dhënat dhe peshat e modelit mbeten të mbrojtura edhe gjatë përdorimit aktiv. Sipas Google, sistemi ofron vonesë deri në 2 herë më të ulët se TPU 8t, me ndëshkim pothuajse zero në performancë, dhe mundëson edhe përshtatjen (fine-tuning) të modeleve me të dhëna private në të njëjtin sistem.

Sistemi i dytë, TPU 8i Max, është ndërtuar për problemin e “murit të memories” dhe për dritare masive konteksti. Ai kombinon dy çipa TPU 8i në një paketë të vetme dhe jep dyfishin e fuqisë llogaritëse, dyfishin e SRAM-it dhe dyfishin e gjerësisë së bandës HBM krahasuar me TPU 8i, me densitetin më të lartë llogaritës për raft. Kjo e bën atë të përshtatshëm për modelet që duhet të mbajnë në mendje kontekste gjigante gjatë arsyetimit.

Njoftimi vjen pas prezantimit në prill, në Google Cloud Next, të TPU 8t — për trajnim në shkallë të madhe — dhe TPU 8i — për arsyetim në kohë reale. TPU-të projektohen bashkë me Google DeepMind dhe tani kanë afro 100 klientë. Çipat e brendshëm të Google janë bërë kështu sfidues seriozë ndaj procesorëve grafikë të shtrenjtë të Nvidia-s, që dominojnë ngarkesat e AI në botë — dhe me katër sisteme brenda një viti, Google po tregon se mund të lëvizë me shpejtësinë që kërkon tregu.