Google-მა გამოაცხადა, რომ ხელმისაწვდომი გახდა TPU v6 Trillium AI ამაჩქარებლები

[Magdalena]

Google-მა გამოაცხადა, რომ მისი უახლესი AI ამაჩქარებლები TPU v6, კოდური სახელწოდებით Trillium, ხელმისაწვდომია მომხმარებლებისთვის განსახილველად, როგორც ქლაუდ პლატფორმა GCP-ის ნაწილი. კომპანია ამტკიცებს, რომ დღეს ახალი პროდუქტი Google-ის ყველაზე ეფექტური გადაწყვეტილებაა ფასი/წარმადობის თანაფარდობის თვალსაზრისით. 

Trillium-ის ოფიციალური პრეზენტაცია მიმდინარე წლის მაისში შედგა. პროდუქტი წარმოდგენილია 1.6 ტბ/წმ სიჩქარის 32 გბ HBM მეხსიერებით, ხოლო ICI ჩიპთაშორისი ურთიერთდაკავშირება უზრუნველყოფს მონაცემთა გადაცემის შესაძლებლობას 3.58 ტბიტ/წმ-მდე სიჩქარით (თითო ჩიპზე ოთხი პორტი). გამოიყენება AI მოდელებთან მუშაობის დაჩქარებისთვის განკუთვნილი მესამე თაობის SparseCore ბლოკები, რომლებიც გამოიყენება რანჟირებისა და რეკომენდაციების სისტემებში. 

 

ფოტოს წყარო: Google 

Google ხაზს უსვამს Trillium-ის (TPU v6e) უამრავ მნიშვნელოვან უპირატესობას TPU v5e ამაჩქარებლებთან შედარებით: 

• AI მოდელების მომზადებისას წარმადობის ოთხჯერ მეტი ზრდა; 

• ინფერენსის წარმადობის სამჯერ გაზრდა; 

• 67%-ით გაუმჯობესებული ენერგოეფექტურობა; 

• თითო ჩიპზე მაქსიმალური გამოთვლითი წარმადობის 4.7-ჯერ გაზრდა; 

• HBM მოცულობის ორმაგი ზრდა; 

• ჩიპების ურთიერთდამაკავშირებელ ICI-ის გამტარუნარიანობის გაორმაგება. 

 

ერთი ნოუდი შეიცავს რვა tpu v6e ამაჩქარებელს (ორ NUMA-დომენში), ორ ჯერჯერობით უცნობ პროცესორს (ჯამში 180 vcpu), 1.44 ტბ ოპერატიულ მეხსიერებას და ოთხ 200G-ადაპტერი (თითო cpu-ზე ორი) გარე კომუნიკაციისთვის. აღნიშნულია, რომ Trillium-ის 256 პროდუქტის პროდუქტის დაკავშირება შესაძლებელია ICI-ის საშუალებით, ხოლო ასეთი კლასტერის (pod) ქსელის კავშირის საერთო სიჩქარე 25.6 ტბიტ/წმ-ია. ათიათასობით ამაჩქარებლის დაკავშირება შესაძლებელია ფართომასშტაბიან AI კლასტერში ოპტიკური კომუნიკაციის პლატფორმა Google Jupiter-ის წყალობით, რომლის ჯამური სიჩქარე 13 პბ/წმ-ს აღწევს. Trillium ხელმისაწვდომია, როგორც ინტეგრირებული AI პლატფორმა AI Hypercomputer-ის ნაწილი. 

 

გამოცხადებულია, რომ პროგრამული უზრუნველყოფა Multislice Trillium უზრუნველყოფს წარმადობის პრაქტიკულად წრფივი მასშტაბირებას AI სასწავლო დატვირთვებში. Trillium-მზე დაფუძნებულ კლასტერებს შეუძლია 91 Eflops-ამდე წარმადობის უზრუნველყოფა ხელობ=ვნურ ინტელექტთან დაკავშირებულ ოპერაციებში, რაც ოთხჯერ უფრო სწრაფია, ვიდრე TPU v5p უმსხვილესი სისტემა. ერთი TPU v6e ჩიპის BF16-წარმადობაა 918 Tflops, ხოლო INT8-ის - 1836 Tops. 

 

Trillium-მა ბენჩმარკებზე TPU v5e-სთან შედარებით აჩვენა წარმადობის ოთხჯერზე მეტი ზრდა Gemma 2-27b, MaxText Default-32b და Llama2-70B მოდელების სწავლებისას, ასევე სამჯერ მეტი ზრდა - LLama2-7b-ისა და და Gemma2-9b-ის შემთხვევაში. გარდა ამისა, Trillium უზრუნველყოფს ინფერენსის წარმადობის სამჯერ გაზრდას Stable Diffusion XL-ისთვის (TPU v5e-სთან შედარებით). ფასი/წარმადობის თანაფარდობის თვალსაზრისით TPU v6e აფიქსირებს 1.8-ჯერ ზრდას TPU v5e-სა და დაახლოებით 2-ჯერ მეტ ზრდას - TPU v5p-სთან შედარებით. გამოჩნდება თუ არა TPU v6p-ის უფრო მაღალი წარმადობის მოდიფიკაცია, დაზუსტებული არ არის. 

https://tinyurl.com/57feskye