დაანონსდა მსოფლიოში პირველი ხელოვნური ინტელექტის მქონე სუპერკომპიუტერი 4 Eflops-ით - 54 მილიონი ხელოვნური ინტელექტის ბირთვი Cerebras და 72 ათასი ბირთვი AMD Zen 3

[Magdalena]

ხელოვნური ინტელექტის სისტემებთან მუშაობისთვისთვის განკუთნილი ჩიპების ერთ-ერთმა წამყვანმა მწარმოებელმა Cerebras Systems-მა ქლაუდ პროვაიდერ G42-თან ერთად წარადგინა პროექტი ცხრა მძლავრი სუპერკომპიუტერის შექმნასთან დაკავშირებით, რომლებიც მორგებული იქნება ხელოვნური ინტელექტის ამოცანებზე. პირველი მათგანი იქნება სისტემა CG-1 (Condor Galaxy 1), რომელიც მსოფლიოში პირველი მიაღწევს 4 Eflops წარმადობას ხელოვნური ინტელექტის ამოცანებში და ეს მიმდინარე წლის ბოლოს მოხდება. 

 

ფოტოს წყარო: cerebras.net 

სუპერკომპიუტერ Condor Galaxy 1-ის მახასიათებლებია: 

• 4 Eflops წარმადობა ნახევარი სიზუსტის ოპერაციებში (FP16), რაც სწორედ ისაა, რაც ხელოვნურ ინტელექტს სჭირდება; 

• ხელოვნურ ინტელექტზე ოპტიმიზებული 54 მილიონი გამომთვლელი ბირთვი; 

• 64 სისტემა Cerebras CS-2; 

• 82 ტბ მეხსიერება პარამეტრების შენახვისთვის; 

• 600 მილიარდი პარამეტრის მხარდაჭერა საბაზისო კონფიგურაციაში 100 ტრილიონამდე გაფართოების შესაძლებლობით; 

• კლასტერის შიდა სიჩქარე 386 ტბ/წმ; 

• 72804 პროცესორის AMD EPYC Gen 3 ბირთვი; 

• ჩაშენებული აპარატული მხარდაჭერა სწავლებისთვის 50000-მდე ტოკენის თანმიმდევრობით გარე მხარის ბიბლიოთეკების გარეშე; 

• პარალელური პროგრამირების მოდელი წარმადობის ხაზობრივი მასშტაბირებით. 

კომპანია Cerebras Systems ცნობილია პლატფორმა CS-2-ით, რომელსაც საფუძვლად უდევს გიგანტური ჩიპი Wafer-Scale Engine 2 (WSE-2)  2.6 ტრილიონი ტრანზისტორით - ასეთი ჩიპი იწარმოება მთლიანი სილიკონის ფირფიტასგან და შეიცავს ხელოვნური ინტელექტის მქონე 850 ათას Tensor ბირთვს. პირველ ეტაპზე Condor Galaxy 1-ს ექნება 32 სისტემა Cerebras CS-2, რაც მას 2 Eflops წარმადობით უზრუნველყოფს, ხოლო მიმდინარე წლის განმავლობაში მათი რიცხვი გაორმაგდება, ისევე როგორც სუპერკომპიუტერის წარმადობა, რომელიც 4 Eflops-ს მიაღწევს (მეორე ეტაპი). 

 

Cerebras Systems აქ არ შეჩერდება: შემდგომში დაგეგმილია CG-2 და CG-3 სუპერკომპიუტერების შექმნა, რომლებიც მესამე ეტაპზე 2024 წლის პირველ ნახევარში გაერთიანდება სუპერკომპიუტერების პირველ განაწილებულ ქსელთან, რომელიც დაფუძნებულია 192 CS-2 სისტემაზე, 12 Eflops საერთო წარმადობით. საბოლოოდ, მეოთხე ეტაპზე ამ ქსელს კიდევ ექვსი სუპერკომპიუტერი შეუერთდება, რაც უზრუნველყოფს 576 CS-2 სისტემის ერთობლივ მუშაობას და 36 Eflops წარმადობას. 

კომპანიამ აღნიშნა, რომ Wafer-Scale კლასტერები თავდაპირველად შექმნილი იყო ერთიანი ამაჩქარებლის მუშაობისთვის. ერთი 82TB CG-1 მეხსიერების ერთეულით ხელოვნური ინტელექტის ყველაზე დიდი მოდელებიც კი შეიძლება განთავსდეს პირდაპირ მეხსიერებაში დამატებითი პროგრამული გადაწყვეტილებების საჭიროების გარეშე. სხვა სიტყვებით რომ ვთქვათ, Cerebras-ის ინფრასტრუქტურაში 1 მილიარდი და 100 მილიარდი პარამეტრის მქონე მოდელები მოქმედებენ ერთი კოდის საფუძველზე 50 000 ტოკენის ხაზობრივი თანმიმდევრობის მხარდაჭერით. 

 

შედეგად, GPT-ის CG-1-ზე სტანდარტულ რეალიზაციას დასჭირდება კოდის მხოლოდ 1200 სტრიქონი - 30-ჯერ ნაკლები არსებულ ანალოგებთან შედარებით. ხოლო სისტემის მასშტაბირება ხორციელდება რესურსების რაოდენობის მრავალჯერადი გამოყოფით მარტივი წრფივი ურთიერთქმედებით. ანუ, 40 მილიარდი პარამეტრის მქონე მოდელის სწავლება 40-ჯერ მეტხანს ხდება, ვიდრე 1 მილიარდი პარამეტრის და იმავე რესურსების მქონე მოდელის - ან თუ ამავე დროს რესურსების რაოდენობა 40-ჯერ გაიზარდა. 

https://tinyurl.com/d7nhddb6