Meta-მ წარადგინა NVIDIA GB200 NVL72 სუპერ ამაჩქარებლის საკუთარი ვერსია

[Magdalena]

Meta-მ გააზიარა თავისი ინოვაციები აპარატული ინფრასტრუქტურის სფეროში და ზუსტად განმარტა, თუ როგორ ხედავს ღია AI პლატფორმების მომავალს. კომპანიამ პრეზენტაციაზე ისაუბრა ახალ ხელოვნური ინტელექტის პლატფორმაზე, სტეკების ახალ დიზაინზე, მათ შორის გაზრდილი ელექტროკვების ვარიანტებზე, ასევე ინოვაციებზე ქსელის ინფრასტრუქტურის სფეროში. 

 

ფოტოს წყარო: Meta 

კომპანია ამჟამად იყენებს ნეიროქსელ Llama 3.1 405B-ს. ამ LLM-ის კონტექსტური ფანჯარა აღწევს 128 ათას ტოკენს, მაგრამ ტოკენების საერთო რაოდენობა 15 ტრილიონზე მეტია. ასეთი მოდელების მომზადებისთვის საჭიროა ძალიან სერიოზული რესურსები და მთელი პროგრამული და აპარატული უზრუნველყოფის სიღრმისეული ოპტიმიზაცია. 16 ათასი NVIDIA H100 ამაჩქარებლის კლასტერი, ამ მასშტაბის ერთ-ერთი პირველი, მონაწილეობდა საბაზისო Llama 3.1 405B მოდელის სწავლებაში. მაგრამ Meta უკვე იყენებს ორ კლასტერს, თითოეულში 24 ათასი ამაჩქარებელია ხელოვნური ინტელექტის მოდელების მოსამზადებლად. 

ამ მასშტაბის პროექტები მხოლოდ ამაჩქარებლებზე არ არის დამოკიდებული. უმნიშვნელოვანესია ელექტრომომარაგების, გაგრილების და რაც მთავარია ურთიერთკავშირის პრობლემები. მომდევნო რამდენიმე წლის განმავლობაში Meta ელოდება დაახლოებით 1 ტბ/წმ სიჩქარის მიღწევას თითო ამაჩქარებელზე. ამ ყველაფერს დასჭირდება ახალი, კიდევ უფრო მჭიდრო არქიტექტურა, რომელიც, Meta-ს მიხედვით, ღია აპარატულ სტანდარტებს უნდა ეფუძნებოდეს. 

 

ერთ-ერთი ახალი პროდუქტი იყო პლატფორმა Catalina. ეს არის Orv3 თარო, რომლის მტავარი კომპონენტია ჰიბრიდული პროცესორები NVIDIA GB200. თარო მიეკუთვნება HPR (High Power Rack) კლასს და გათვლილია 140 კვტ-ზე. Microsoft და Meta ამჟამად მუშაობენ მოდულურ და მასშტაბირებად ენერგოსისტემა Mount Diablo-ზე. Microsoft-ს ასევე აქვს GB200 NVL72-ის საკუთარი ვერსია. Meta-მ ასევე განაახლა Grand Teton AI სერვერები, რომლებიც პირველად დაინერგა 2022 წელს. ეს ჯერ კიდევ მონოლითური სისტემებია, მაგრამ ახლა მათზე მხარდაჭერილია არა მხოლოდ NVIDIA ამაჩქარებლები, არამედ AMD Instinct MI300X და სამომავლო MI325X. 

 

მომავალი პლატფორმების ურთიერთდამაკავშირებელი იქნება DSF (Disaggregated Scheduled Fabric) ქსელი. ღია სტანდარტებზე გადასვლით კომპანია გეგმავს თავიდან აიცილოს შეზღუდვები, რომლებიც დაკავშირებულია მაშტაბირებასთან, აპარატული უზრუნველყოფის გამყიდველებზე დამოკიდებულებასა და კვების ქვესისტემასთან. DSF ეფუძნება OCP-SAI სტანდარტს და ოპერაციულ სისტემა Meta FBOSS OS-ს. აპარატული ნაწილი დამყარებულია სტანდარტულ Ethernet/RoCE ინტერფეისზე. 

Meta-მ უკვე შეიმუშავა და დაამზადა ახალი 51T კლასის გადამრთველები Broadcom-ისა და Cisco-ს სილიკონის ბაზაზე, ასევე Marvell-ის მხარდაჭერით შექმნილი FBNIC ქსელის ადაპტერები. FBNIC-ს შეიძლება ჰქონდეს ოთხამდე 100 გბ პორტი. გამოიყენება PCIe 5.0 ინტერფეისი და მას შეუძლია იმუშაოს როგორც ცალკე ოთხეულმა. ახალი პროდუქტი შეესაბამება OCP NIC 3.0 v1.2.0 ღია სტანდარტს. 

https://tinyurl.com/2s4bhbpz