Magdalena Posted April 1 Share Posted April 1 Intel-მა გამოაცხადა, რომ მისი ხელოვნური ინტელექტის ამაჩქარებელი Habana Gaudi2 რჩება NVIDIA H100-ის ერთადერთ ალტერნატივად MLPerf Inference 4.0 ბენჩმარკზე. ამავე დროს, როგორც ითქვა, Gaudi2 უზრუნველყოფს მაღალ წარმადობას დოლარზე, თუმცა სწორედ NVIDIA ჩიპები არიან უდავო ლიდერები. აღნიშნულია, რომ Gaudi2 პლატფორმისთვის Intel აგრძელებს მხარდაჭერის გაფართოებას პოპულარული ენის დიდი მოდელების (LLM) და მულტიმოდალური მოდელებისთვის. კერძოდ, MLPerf Inference v4.0-ისთვის კორპორაციამ წარმოადგინა შედეგები Stable Diffusion XL და Llama v2-70B-სთვის. ტესტის შედეგების მიხედვით Stable Diffusion XL-ის შემთხვევაში H100 ამაჩქარებელი აღემატება Gaudi2-ს 2.1-ჯერ ოფლაინ რეჟიმში და 2.16-ჯერ - სასერვერო რეჟიმში. Llama v2-70B-ის დამუშავებისას აღმატება უფრო მნიშვნელოვანია - 2.76-ჯერ და 3.35-ჯერ, შესაბამისად. თუმცა, ამ ამოცანების უმეტესობაში (გარდა Llama v2-70B სერვერის რეჟიმისა), Gaudi2 აღემატება H100-ს დოლარზე გათვლილი წარმადობის თვალსაზრისით. ფოტოს წყარო: Intel საერთო ჯამში, Gaudi2-მა Stable Diffusion XL-ში მიაღწია 6.26 და 6.25 შედეგს წამში ოფლაინ და სერვერის რეჟიმში, შესაბამისად. Llama v2-70B-ის შემთხვევაში მიღწეულია, შესაბამისად, 8035.0 და 6287.5 ტოკენი წამში. ასევე ნათქვამია, რომ Xeon Emerald Rapids სასერვერო პროცესორები MLPerf Inference v3.1 ბენჩმარკში აპარატული და პროგრამული უზრუნველყოფის კომპონენტების გაუმჯობესების წყალობით აფიქსირებს საშუალოდ 1.42-ჯერ უფრო მაღალ მნიშვნელობებს Xeon Sapphire Rapids ჩიპებთან შედარებით. მაგალითად, GPT-J-სთვის პროგრამული უზრუნველყოფის ოპტიმიზაციით და DLRMv2-ისთვის დაფიქსირდა წარმადობის ზრდა დაახლოებით 1.8-ჯერ. https://tinyurl.com/49v29v6t Quote Link to comment Share on other sites More sharing options...
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.