Гуфта мешавад, ки ширкатҳои технологӣ ё барои GPU-ҳо мекӯшанд ё дар роҳи ба даст овардани онҳо ҳастанд. Дар моҳи апрел директори генералии Tesla Элон Маск 10,000 GPU харид ва изҳор дошт, ки ширкат ба харидани миқдори зиёди GPU-ҳои NVIDIA идома медиҳад. Дар паҳлӯи корхона, кормандони IT низ сахт талош мекунанд, то боварӣ ҳосил кунанд, ки GPU-ҳо барои ҳадди аксар даромади сармоягузорӣ истифода шаванд. Аммо, баъзе ширкатҳо метавонанд дарк кунанд, ки дар ҳоле ки шумораи GPU-ҳо зиёд мешавад, бекории GPU шадидтар мешавад.
Агар таърих ба мо дар бораи ҳисоббарории баландсифат (HPC) чизе омӯхт, он аст, ки нигоҳдорӣ ва шабакавӣ набояд аз ҳисоби тамаркузи аз ҳад зиёд ба ҳисоббарорӣ қурбонӣ карда шавад. Агар нигоҳдорӣ маълумотро ба воҳидҳои ҳисоббарорӣ самаранок интиқол дода натавонад, ҳатто агар шумо дар ҷаҳон аз ҳама бештар GPU дошта бошед, шумо ба самаранокии беҳтарин ноил намешавед.
Ба гуфтаи Майк Матчетт, таҳлилгари Small World Big Data, моделҳои хурдтар метавонанд дар хотира (RAM) иҷро карда шаванд, ки имкон медиҳад таваҷҷӯҳи бештарро ба ҳисоббарорӣ фароҳам оварад. Бо вуҷуди ин, моделҳои калонтар ба монанди ChatGPT бо миллиардҳо гиреҳҳо аз сабаби арзиши баланд наметавонанд дар хотира нигоҳ дошта шаванд.
"Шумо миллиардҳо гиреҳҳоро дар хотира ҷойгир карда наметавонед, аз ин рӯ нигоҳдорӣ боз ҳам муҳимтар мешавад" мегӯяд Матчетт. Мутаассифона, дар раванди банақшагирӣ нигоҳдории маълумот аксар вақт нодида гирифта мешавад.
Умуман, новобаста аз ҳолати истифода, дар раванди таълими моделӣ чор нуқтаи умумӣ мавҷуданд:
1. Омӯзиши намунавӣ
2. Аризаи хулосабарорӣ
3. Захираи маълумот
4. Ҳисоббарории тезонидашуда
Ҳангоми эҷод ва ҷойгиркунии моделҳо, аксари талаботҳо ба исботи зуди консепсия (POC) ё муҳитҳои озмоишӣ барои оғоз кардани омӯзиши моделҳо авлавият медиҳанд, бо назардошти нигоҳдории маълумот эҳтиёҷоти зиёд ба назар гирифта намешавад.
Аммо, мушкилот дар он аст, ки омӯзиш ё ҷойгиркунии хулоса метавонад моҳҳо ё ҳатто солҳо давом кунад. Бисёре аз ширкатҳо дар ин муддат андозаи модели худро зуд васеъ мекунанд ва инфрасохтор бояд барои мутобиқ кардани моделҳо ва маҷмӯи додаҳои афзоянда васеъ шавад.
Тадқиқот аз Google дар бораи миллионҳо сарбории омӯзиши ML нишон медиҳад, ки ба ҳисоби миёна 30% вақти омӯзиш барои лӯлаи додаҳои воридотӣ сарф мешавад. Дар ҳоле ки тадқиқоти гузашта ба оптимизатсияи GPU-ҳо барои суръат бахшидан ба омӯзиш тамаркуз карда буд, то ҳол мушкилоти зиёде дар оптимизатсияи қисмҳои гуногуни лӯлаи маълумот боқӣ мондаанд. Вақте ки шумо қудрати назарраси ҳисоббарорӣ доред, монеаи воқеӣ ба миён меояд, ки то чӣ андоза шумо метавонед маълумотро ба ҳисобҳо барои ба даст овардани натиҷаҳо ворид кунед.
Махсусан, мушкилот дар нигоҳдорӣ ва идоракунии додаҳо банақшагирии афзоиши маълумотро тақозо мекунанд, ки ба шумо имкон медиҳад, ки ҳангоми пешрафти худ арзиши маълумотро пайваста истихроҷ кунед, алахусус вақте ки шумо ба ҳолатҳои пешрафтаи истифода, ба монанди омӯзиши амиқ ва шабакаҳои нейрон, ки талаботҳои бештар ба нигоҳдорӣ аз рӯи иқтидор, иҷроиш ва миқёспазирӣ.
Бавижа:
Миқёспазирӣ
Омӯзиши мошинсозӣ коркарди миқдори зиёди маълумотро талаб мекунад ва бо афзоиши ҳаҷми маълумот, дақиқии моделҳо низ беҳтар мешавад. Ин маънои онро дорад, ки корхонаҳо бояд ҳар рӯз маълумоти бештар ҷамъоварӣ ва нигоҳ доранд. Вақте ки нигоҳдорӣ миқёсро васеъ карда наметавонад, сарбории кории пуршиддати маълумот монеаҳо эҷод мекунад, ки иҷроишро маҳдуд мекунад ва боиси бекористии GPU гарон мешавад.
чандирӣ
Дастгирии чандир барои якчанд протоколҳо (аз ҷумла NFS, SMB, HTTP, FTP, HDFS ва S3) барои қонеъ кардани ниёзҳои системаҳои гуногун зарур аст, на маҳдуд шудан бо як намуди муҳити зист.
Таъхир
Таъхири воридот ва баромад барои сохтан ва истифодаи моделҳо муҳим аст, зеро додаҳо борҳо хонда мешаванд ва дубора хонда мешаванд. Коҳиш додани таъхири вуруд/чор метавонад вақти омӯзиши моделҳоро бо рӯзҳо ё моҳҳо кӯтоҳ кунад. Рушди зудтари модел мустақиман ба бартариҳои бештари тиҷорат табдил меёбад.
Ҳаҷми интиқол
Гузаронидани системаҳои нигоҳдорӣ барои омӯзиши самараноки моделҳо муҳим аст. Равандҳои омӯзишӣ миқдори зиёди маълумотро дар бар мегиранд, маъмулан бо терабайт дар як соат.
Дастрасии параллелӣ
Барои ноил шудан ба қобилияти баланд, моделҳои омӯзишӣ фаъолиятҳоро ба якчанд вазифаҳои мувозӣ тақсим мекунанд. Ин одатан маънои онро дорад, ки алгоритмҳои омӯзиши мошинсозӣ ба як файлҳо аз якчанд равандҳо (эҳтимолан дар серверҳои сершумори физикӣ) ҳамзамон дастрасӣ пайдо мекунанд. Системаи нигоҳдорӣ бояд талаботҳои ҳамзамонро бидуни осебпазирӣ иҷро кунад.
Dell PowerScale бо қобилиятҳои барҷастаи худ дар таъхири кам, гузариши баланд ва миқёси васеъи мувозии I/O, Dell PowerScale як замимаи беҳтарини нигаҳдории компютерии суръатбахши GPU мебошад. PowerScale вақти заруриро барои моделҳои таҳлилие, ки маҷмӯи додаҳои бисёртерабайтиро таълим ва озмоиш мекунанд, ба таври муассир коҳиш медиҳад. Дар нигаҳдории ҳама флешдор PowerScale, фарохмаҷрои 18 маротиба зиёд мешавад, ки монеаҳои вуруд ва баромадро аз байн мебарад ва метавонад ба кластерҳои мавҷудаи Isilon илова карда шавад, то арзиши миқдори зиёди маълумоти сохторнашуда суръат бахшад.
Гузашта аз ин, имкониятҳои дастрасии бисёрпротоколии PowerScale чандирии номаҳдуди сарбории корро таъмин намуда, имкон медиҳад, ки маълумот бо истифода аз як протокол нигоҳ дошта шавад ва бо истифода аз протоколи дигар дастрас шавад. Махсусан, хусусиятҳои пурқувват, чандирӣ, миқёспазирӣ ва функсияҳои сатҳи корпоративии платформаи PowerScale дар ҳалли мушкилоти зерин кӯмак мекунанд:
- Суръати навоварӣ то 2,7 баробар, кам кардани давраи омӯзиши моделҳо.
- Бартараф кардани монеаҳои вуруд ва баромад ва омӯзиши зудтари моделҳо ва тасдиқи моделҳо, дақиқии беҳтари модел, ҳосилнокии беҳтари илми маълумот ва даромади ҳадди аксар аз сармоягузориҳои компютерӣ тавассути истифода аз хусусиятҳои дараҷаи корхона, иҷрои баланд, ҳамоҳангӣ ва миқёспазириро таъмин кунед. Дақиқии моделро бо маҷмӯаҳои додаҳои амиқтар ва баландтар бо истифода аз иқтидори нигаҳдории муассир дар як кластер то 119 PB такмил диҳед.
- Ба густариш дар миқёс тавассути оғоз кардани ҳисоббарорӣ ва нигоҳдории хурд ва миқёси мустақил, пешниҳоди имконоти боэътимоди ҳифзи додаҳо ва амният ноил шавед.
- Маҳсулнокии илми маълумотро бо таҳлили ҷобаҷогузорӣ ва қарорҳои қаблан тасдиқшуда барои густариши зудтар ва хатари кам беҳтар кунед.
- Истифодаи тарҳҳои исботшуда дар асоси технологияҳои беҳтарин, аз ҷумла суръатбахшии NVIDIA GPU ва меъмории истинод бо системаҳои NVIDIA DGX. Фаъолияти баланд ва ҳамоҳангии PowerScale ба талаботи иҷрои нигоҳдорӣ дар ҳама марҳилаҳои омӯзиши мошин, аз ба даст овардани маълумот ва омодагӣ то омӯзиш ва хулосаи модел мувофиқат мекунад. Якҷоя бо системаи оператсионии OneFS, ҳама гиреҳҳо метавонанд дар дохили як кластери OneFS идорашаванда бефосила кор кунанд, бо хусусиятҳои сатҳи корхона ба монанди идоракунии самаранокӣ, идоракунии маълумот, амният ва ҳифзи додаҳо, имкон медиҳад, ки омӯзиши моделҳо ва тасдиқи корхонаҳо зудтар анҷом дода шаванд.
Вақти фиристодан: июл-03-2023
