Mac Studio жергілікті ЖИ модельдерін өңдеуге арналған тиімді баламаға айналды

Apple компаниясы өзінің дербес үлкен тілдік модельдерін (LLM) дамыту жарысына тікелей араласпаса да, басқа компаниялардың ашық модельдерін жергілікті құрылғыларда тиімді іске қосуға арналған инфрақұрылым қалыптастырды. 9to5Mac басылымының атап өтуінше, бұл шешім 2011 жылы өндірістен алынған Xserve серверлерінің заманауи баламасы іспетті.

Apple Machine Learning Research деректеріне сүйенсек, M5 Ultra чипі бар төрт Mac Studio компьютері Meta компаниясы ұсынған 816 миллиард параметрі бар Muse Spark Open ашық моделін секундына 36 токеннен астам жылдамдықпен өңдей алады. Бұл ретте әр құрылғының қуат тұтыну көрсеткіші 300 ватт айналасында ғана болады.

Біріктірілген жад архитектурасының артықшылығы

Apple Silicon чиптеріндегі біріктірілген жад архитектурасы графикалық процессорға (GPU) бір Mac Studio компьютерінде 512 ГБ дейінгі жад көлемін қолдануға мүмкіндік береді. Чиптің жад өткізгіштік қабілеті 1,2 ТБ/с жетеді, бұл бірнеше құрылғыны біріктіріп, терабайттық жады бар бірыңғай жүйе ретінде пайдалануға жағдай жасайды.

Нәтижесінде бірнеше Mac Studio компьютері бұрын Nvidia аппараттық құралдарымен жабдықталған ауқымды деректер орталығын талап ететін тапсырмаларды қарапайым жұмыс үстелінде орындап шығады. Оған қоса, Apple компаниясының машиналық оқытуға арналған арнайы MLX фреймворкі аппараттық ресурстарды тиімді бөлуге көмектеседі.

Жергілікті ЖИ-агенттер және деректер қауіпсіздігі

Аппараттық инфрақұрылымның дамуы оффлайн режимде жұмыс істейтін бағдарламалық жасақтамалардың пайда болуына түрткі болды. Мысалы, Osaurus сияқты ашық бастапқы коды бар қосымшалар ЖИ-агенттерді дербес компьютерде жергілікті түрде жүргізуге мүмкіндік береді.

Мұндай құралдар Claude немесе OpenAI сервистеріне сұраныс жіберген кезде, пайдаланушының деректерін алдын ала оқшауланған модель арқылы ауыстырып, сыртқы серверлерге жібермейді. Бұл бұлтты платформаларға тәуелділікті азайтып, деректердің жылыстауы қаупін төмендетеді.