Қадірлі, смарт қауым.

Қазіргі таңда әлем бойынша, ЖИ бағыты қатты талқыланып жатқанын біліп отырсыздар.

ЖИ бағытын дамытуда Мета компаниясы да өте қарқынды үлес қосып жатыр.

ChatGPT деген ЖИ технологиясы арқылы жұмыс істейтін чатботты көрдіңіздер. Соның өзегінде мәліметті вектор арқылы оқу (яғни сегментациялау) деген процесс жатыр. Осы бір күрделі процесті жеңілдету үшін Facebook AI Research тобы faiss деген керемет құралды жасап, оны әупінсорс қылып тарата салды.

Бұл нақты сізге не үшін керек? Бұл, сіз бен біз сияқты қуатты сервері, миллиондаған доллар инфраструктурасы жоқ, тіпті программалаудан аса шебер емес адамдар үшін GPT сияқты технология жасау үшін аса маңызды.

Осы faiss туралы АҚШ-та болсын, орыстар болсын көп ақшаға оқытады. Ал оны мына кісі теп-тегін түсіндіріп, ютубқа салып қойған. (Ағылшынша). Қолданыңыздар:

https://youtube.com/playlist?list=PLIUOU7oqGTLhlWpTz4NnuT3FekouIVlqc

LLM қолдану арқылы өз мәліметіңді қолданып чатбот жасауға арналған КЕРЕМЕТ нұсқаулық! Соқырға таяқ ұстатқандай👍

👉 @timurdaninfo

Едел-жедел кеңес:

Өткен апта ақылы курсыма қатысушыларға арналған стрим жасамақ болдым. Әдетте, еш мәселесіз қосылатын OBS Studio дәл эфирге шығатын кезде өздігінен автомат жабылып қала берді. Жүйелік қате шығарды. Оның алдында MacOS Ventura дегенге жаңартқан едім. Соның салқыны болар деп, ең соңғы OBS нұсқасын дереу жүктеп алып қондырдым.

Еш мәселесіз қондырылады. Бірақ, ақау сол күйі. Бағдарлама ашылып жатып жабылып қала береді. Түк істей алмай қойдым. Уәде берген уақыттан 20 минут кешіккенім тағы бар, әбден ұятқа қалып, әрі біраз жүйкем жұқарды. Сөйтіп, онлайн стрим құрал арқылы шыға салдым.

Алдыңғы күні тыныш жүйке, сау ақылмен отырып бұл мәселеден шығатын жолды кездейсоқ таптым. Сөйтсе, бар болғаны ~Library/Application Support бумасының ішінен obsstudio деген буманы түгелдей өшіріп тастаса, мәселе шешіледі екен.

Қазір енді дым болмағандай қосылып, жұмыс істеп тұр.

Яғни айтпағым, тек OBS емес, басқа да ашылмай қалған бағдарламаға қатысты мәселеде, жалпы Макинтошта сондай ақауға тап болсаңыз, не істеу керегін біле жүріңіз деп жатырмын.

Возьмем в команду айтишечки крутого ассистента для СЕО с английским языком и чувством юмора 😎 Отличная зарплата, рост внутри компании и мощная динамика.

Можно проактивным студентам, кто уже почти взрослый :) Резюме можно в телегу: sabinaissabekova

Meta компаниясынан керемет жаңалық!

Ол өзінің барлық өнімдеріне (Instagram, WhatsApp, Facebook және т.с.с) жымын білдірмей 100 тілден 35 тілге аударатын жасанды интеллект негізіндегі технология қоспақшы. Біз үшін маңыздысы, қазақ тілін де қолдайды.

Мына сайтқа өтіп тест жасап көруге болады: https://seamless.metademolab.com

👉 @timurdaninfo

Open AI компаниясынан керемет жаңалық:

Starting today, you can now fine-tune GPT-3.5 Turbo for custom use cases. Read more about the new fine-tuning capabilities in our latest blog post. 

Fine-tuning use cases
Since the release of GPT-3.5 Turbo, developers and businesses have asked for the ability to customize the model to create unique and differentiated experiences for their users. With this launch, developers can now run supervised fine-tuning to make this model perform better for their use cases. In our early results, we have seen developer achieve:

• Improved steerability
• Reliable output formatting
• Consistent custom tone

In addition to increased performance, fine-tuning also enables businesses to shorten their prompts while ensuring similar performance.

Pricing
Fine-tuning costs are broken down into two buckets: the initial training cost and usage cost:

• Training: $0.008 / 1K Tokens
• Usage input: $0.012 / 1K Tokens
• Usage output: $0.016 / 1K Tokens

For example, a gpt-3.5-turbo fine-tuning job with a training file of 100,000 tokens that is trained for 3 epochs would have an expected cost of $2.40. You can read more on our pricing page.

Microsoft алғаш боп "AI-ды жұмыста қолдану" туралы курс жасап шығарыпты.

Қарап отырмай, өтіп ала салайын дедім. Төрт сағаттай материал бар, сосын бір жарым сағат емтихан өтесің. 70 пайыздан жоғары алсаң сертификат береді.

Үйрен де жирен!

Қайран, Абай Құнанбайұлы…

Мен сияқты сауатсыз қасқалар емес, осы саланың отымен кіріп, күлімен шығып жүрген ғалымдар соңғы жарты жылда жасанды интеллект әлемі декада жетістігін бастан кешірді дейді.

Жалпы, түк істемеген адам ғана қателеспейді һәм түк жасамаған адкм ғана сынға қалмайды, жау таппайды, қарсылас болмайды. Ал қандай да бір істі ешкімге қарамай тындырған адамның шаужайына жабысушылар әрдайым табылады. Мейлі, әділетті болса да, әділетсіз болса да.

Мәселен, ChatGPT жасаған OpenAI компаниясы бүкіл интернеттің мағызын сіңіріп ап (парсиң дейді оны), өз жадын қалыптастырды. 2021 жылдың қыркүйегіне дейінгі күллі пайдалы ақпараттың OpenAI жинаған қоры - 570GB деседі. Сұмдық датасет.

Соның ішінде New York Times баспасының да мәліметі бар екен-мыс. Бұл туралы OpenAI пәлендей тіс жармады. Алайда, сотта дәлелденсе, онда әрбір алынған материал үшін $150.000 АҚШ теңгесіне дейін айыппұл төлейді. Ал ол іс соңына жетер болса, онда OpenAI-дан құн талап етушілердің қарасы көбейері сөзсіз.

Енді осы жерде өте қызық тағы бір жаңалық, мәлімет.

Абай атамыздың “Өнерді үйрен де жирен” дегені қазіргі таңда өте прогрессив бағыт. Оны learn-unlearn деп жүр EdTech саласындағы ағайын.

Жасанды интеллект бағытында мәліметтер қорының сапасына қарай нәтиже кейде теріс, нәсілшіл, biased боп шығады. Сондай-ақ, жаңа жазғанымдай, ақпарат дұрыс болса да ол датасеттің интеллект құқын талап етушілер пайда болады. Сол кезде датасетті жаңарту қажеттілігі пайда болады.

Осыған дейін ЖИ саласындағы жұрт machine learning яғни машинаны үйрету бағытын ғана білетін. Ал үйренгенін ұмытуды естімедік, білмедік, болмады. Енді міне, Google компаниясының Фабиан Педрегоса және Элени Триантафиллу атты зерттеушілері бұған дейін болмаған тым жаңа бағыт - machine unlearning яғни машинаны ұмыттыру дегенді жария етті.

Ал саған керек болса…

Гуглден жауап алғаныңа қуанып (өйткені, резюмең эйчарға жеткенінің өзі өте жақсы хабар), алайда, отказ алғаныңа бір өкінетін сәт 😁😢

Жасанды интеллекті мамандар Data hungry яғни “мәліметке тоймайтын ашқарақ” деп атайды. Қазіргі таңда барлық дерлік жасанды интеллект технологиясы сіз бен біздің яғни шынайы өмірдегі дата бойынша жемделеді. Ал 2030 жылға қарай соншалықты датаның орнын синтетикалық (жасанды) дата баспақ.

Мәселен, Тесланың автопилотында синтетикалық дата негізінде симулятор арқылы оқытылады екен.

Бұл ақпарат енді бір 5 жылда барлық компанияға (өйткені, жақын болашақта барлығы жасанды интеллект арқылы жұмыс істейтін болады) машинаны үйрету (machine learning) үшін синтетикалық дата ұсынатын агенттік ашуға ниеті бар адамдар үшін өте маңызды. Сіз, иә, дәл сіз де бұл көшке осы бастан ілесе аласыз.

@timurdaninfo

@timurbektur

Қарсы алыңыз: Qazaq AI
Қазақ тілі үшін жасанды интеллект технологияларын енгізуге жәрдемдесу!
Жасанды интеллект (AI) технологияларының жаһандық қарқыны денсаулық сақтаудан қаржыға дейінгі, мемлекеттік басқарудан білім саласына дейінгі көптеген салаларда толқындық әсерлерді тудырды. Алайда, осы технология тарапынан аз қамтылған тілдерде жасанды интеллектің жетілуіне қатысты айтарлықтай алшақтық бар және олардың бірі - Қазақ тілі, біздің ана тіліміз. Бұл олқылықты мойындай отырып, оның орнын толтыруға және қазақ тіліне бейімделген жасанды интеллект технологияларын енгізуге ықпал ету үшін Qazaq.AI атты платформамызды назарларыңызға ұсынамыз.
Қазіргі таңда машинаны үйретудің көптеген алгоритмдері мен модельдері негізінен ағылшын тілі тұрғысынан әзірленгенімен, қазақ тілінің бірегей синтаксистік, семантикалық және фонетикалық сипаттамаларына сай ерекше тәсілді талап етеді. Біз осы жерде көмекке келгіміз келеді.
Бүгінгі ҚР Президенті Қ-Ж. Тоқаевтың Халыққа Жолдауында да еліміздің алдындағы басты міндеттердің бірі ретінде ІТ технологияны одан әрі дамыту, жасанды интеллекті игеру һәм цифрландыруды өркендете түсуді шегелеп тұрып айтқан болатын. Біз, АҚШ-тағы қазақ әріптесім, кванттық физика және үлкен датаны сараптау бойынша маман Altynbek Murat екеуміз мынау тағдыршешті кезеңде еліміздің технологиялық қайраңда қалмауы үшін өз үлесімізді қоспақ ниетпен осы Qazaq.AI платформасын аштық. Қарсы алыңыздар!
Мақсатымыз - қазақ тіліне негізделген жасанды интеллекті қолдану мен дамуды күшейту.
Миссиямыз - Qazaq AI жасанды интеллект объективі арқылы қазақ тілін жандандыруға ұмтылады.
Негізгі жұмыс бағыттарымыз:
- Қазақ тіліндегі жасанды интеллект жобалары бойынша кеңес беру, консалтиң;
- Консультациялар арқылы қазақ тіліндегі жасанды интеллект енгізудің тиімді және мәдени ерекшеліктерді ескере отырып қамтамасыз ету, үздік тәжірибелер мен ықтимал қиыншылықтар туралы ақпарат беру;
- Жасанды интеллект құралдарын енгізу жеткіліксіз. Тұрақты өсу мен интеграция үшін ЖИ саласында білім берудің шұғыл қажеттілігі бар. Сондықтан біз ЖИ айналасында қазақша оқытуды қолға аламыз;
- Оқу жоспарларын құру: жасанды интеллектің, машинаны үйретудің қыр-сырын және олардың қазақ тілімен қалай қиысатынын түсіндіру курстарын әзірлеу;
- Шеберлік сыныптар мен семинарлар: жаңадан бастаушылар да, сарапшылар да олардың пайдасын көре алатындығына кепілдік беретін әртүрлі білім деңгейлеріне арналған іс-шараларды ұйымдастыру;
- Жасанды интеллект бойынша тәлімгерлік: заманауи ұрпақ тәрбиелеу;
- Зерттеулер мен жарияланымдар: қазақ тіліне тән зерттеулерді жетілдіру, жасанды интеллект саласындағы жаһандық білім базасын одан әрі байыту;
- Құралдар жиынтығы мен кітапханалар: қазақ тіліне бейімделген құралдар жиынтығын әзірлеу немесе ұсыну, бұл мамандар әзірлеу процесін жеделдетеді;
- ЖИ саласындағы жетілген АҚШ-тық техникалық компаниялармен, әлемдік деңгейдегі экспертермен байланыс орнату;
Сондай-ақ, әрине, бірлескен жобаларды атқару: әртүрлі ұйымдар арасындағы ынтымақтастық жасау, олардың ЖИ бағытындағы жобаларына жәрдемдесу, проблемаларды шешуге ұжымдық және синергетикалық көзқарасты қамтамасыз ету.
Жасанды интеллект технологияларын қазақ тіліне интеграциялау тек технологиялық прогресті ғана білдірмейді, бұл, сонымен бірге, мәдениетті сақтау, дәстүрді жетілдіру мен қазіргі заман арасындағы көпір және жаһандық цифрлық экожүйедегі тіліміздің орнын бекіту.
Біз көкжиегіміз ретінде қазақ мәдени мұрасы ЖИ технологияларына органикалық түрде интеграцияланатын болашақты елестетеміз. Бұл көштен біз қалмауымыз керек!
https://qazaq.ai/kk/

Сурет Midjourney жасанды интеллекті арқылы жасалды.

Мағынасы: төрімізді технолгия таптап кетпей тұрғанда оны өзіміз игеріп үлгерейік.

Нейросеть

Неге екенін білмеймін, жасанды интеллектің бұқаралық үлгілері шыққалы бері, әсіресе Миджорней мен ЧатГПТ шыққалы орыстар "нейросеть" деп бақылдап кетті. Содан ба, нейросеть деген рилс пен тикток видео көрсем, жыным келеді. АҚШ-та жүрмін ғой, мына жақта ешкім ЧатГПТны да, Миджорнейді де, басқасын да neural network деп айтпайды. Жай ғана AI Technology дейді.

Жарайды, әңгіме онда емес, жалпы осы neural network дегеннің ішінде тереңдей түсетін deep learning атты сала бар. Терең үйрету деп қазақшалап жүрмін, әзірге. Қазіргі таңда сіздер көріп жатқан барша "уау" технологияның түбінде осы механизм жұмыс істеп жатыр. Мәселен, NLP яғни табиғи тілді өңдеу бағыты болсын, басқасы болсын. Әңгіме, соның көпшілігін PyTorch атты кітапхана арқала өмірге әкеледі.

Мына жерде мен сіздерге "1 күнде терең үйретуді үйрен" атты видеоны бөлісіп отырмын. Иә, тура мағынада бір күн, нақтырақ айтқанда бір тәулік, одан да нақтырақ айтқанда, бір тәулік және бір сағаттық видео. Хронометраж жағынан алғанда, иә, бір тәуліктік сабақ. Алайда, мұндай күрделі сабақты ешбір адам баласы 1 тәулік қарап отыра алмайды. Бір сағат шыдаса сол-ақ. Оның өзінде пассив түрде қараса. Ал әрбір айтылғанды өзі видеоны тоқтатып қойып қайталап, жадына сіңіріп, маңызды тұстарын түртіп алып отырар болса, онда Құдайдың құтты күніне 1 сағаттан отырғанның өзінде мұны 26 күнде бітіресіз деген сөз. Ал егер ол жерде айтылғандар бойынша өзіндік жұмыс, тәжірибе жасағыңыз келсе, тағы кемінде 1-2 ай қосасыз. Қайталаймын, бұл Құдайдың құтты күні тоқтамастан отырғанда. Әдетте, адамдар аптасына 3 күн бөлсе де ең үлкен жетістікке жетер еді. Сонда бұл сабағыңыздың практикалық уақыт интервалы кемінде 5-6 айға созылады деген сөз. Жай ғана көріп, меңгеріп, қайталап шығу үшін.

Не үшін айтып отырмын?

Біріншіден, осындай керемет видеосабақты тегін жариялап қойғанын көрсетіп, сіздер де оқу үшін.
Екіншіден, көпшілігі сұраққа қойғанда "Қанша уақытта үйренуге болады?" деп жатады. Мына қарапайым долбардан көретініміз, кемі 5-6 айда. Оның өзінде хардуоркер болсаңыз. Жүйелі болсаңыз. Ал оны не үшін айтып отырмын? Себебі, қазіргі жастардың бір жақсысы, көп нәрсені үйренгісі келеді, талпынысы күшті. Бір жаманы, табандап отырып 5-6 ай білім үйренуге келгенде тайқып шыға келеді. Ал жаңа бір нәрсені үйренгіңіз келсе, онда миға сигнал жіберу керек, "Мынау 5-6 ай уақыт алады екен. Осыны үйреніп алуға өзіме жарты жыл уақыт беремін" деп. Сонда, қолыңызға алған кез-келген нәрсені тез тастап кетпейтін боласыз. Моральны дайын боласыз.

Әлеуметтік желілердің бір жақсысы, бұрын-соңды біздің кезімізде жарық күнде шаммен іздеп таппайтын ақпарат легі көп. Бір жаманы, кино, клип, әртүрлі көше пранктары мен шоулардың арасынан алгоритмді жарып шығып, пайдалы білімнің көпшілік назарына жетуі өте қиын. Сондықтан, білім берушілер де кликбейт жасап "Бір күнде Pytorch үйреніп ал" деген сияқты тақырып қоюға мәжбүр. Гәп осы жерде боп тұр. Саған сұрақ қойған адамға "Кемінде жарты жыл керек-ау..." десең, "Өтірік айтпаш, ана жақта бір күнде үйренесің деп тұр ғой. Білмесең, айтсайшы білмеймін" деп шыға келеді.

Сол үшін, маңызды һәм іргелі білім алатын кезде инфосығандар мен маркетологтардың, бір күнде сізді Айға ұшырып, Марсқа қондырам да Илон Маск секілді бай қылам дейтіндердің сөзіне иланғыңыз кеп тұрса да аса қатты мән бермеңіз. Дұрыс білім, дұрыс ғылым әрдайым мыжыңбай оқу мен былшыраған тәжірибе арқылы келеді.

(Ескерту: мен өзім әлі сол тензорфлоу мен керастан қатты асып кете қоймадым. Сондықтан бірден айтып қояйын, мына Пайторчы өзім де білмеймін. Жай тек енді қызықтап жүрген соң біратала жариялай салайын дедім).
https://www.youtube.com/watch?v=Z_ikDlimN6A

💥 Керемет құрал! Просто бомба!

Жігіттер мен қыздар, пайтондар мен джавалар, дельфилер мен паскальдар, мен бүгін сіздерге тамаша бір құралды ұсынғым кеп отыр.

Өзімнің жеке жобаларымның бірін ағылшын тілінен қазақша аударуым керек еді. Алайда, стриң бай стриң яғни біртіндеп уэб интерфейс арқылы аударуға мойын жар бермей жүрген. "Күнде ертең" дегеннің мен үшін интервалы 2-3-4 ай боп кете береді екен.

Содан бүгін отырдым да "Неужели осыны автоматтауға болмайды? JSON файл ғой?" деп іздеп кеп қалсам... Программист көп қой бұл жалғанда. Бірақ, қолындағы құралын тегін бөлісе салатын жігіттерден қалай айналып қана кетпейсің?

Сөйтіп, 2 мың 300-ден асатын жолды 23 секундта ағылшын тілінен қазақша және орысша аударып алдым.

Қалай дейсің ғой?

Былай:

Терминалды ашасың да:

npm i -g @parvineyvazov/json-translator

деген бір-ақ түйір жолды жазасың.

Сосын: jsontt path/to/your/file.json деп json файл орналасқан буманы көрсетесің. Мен сияқты кержалқаулар болса, ана жолды жазып шыққанша қай заман десең, папкадағы файлды желкесінен сүйреп әкеліп, Терминалға лақтыра саласың.

Бум!🤯

Тізімнен Гугл немесе Майкрософт сияқты аудармашы қозғалтқышты таңдайсың да қай тілге аудару қажеттігін фук-фук еткізсең...

👀👀👀

Әлгі en.json дегеннің қасынан өзің таңдаған екі тілдегі аударма қонжиып жайғасып алады...

@timurdaninfo

MBZUAI деген Біріккен Араб Әмірліктерінің тамаша университеті бар. Әлемнің ЖИ саласындағы ең үздіктері мен мықтылары сабақ береді. Соған қазір магистратура мен докторантураға қабылдау жүріп жатыр. Оқу - 100% тегін. Әрі стипендия береді. Отбасылы азаматқа тегін үй береді.

Құжат тапсырған кезде мынадай емтихандардан өту керек. Соны біле жүрсін деп бөлісіп жатырмын:

Math: Calculus, probability theory, linear algebra, trigonometry and optimization
 
Machine learning: Machine learning algorithms and concepts such as linear regression, decision trees, loss functions, support vector machines, classification, regression, clustering, convolutional neural networks, dimensionality reduction, neural networks and unsupervised learning
 
Programming: Knowledge surrounding specific programming concepts and principles such as algorithms, data structures, logic, OOP, and recursion as well as language–specific knowledge of Python
 
To enhance the preparedness for the entry exam, applicants are strongly advised to successfully complete the following online courses on Coursera and upload the corresponding completion certificates to their MBZUAI online application:
 
• https://www.coursera.org/learn/python?specialization=python
• https://www.coursera.org/learn/python-data?specialization=python
• https://www.coursera.org/learn/linear-algebra-machine-learning?specialization=mathematics-machine-learning
• https://www.coursera.org/learn/introductiontoprobability