#startup
"Hozir startupda nimalar qilayabman?" eng ko'p so'ralgan savollardan.
Dropbox'da ishlab yurgan paytlarim kichik experiment qilgandik. Mendagi savol quyidagicha:
GPU va CPU o'rtasida ba'zi katta farqlar bor, ammo bu degani modellarni CPU da yaxshi va effektiv yurita olmaymiz degani emas. CPU dagi eng katta ustunlik bu xotirada. Ya'ni siz 256GB RAM istasangiz undan kattaroq qilib ishlatsangiz bo'ladi ammo bu GPUda bu limit 80GB (H100).
CPU va RAM o'rtasida gaplashish tezligi ~60-100 GB/s, GPU esa ~1000-2200 GB/s ga teng. Modellar ma'lumotlar va juda ko'p compute (xisob-kitob) dan iborat. Shuning uchun ham hozircha buni yaxshiroq algoritmlari topilmagan. Ammo bu degan bunday algoritmlar topilmaydi degani emas.
Qiyin muammo ustida ishlayabman, ammo har kuni nimadir o'rgatadigan muammo ustida ishlayabman.
"Hozir startupda nimalar qilayabman?" eng ko'p so'ralgan savollardan.
Dropbox'da ishlab yurgan paytlarim kichik experiment qilgandik. Mendagi savol quyidagicha:
Nimaga biz kichik, efficient va biror tor yo'nalishdagi modellarni ko'paytirib, ularni CPU da yuritishni o'rniga, general modellarni bilimini (weight) kengaytirib ularni ko'p train qilib, hozirda qimmat bo'layotgan GPU larda yuritishimiz kerak?
GPU va CPU o'rtasida ba'zi katta farqlar bor, ammo bu degani modellarni CPU da yaxshi va effektiv yurita olmaymiz degani emas. CPU dagi eng katta ustunlik bu xotirada. Ya'ni siz 256GB RAM istasangiz undan kattaroq qilib ishlatsangiz bo'ladi ammo bu GPUda bu limit 80GB (H100).
CPU va RAM o'rtasida gaplashish tezligi ~60-100 GB/s, GPU esa ~1000-2200 GB/s ga teng. Modellar ma'lumotlar va juda ko'p compute (xisob-kitob) dan iborat. Shuning uchun ham hozircha buni yaxshiroq algoritmlari topilmagan. Ammo bu degan bunday algoritmlar topilmaydi degani emas.
Qiyin muammo ustida ishlayabman, ammo har kuni nimadir o'rgatadigan muammo ustida ishlayabman.
#startup
Juda kuchli founder va oddiy founder lar o'rtasidagi eng katta farq matematikada ekan. Google TPU, Nvidia GPU, Intel CPU yaratayotgan jamolar bilan suhbat qildim. Xulosa bitta, ular matematikada kuchli.
Misol uchun Dario Amodei (Anthropic), Ilya Sutskever (OpenAI), Sergey Brin (Google), Elon Musk (SpaceX, Tesla), Pavel Durov (Telegram), Jeff Bezos (Amazon), Mark Zuckerber (Meta), Vitalik Buterin (Ethereum), Nikolai Durov (Telegram), Piotr Dąbkowski (ElevenLabs) va h.k.z
Matematika tezkor va aniq fikrlashni o'stiradi. Istalgan eng zo'r ishlar ortida matematika bor. Bizda hali ham "matematika o'rganaymi?" degan savollar bo'lib turadi. G'ayrioddiy ishlarni qilish uchun sizga matematika kerak.
Hozirgi startup'im ham juda ko'p matematika talab qiladi. Deyarli nima o'rgansam ham hammasi borib matematikaga taqaladi. Chip levelda ish qilish, OS bilan chip gaplasha olishi uchun compiler qilish, compiler chipga yuborilgan instruksiyani qay tartibda bajarishiyu, bajarish algoritmlari. Bularni barchasiga matematika kerak va juda low-level bilmlar. Hech nima bilmayman, ammo juda ko'p o'rganayabman.
Matematika o'rganing!!!
Juda kuchli founder va oddiy founder lar o'rtasidagi eng katta farq matematikada ekan. Google TPU, Nvidia GPU, Intel CPU yaratayotgan jamolar bilan suhbat qildim. Xulosa bitta, ular matematikada kuchli.
Misol uchun Dario Amodei (Anthropic), Ilya Sutskever (OpenAI), Sergey Brin (Google), Elon Musk (SpaceX, Tesla), Pavel Durov (Telegram), Jeff Bezos (Amazon), Mark Zuckerber (Meta), Vitalik Buterin (Ethereum), Nikolai Durov (Telegram), Piotr Dąbkowski (ElevenLabs) va h.k.z
Matematika tezkor va aniq fikrlashni o'stiradi. Istalgan eng zo'r ishlar ortida matematika bor. Bizda hali ham "matematika o'rganaymi?" degan savollar bo'lib turadi. G'ayrioddiy ishlarni qilish uchun sizga matematika kerak.
Hozirgi startup'im ham juda ko'p matematika talab qiladi. Deyarli nima o'rgansam ham hammasi borib matematikaga taqaladi. Chip levelda ish qilish, OS bilan chip gaplasha olishi uchun compiler qilish, compiler chipga yuborilgan instruksiyani qay tartibda bajarishiyu, bajarish algoritmlari. Bularni barchasiga matematika kerak va juda low-level bilmlar. Hech nima bilmayman, ammo juda ko'p o'rganayabman.
Matematika o'rganing!!!
#startup
Dropbox'da ML team kichik model train qilishgandi. Biz uni olib Reinforcement Learning muhitga tashlab uni qilayotgan ishlarini kuzatgandik. Bu joyiga to'liq to'xtala olmayman, ammo qiziq bir narsani aytmoqchiman.
Agent muhitga tushganda turli xil yo'llarni sinab ko'radi. Agentga policy beriladi va u shundan chiqib ketmaslikga harakat qiladi. U har xil oldin ko'rmagan (pre-training jarayonida) ishlarni qilib ko'rishga va model mavjud parametrlarini yangilab, muhitda foydali bo‘lgan yangi xatti-harakat strategiyalarini o'rganishga harakat qiladi. Bu yerda odam emas, muhitni o'zi baho qo'yadi, reward (mukofot) yoki penalty (jazo).
Reward funksiyasi yozib chiqiladi (MDP - Markov Decision Process), u orqali agent harakatini baholash uchun formula yozasiz. Bu avtomatlashgan protsess. Qiziq tomoni unga berilgan topshiriq bo'yicha u xato qildi. Yomon baxo olib qayta urinib ko'rib yana xato qildi, umumiy 2ta xato. Yana urinish jarayonida endi bitta xatosini tuzatdi, ammo birinchi qilgan xatosi hali ham turibdi lekin yaxshi baho oldi. Eng qiziq tomoni u qilayotgan ishini unutib qo'ydi. Bu jarayonni qayta-qayta takrorlaganimizda u ba'zan bir nechta xato qilib ko'pini tuzatganda yaxshi baxo olishi bilan eski xatolarni tuzatmadi yoki eski xatosini borligini aytaveradi ammo hech tuzatmasdan boshqa ishlar qiladi.
Bu jarayonni AI agent'lar uchun tuzatish mumkin deb o'ylayman. Ba'zi qilib ko'rgan eksperimentlarim natijasi shuni aytayabdi. Ammo LLM modellar uchun bu jarayonga ko'proq RLHF (Reinforcement Learning from Human Feedback) kerak deb o'ylayman. Ammo u yerdagi odamlar ham professional bo'lishlari kerak. Bitta kamchilik bu jarayonda professional odamlarni rozi bo'lib o'tirishi qiyin, va bu ko'p vaqt oladi. Ammo shunday qilinsa hozirgi LLM (GPT) modellar ancha aqilliroq bo'lgan bo'larmidi deb o'ylaman.
Dropbox'da ML team kichik model train qilishgandi. Biz uni olib Reinforcement Learning muhitga tashlab uni qilayotgan ishlarini kuzatgandik. Bu joyiga to'liq to'xtala olmayman, ammo qiziq bir narsani aytmoqchiman.
Agent muhitga tushganda turli xil yo'llarni sinab ko'radi. Agentga policy beriladi va u shundan chiqib ketmaslikga harakat qiladi. U har xil oldin ko'rmagan (pre-training jarayonida) ishlarni qilib ko'rishga va model mavjud parametrlarini yangilab, muhitda foydali bo‘lgan yangi xatti-harakat strategiyalarini o'rganishga harakat qiladi. Bu yerda odam emas, muhitni o'zi baho qo'yadi, reward (mukofot) yoki penalty (jazo).
Reward funksiyasi yozib chiqiladi (MDP - Markov Decision Process), u orqali agent harakatini baholash uchun formula yozasiz. Bu avtomatlashgan protsess. Qiziq tomoni unga berilgan topshiriq bo'yicha u xato qildi. Yomon baxo olib qayta urinib ko'rib yana xato qildi, umumiy 2ta xato. Yana urinish jarayonida endi bitta xatosini tuzatdi, ammo birinchi qilgan xatosi hali ham turibdi lekin yaxshi baho oldi. Eng qiziq tomoni u qilayotgan ishini unutib qo'ydi. Bu jarayonni qayta-qayta takrorlaganimizda u ba'zan bir nechta xato qilib ko'pini tuzatganda yaxshi baxo olishi bilan eski xatolarni tuzatmadi yoki eski xatosini borligini aytaveradi ammo hech tuzatmasdan boshqa ishlar qiladi.
Bu jarayonni AI agent'lar uchun tuzatish mumkin deb o'ylayman. Ba'zi qilib ko'rgan eksperimentlarim natijasi shuni aytayabdi. Ammo LLM modellar uchun bu jarayonga ko'proq RLHF (Reinforcement Learning from Human Feedback) kerak deb o'ylayman. Ammo u yerdagi odamlar ham professional bo'lishlari kerak. Bitta kamchilik bu jarayonda professional odamlarni rozi bo'lib o'tirishi qiyin, va bu ko'p vaqt oladi. Ammo shunday qilinsa hozirgi LLM (GPT) modellar ancha aqilliroq bo'lgan bo'larmidi deb o'ylaman.
#offTopic #startup
Ishdan ketib to'liq startap qilish tomon o'tar ekanman ba'zi qiziq narsalarni topdim, va ularni shu yerda yozmoqchiman. Agar siz ham startap qilmoqchi bo'lsangiz, bular haqida albatta o'ylab ko'ring.
Investitsiya juda katta tuzoq. Investorlar "biz founderga pul tikamiz" deyishadi, lekin bir qop qog'oz va biznes haqida ma'lumot so'rashadi. To'g'ri risk qilishni hamma ham yoqtirmaydi, ammo so'zlar to'g'irlanishi kerak deb o'ylayman "founderga tikamiz" -> "yaxshi biznes muammoni yechadigan founderga". Agar bozorni, mijozlaringizni va qurayotgan startapingiz nima muammo qanday yaxshi yechishini bilmasangiz bu yo'lga kirishingiz sizni butunlayin charchatib qo'yadi.
Eng yaxshi asoschilar jamoasini va yechayotgan muammosini yaxshi tushunadiganlari. Eng zo'r muammolarni 1 inson emas, jamoa yechadi. Bu yerda jamoani qo'llab quvatlash juda muhim. Ularni muammosini topib yechim berishingiz ham sizga va kompaniyaga bo'lgan ulardagi iliqlikni oshiradi. Asoschilarda ko'p ko'radigan vaziyatim, ular faqat foyda olishni istaydi, berishni emas. Olganingiz emas, berganingiz sizniki.
Hammasini tashab ketishni o'ylagan kuningiz yechim topiladi. Ochlik juda zo'r qurol. Qancha och bo'lsangiz, shuncha harakatingiz oshadi (albatta ovqat topishga bo'lgan sabablarni qilishni boshlaysiz). Agar pulingiz ko'p bo'lsa, kam harakat bo'lsangiz, qisqacha aytganda komfortda bo'lsangiz ulardan voz keching. Aqlli bo'lsangiz, sizdan aqillilar bilan gaplashing, ahmoqligizni va o'rganishingiz kerakligini tushunasiz. Boy bo'lsangiz, pulingizni ota-onangizga berib yuboring, och qolasiz, ammo natijasi bo'ladi. Stay foolish, stay hungry.
Imkoniyatlarga ochiq bo'ling. Startap qilayabsiz degani doim o'xshaydi degani emas. Startap uchun eng muhim narsa bu bozor. Bozor bo'lsa, savdo ham bo'ladi. Men muammolarni, noto'g'ri muhitda yechganim ham pand berdi. Buni inobatga olmaganim katta dars bo'ldi. Ammo quvonarlisi imkoniyatlar to'la, hali o'yin tugagani yo'q.
Avallroq Higgsfield AI kompaniyasi ish taklifi bilan chiqqanini yozgandim (o'chirib yuborganman), kecha Alex Mashrabov (CEO @ Higgsfield AI) o'zi yozibdi meeting qilishga. Bunchalik uzoqqa borishini kutmagandim. San Fransisco'da startap qilib foydaga kirgan bir necha asoschilar bilan tanishdim, ulardan mem0.ai, rilla.com, composio.dev, artisan.co, hex.co va boshqalar. Ular bilan qiziq suhbat qildik. Suhbatdan keyin ko'pchiligi jamoaga taklif qilishdi, yechayotgan muammoyimni ular bilan yechishimni aytishdi. O'zimidagi talaygina katta kompaniyalar ham takliflar bilan chiqishdi. Bu juda quvonarli senariy.
Eng yomoni 2 tanlov o'rtasida qoldim:
1. Yo orzularimdan kechib yana kimdir bilan muammo yechish.
2. Yo orzularim bilan vaqtinchalik ochlik, yetishmovchilik ammo qiziq sarguzashtga borish.
Ikkisi ham qiyin. Biri "boy bo'l" desa, ikkinchisi "istaganingga ega bo'l" deydi. Men shularni yanayam ko'proq o'rgandim va tushundim, siz ertaroq tushuning!
Ishdan ketib to'liq startap qilish tomon o'tar ekanman ba'zi qiziq narsalarni topdim, va ularni shu yerda yozmoqchiman. Agar siz ham startap qilmoqchi bo'lsangiz, bular haqida albatta o'ylab ko'ring.
Investitsiya juda katta tuzoq. Investorlar "biz founderga pul tikamiz" deyishadi, lekin bir qop qog'oz va biznes haqida ma'lumot so'rashadi. To'g'ri risk qilishni hamma ham yoqtirmaydi, ammo so'zlar to'g'irlanishi kerak deb o'ylayman "founderga tikamiz" -> "yaxshi biznes muammoni yechadigan founderga". Agar bozorni, mijozlaringizni va qurayotgan startapingiz nima muammo qanday yaxshi yechishini bilmasangiz bu yo'lga kirishingiz sizni butunlayin charchatib qo'yadi.
Eng yaxshi asoschilar jamoasini va yechayotgan muammosini yaxshi tushunadiganlari. Eng zo'r muammolarni 1 inson emas, jamoa yechadi. Bu yerda jamoani qo'llab quvatlash juda muhim. Ularni muammosini topib yechim berishingiz ham sizga va kompaniyaga bo'lgan ulardagi iliqlikni oshiradi. Asoschilarda ko'p ko'radigan vaziyatim, ular faqat foyda olishni istaydi, berishni emas. Olganingiz emas, berganingiz sizniki.
Hammasini tashab ketishni o'ylagan kuningiz yechim topiladi. Ochlik juda zo'r qurol. Qancha och bo'lsangiz, shuncha harakatingiz oshadi (albatta ovqat topishga bo'lgan sabablarni qilishni boshlaysiz). Agar pulingiz ko'p bo'lsa, kam harakat bo'lsangiz, qisqacha aytganda komfortda bo'lsangiz ulardan voz keching. Aqlli bo'lsangiz, sizdan aqillilar bilan gaplashing, ahmoqligizni va o'rganishingiz kerakligini tushunasiz. Boy bo'lsangiz, pulingizni ota-onangizga berib yuboring, och qolasiz, ammo natijasi bo'ladi. Stay foolish, stay hungry.
Imkoniyatlarga ochiq bo'ling. Startap qilayabsiz degani doim o'xshaydi degani emas. Startap uchun eng muhim narsa bu bozor. Bozor bo'lsa, savdo ham bo'ladi. Men muammolarni, noto'g'ri muhitda yechganim ham pand berdi. Buni inobatga olmaganim katta dars bo'ldi. Ammo quvonarlisi imkoniyatlar to'la, hali o'yin tugagani yo'q.
Avallroq Higgsfield AI kompaniyasi ish taklifi bilan chiqqanini yozgandim (o'chirib yuborganman), kecha Alex Mashrabov (CEO @ Higgsfield AI) o'zi yozibdi meeting qilishga. Bunchalik uzoqqa borishini kutmagandim. San Fransisco'da startap qilib foydaga kirgan bir necha asoschilar bilan tanishdim, ulardan mem0.ai, rilla.com, composio.dev, artisan.co, hex.co va boshqalar. Ular bilan qiziq suhbat qildik. Suhbatdan keyin ko'pchiligi jamoaga taklif qilishdi, yechayotgan muammoyimni ular bilan yechishimni aytishdi. O'zimidagi talaygina katta kompaniyalar ham takliflar bilan chiqishdi. Bu juda quvonarli senariy.
Eng yomoni 2 tanlov o'rtasida qoldim:
1. Yo orzularimdan kechib yana kimdir bilan muammo yechish.
2. Yo orzularim bilan vaqtinchalik ochlik, yetishmovchilik ammo qiziq sarguzashtga borish.
Ikkisi ham qiyin. Biri "boy bo'l" desa, ikkinchisi "istaganingga ega bo'l" deydi. Men shularni yanayam ko'proq o'rgandim va tushundim, siz ertaroq tushuning!
#startup
Texnik qiyin ammo juda katta impact keltiruvchi loyiha qilmoqchimisiz? Sizga men ko'rgan va topgan qiziq muammolarni aytaman. Bular multi-billion dollar startup idealar
1. GPU isolation:
CPU uchun hardware va software level da deyarli ko'plab ishlar qilingan. Ammo GPU larni multi-tenant muhitda ishlatish va izolyatsiya qilish bo'yicha effektiv yechimlar halicha yo'q (shaxsan men ko'rmadim). AI kompaniyalar va Data Center'lar sizga katta mijoz bo'ladi kelajakda.
2. Data cleaning/labeling/formatting automation:
Bugungi kunda AI engineer'lar vaqtining 80 foizini tartibsiz, formati buzilgan yoki takrorlangan ma'lumotlarni tozalashga sarflaydi. "Garbage in, garbage out" qoidasi AI uchun qonun. Qo'lda tozalash sekin va inson omiliga bog'liq, hozirgi yechimlar esa juda ko'p xatolik qiladi. Ma'lumotlar omboriga (S3, BigQuery, Snowflake) kelib tushayotgan petabaytlab ma'lumotlarni real vaqt rejimida anomal qiyofalarini topuvchi, formatini avtomat to'g'rilovchi va multimodal (matn, rasm, video) ma'lumotlarni o'zaro semantic sintaksis bo'yicha bog'lovchi avtonom servis quring. Mijozlaringiz yana o'sha katta o'yinchilar bo'ladi.
3. Data for robotics and physical world AI systems:
Robototexnika (Humanoid robotlar, avtonom transportlar) hozirgi kunda "Sim-to-Real" muammosidan aziyat chekadi. Ya'ni, robot simulyatsiyada (raqamli dunyoda) hamma narsani mukammal bajaradi, lekin uni haqiqiy fizik dunyoga chiqarganda fizik qonunlar, kutilmagan teksturalar va yorug'lik o'zgarishlari tufayli xato qiladi. Real world data yig'ish esa juda qimmat va xavfli. Fizika qonunlari (gravitatsiya, ishqalanish, material elastikligi, gidrodinamika)ga 100% bo'ysunadigan, generative AI'ga asoslangan cheksiz simulyatsiya platformasi qiling. Bu robotlar uchun "Matrix" (kinodagidek) simulyatsiyasini yaratish degani.
4. Storage that can serve static files at scale with scalable network:
bir tanishim bilan "expander graph" haqida gaplashgandik. Agar shu konseptsiyani qila olsangiz Dropbox/Youtube va boshqa katta file serve qiladigan service levelda ish qila olasiz. An'anaviy CDN va Storage tizimlari (AWS S3, Cloudflare) markazlashgan yoki cheklangan geografik serverlarga tayanadi. Katta hajmli fayllarni (masalan, 8K video, 3D xaritalar, gigabaytlab AI model og'irliklari) bir vaqtning o'zida millionlab foydalanuvchiga yetkazishda tarmoq o'tkazuvchanligi (bandwidth) botqoqqa botib qoladi. Bu muammo ham aktual.
Bonus konseptsiya:Matematik bilimingiz zo'r bo'lsa compression algoritmi toping katta ma'lumotlarni (binary ma'lumotlarni) kichiraytiradigan. Petabayt yoki katta masshtabda ma'lumotlarni o'tkazish uchun hozirgi networking jihozlari oqsaydi, bu orqali boshqalarga halaqit qiladi tezlikni sekinlashtirib. Shuning uchun bu ham aktual mavzu.
Nima project qilay deydiganlar, mana qiling endi.
Texnik qiyin ammo juda katta impact keltiruvchi loyiha qilmoqchimisiz? Sizga men ko'rgan va topgan qiziq muammolarni aytaman. Bular multi-billion dollar startup idealar
1. GPU isolation:
CPU uchun hardware va software level da deyarli ko'plab ishlar qilingan. Ammo GPU larni multi-tenant muhitda ishlatish va izolyatsiya qilish bo'yicha effektiv yechimlar halicha yo'q (shaxsan men ko'rmadim). AI kompaniyalar va Data Center'lar sizga katta mijoz bo'ladi kelajakda.
2. Data cleaning/labeling/formatting automation:
Bugungi kunda AI engineer'lar vaqtining 80 foizini tartibsiz, formati buzilgan yoki takrorlangan ma'lumotlarni tozalashga sarflaydi. "Garbage in, garbage out" qoidasi AI uchun qonun. Qo'lda tozalash sekin va inson omiliga bog'liq, hozirgi yechimlar esa juda ko'p xatolik qiladi. Ma'lumotlar omboriga (S3, BigQuery, Snowflake) kelib tushayotgan petabaytlab ma'lumotlarni real vaqt rejimida anomal qiyofalarini topuvchi, formatini avtomat to'g'rilovchi va multimodal (matn, rasm, video) ma'lumotlarni o'zaro semantic sintaksis bo'yicha bog'lovchi avtonom servis quring. Mijozlaringiz yana o'sha katta o'yinchilar bo'ladi.
3. Data for robotics and physical world AI systems:
Robototexnika (Humanoid robotlar, avtonom transportlar) hozirgi kunda "Sim-to-Real" muammosidan aziyat chekadi. Ya'ni, robot simulyatsiyada (raqamli dunyoda) hamma narsani mukammal bajaradi, lekin uni haqiqiy fizik dunyoga chiqarganda fizik qonunlar, kutilmagan teksturalar va yorug'lik o'zgarishlari tufayli xato qiladi. Real world data yig'ish esa juda qimmat va xavfli. Fizika qonunlari (gravitatsiya, ishqalanish, material elastikligi, gidrodinamika)ga 100% bo'ysunadigan, generative AI'ga asoslangan cheksiz simulyatsiya platformasi qiling. Bu robotlar uchun "Matrix" (kinodagidek) simulyatsiyasini yaratish degani.
4. Storage that can serve static files at scale with scalable network:
bir tanishim bilan "expander graph" haqida gaplashgandik. Agar shu konseptsiyani qila olsangiz Dropbox/Youtube va boshqa katta file serve qiladigan service levelda ish qila olasiz. An'anaviy CDN va Storage tizimlari (AWS S3, Cloudflare) markazlashgan yoki cheklangan geografik serverlarga tayanadi. Katta hajmli fayllarni (masalan, 8K video, 3D xaritalar, gigabaytlab AI model og'irliklari) bir vaqtning o'zida millionlab foydalanuvchiga yetkazishda tarmoq o'tkazuvchanligi (bandwidth) botqoqqa botib qoladi. Bu muammo ham aktual.
Bonus konseptsiya:
Nima project qilay deydiganlar, mana qiling endi.