Self host Gemma 4: Cloud Run GPUs တွင် LLMs များကို တပ်ဆင်ခြင်း

GCP credit https://goo.gle/handson-ep7-lab1

Lab https://goo.gle/guardians

ဒီအပိုင်းမှာတော့ Google ရဲ့ Gemma 4 model ကို Cloud Run ပေါ်မှာ လုံးဝကွဲပြားတဲ့ နည်းလမ်းနှစ်မျိုးနဲ့ တင်ပေးထားပါတယ်။ ထုတ်လုပ်မှုအတွက် တစ်ခုကို ရွေးချယ်ခင် နားလည်ထားရမယ့် အစစ်အမှန် အားသာချက် အားနည်းချက်တွေ ရှိပါတယ်။

Ollama – model ကို container ထဲမှာ ထည့်သွင်းထားခြင်း။ ချက်ချင်း စတင်နိုင်ခြင်း။ အပ်ဒိတ်လုပ်ရန် ပြန်လည်တည်ဆောက်ရမည်။

vLLM – Cloud Storage မှ FUSE မှတစ်ဆင့် model ကို တပ်ဆင်ထားခြင်း။ ပထမဆုံး အစပြုချိန် နှေးသော်လည်း ပြန်လည်တင်ပေးစရာမလိုဘဲ model များကို လဲလှယ်နိုင်ခြင်း။

နှစ်မျိုးစလုံးသည် Cloud Run GPUs ကို အသုံးပြုပြီး သုညအထိ စကေးချဲ့နိုင်ကာ Cloud Build ဖြင့် အလိုအလျောက် CI/CD မှတစ်ဆင့် ပို့ဆောင်ပေးပါတယ်။

နှစ်မျိုးစလုံးကို ကျွန်ုပ်တို့ တည်ဆောက်ပါတယ်။ ဘယ်ဟာက သင့်တော်မလဲဆိုတာ သင်ဆုံးဖြတ်ပါ။

Cloud Build ဖြင့် CI/CD

GPU အရှိန်မြှင့်ထားသော serverless inference

ထည့်သွင်းထားခြင်း နှင့် model architecture ကွဲထွက်ထားခြင်း

သုညအထိ စကေးချဲ့နိုင်ခြင်း

အအေးစတင်မြန်ဆန်မှု နှင့် ထုတ်လုပ်မှု ပြောင်းလွယ်ပြင်လွယ်

အခန်းကဏ္ဍများ:

0:00 – နိဒါန်း

6:08 – Agentverse lab ဖြင့် စတင်ခြင်း

7:57 – ခံတပ်အခြေခံများ ချထားခြင်း

16:07 – စွမ်းအားဗဟို ဖန်တီးခြင်း- ကိုယ်ပိုင် host လုပ်ထားသော LLMs

28:02 – ခံတပ်ဗဟိုဗဟို ဖန်တီးခြင်း- vLLM ကို တင်ပေးခြင်း

43:59 – အနှစ်ချုပ်

အခြားအရင်းအမြစ်များ:

Cloud Run GPU စာရွက်စာတမ်း https://goo.gle/4sEbTvG

Ollama စာရွက်စာတမ်း https://goo.gle/3Qdi64w

vLLM စာရွက်စာတမ်း https://goo.gle/4cvvxE9

Cloud Storage FUSE https://goo.gle/4cQAb0V

Hands on AI ကို ဆက်လက်ကြည့်ရှုရန် https://www.youtube.com/watch?v=qCBreTfjFHQ&list=PLIivdWyY5sqKnJOvP89yF8t9mWuzMTcbM

Google Cloud Tech ကို စာရင်းသွင်းရန် https://goo.gle/GoogleCloudTech

#Gemma4 #CloudRun

ဟောပြောသူများ- Ayo Adedeji, Annie Wang

ဖော်ပြထားသော ထုတ်ကုန်များ- Agent Development Kit, Gemini API, Cloud Run