QLORAA သည်သင်လိုအပ်သမျှ (အစာရှောင်ခြင်းနှင့်ပေါ့ပါးသောမော်ဒယ်ချောညှိခြင်း)

ကျွန်ုပ်၏လုပ်ငန်းစဉ်ကို QLORAA (QULORAA) နှင့်မျှဝေခြင်း (တွက်ချက်နည်းသောအနိမ့်အဆင့် adapters) ဒဏ်ငွေ။ ဤကိစ္စတွင်ကျွန်ုပ်သည်စိတ်ကြိုက်ပြုလုပ်ထားသော reddit dataset ကိုအသုံးပြုသည်။ သို့သော်သင်လိုချင်သောအရာမှန်သမျှကိုသင်အသုံးပြုနိုင်သည်။
ငါဒီဗီဒီယိုမှာပစ္စည်းပစ္စယတွေအများကြီးကိုငါကိုးကားတယ်, အရာအားလုံးကိုချိတ်ဆက်ဖို့အတတ်နိုင်ဆုံးကြိုးစားမယ်, ဒါပေမယ့်ငါဘာမှမသတိရရင်ငါ့ကိုသိပါစေ။
အရင်းအမြစ်များ:
WSB-GPT-7B မော်ဒယ်လ်: https://huginggingface.co/sentdex/wsb-gp-7b
WSB-GPT-13B Model: https://huginggingface.co/sentdex/wsb-gsb-gsb-gsb-gsb-gsb-gsb-gsb-13b
WSB သင်တန်းအချက်အလက် – https://huginggingface.co/datasets/datasets/datasets/datasets/sentdex/wsb_reddit_v002
Code:
Qlora repo: https://gittub.com/artidoro/qlora
Qlora.py: https://github.com/artidoro/qlora/blob/main/qlora.py
Simple qlora training notebook: https://colab.research.google.com/drive/1VoYNfYDKcKRQRor98Zbf2-9VQTtGJ24k?usp=sharing
Qlora ပေါင်းစည်းခြင်း / dequantizing code: https://gist.github.com/chrishayduk/1A53463331f52DCa205E55E555989898989898989899930
ရည်ညွှန်းသုတေသနစာတမ်းများ:
Instrinsic ရှုထောင့်များသည်ဘာသာစကားမော်ဒယ်ဒဏ်ငွေ – tuning: https://arxiv.org/abs/2012.13255
Lora: ကြီးမားသောဘာသာစကားမော်ဒယ်များကိုအဆင့်နိမ့်အဆင့်နိမ့်ခြင်း – https://arxiv.org/abs/2106.09685
QLORAA – အမြန်ဆုံး LLMS ကိုထိရောက်သော finetuning: https://arxiv.org/abs/2305.14314
Yannic’s GPT-4Chan Model: https://huginggingface.co/ykilcher/gpt-4chan
Condemnation letter: https://docs.google.com/forms/d/e/1FAIpQLSdh3Pgh0sGrYtRihBu-GPN7FSQoODBLvF7dVAFLZk2iuMgoLw/viewform
https://www.youtube.com/watch?v=efTCLDCDCDM
မာတိကာ:
0:00 – ဘာကြောင့် Qlora?
0:55 – Lora / Qlora သုတေသန
4:13 – ဒဏ်ငွေ tuning dataset
11:10 – QLORAA လေ့ကျင့်ရေးလုပ်ငန်းစဉ်
15:02 – QLORAA adapters
17:10 – ပေါင်းစည်းခြင်း, dequantizing နှင့်မျှဝေခြင်း
19:34 – WSB Qlora ဒဏ်ငွေ tuned မော်ဒယ်ဥပမာ
အာရုံစာအုပ်မှအာရုံကြောကွန်ယက်: https://nnfs.io
Channel အဖွဲ့ဝင် – https://www.youtube.com/channel/ucfannube.com/channel/ucfzlcwgwgwgwyyiq0webq/join
Discord: https://discord.ggg/sentdex
Reddit: https://www.reddit.com/r/sentdex/
အကြောင်းအရာကိုပံ့ပိုးပါ – https://pythonprogramming.net/support-donate/
Twitter: https://twitter.com/sentdex
Instagram: https://instagrambam.com/sentdex
Facebook: https://www.facebook.com/pythonprogramming.net/
Twitch: https://www.twitch.tv/Sentdex