AI Hello

[Mojo]

به نظرم اگر Colab Pro بخری خیلی به نفعت میشه. ماهی 600 هزار تومن، گرون ترین جا 1 میلیون، A 100 میده عشق می کنی، دقیق یادم نمیاد تعداد یونیتش چقدر بود ولی باهاش لاما رو فاین تیون کردیم

چند پارامتری؟

 

[manimonji]

چند پارامتری؟

17 میلیارد پارامتر، تو یک ساعت، 7 ایپاک، فول فاین تیون

 

[Mojo]

17 میلیارد تو یک ساعت، 7 ایپاک، فول فاین تیون

جالبهه.
اکانت خودتو شارژ کردن؟ یا اکانت خودشون بود؟

 

[manimonji]

یه ایمیل جدید ساختیم برامون شارژ کردن، سایتش رو یادم نمیاد ولی فکر کنم اگر سرچ کنی خرید اشتراک کولب میاد

 

[Mojo]

یه ایمیل جدید ساختیم برامون شارژ کردن، سایتش رو یادم نمیاد ولی فکر کنم اگر سرچ کنی خرید اشتراک کولب میاد

ران تایمش فکر کنم ۱ هفته هست؟

 

[manimonji]

راستی، زمانش 3 ماهه و pay as you go هست و یه سری یونیت داره، تا مصرف نکنی چیزی از دست نمی دی و خیلی زمان مطرح نیست، بدون صرفه جویی دو ماه با T4 و L4 دو نفری با دوستم استفاده کردیم، کارت گرافیک بهتر یونیت بیشتری مصرف میکنه

 

[Mojo]

راستی، زمانش 3 ماهه و pay as you go هست و یه سری یونیت داره، تا مصرف نکنی چیزی از دست نمی دی و خیلی زمان مطرح نیست، بدون صرفه جویی دو ماه با T4 و L4 دو نفری با دوستم استفاده کردیم، کارت گرافیک بهتر یونیت بیشتری مصرف میکنه

خیلی خوبه
فقط یکذره مال من طول میکشه چون تقریبا ۱۱ ترابایت دیتا دارم و اگه بخوام اموزشش بدم روی حتی ۱۰ تا a100 حدود ۴ ماهی طول میکشه.
من مدلمو فاین تیون نمیکنم از صفر ساختم ( از شبکه عصبی و‌nlp و tg شد )
اینجوری نمیصرفه باید یکسری شرکت همکاری کنن
روی کارت گرافیک سابق م تونستم درحد ۵۰ میلیون پارامتر تر و تمیز اموزش بدم بدون مشکلی ولی بیشتر سخت میشع

 

[manimonji]

خیلی خوبه
فقط یکذره مال من طول میکشه چون تقریبا ۱۱ ترابایت دیتا دارم و اگه بخوام اموزشش بدم روی حتی ۱۰ تا a100 حدود ۴ ماهی طول میکشه.
من مدلمو فاین تیون نمیکنم از صفر ساختم ( از شبکه عصبی و‌nlp و tg شد )
اینجوری نمیصرفه باید یکسری شرکت همکاری کنن
روی کارت گرافیک سابق م تونستم درحد ۵۰ میلیون پارامتر تر و تمیز اموزش بدم بدون مشکلی ولی بیشتر سخت میشع

خب دیتا رو کمتر کنی بهتر نیست؟ GPT-3 نیم ترابایت استفاده کرده. البته دیتای اولیشون 4.5 گیگ بوده و فیلتر کردن، چطوریش رو نمی دونم
بعد اینکه transformer استفاده می کنی دیگه درسته؟ چوت شبکه عصبی برای nlp نشنیدم بیشتر برای کلاسیفیکیشن و...
tg هم ببخشید نمیدونم مخفف چیه

 

[Mojo]

خب دیتا رو کمتر کنی بهتر نیست؟ GPT-3 نیم ترابایت استفاده کرده
بعد اینکه transformer استفاده می کنی دیگه درسته؟ چوت شبکه عصبی برای nlp نشنیدم بیشتر برای کلاسیفیکیشن و...
tg هم ببخشید نمیدونم مخفف چیه

تکست جنریشنه tg

مدلم اول شبکه عصبی بود بعد از ترنسفرمرز استفاده کردم.

واسه دیتاها چونکه مدلم هیچی هیچی نمیدونه و برای اینکه حرف بزنه متن درک کنه خیلی دیتا لازمه.
gpt 3 از gpt2 استفاده کرد و سخت نبود فقط یه فاین تیون پیشرفته بود.
ولی این سخت تره چون مدل بیسی نداره

 

[manimonji]

تکست جنریشنه tg

مدلم اول شبکه عصبی بود بعد از ترنسفرمرز استفاده کردم.

واسه دیتاها چونکه مدلم هیچی هیچی نمیدونه و برای اینکه حرف بزنه متن درک کنه خیلی دیتا لازمه.
gpt 3 از gpt2 استفاده کرد و سخت نبود فقط یه فاین تیون پیشرفته بود.
ولی این سخت تره چون مدل بیسی نداره

اینم حرفیه، ولی خب اون مدل بیس هم رو 40GB ترین شده، من دقیقا از جزئیاتش باخبر نیستم اطلاعات تو بیشتره، ولی مثلا تو هم فکر کنم یه مدل بیس داری الان، درست نمی گم؟ راستی، حدس می زنم unsupervised ترین می کنی بعد فاین تیون می کنی درسته؟ (یا نه؟) اوه، یه نکته. مدلت فارسیه؟