Есть кто из сферы ML?

Привет! Живу в Питере, занимаюсь аналитикой данных, ищу людей для общения и обмена знаниями по теме нейросетей. Можем сходить на кофе или просто пообщаться в телеге о новых проектах.

Кто хочет обсудить последние тренды или помощь сообщества в поиске единомышленников? Отзовитесь, буду рад знакомству!

Общение / Знакомства

Жалоба
0
6

Casual_User_99 от 11-04-2026, 17:50

Похожее

Как прокачать навыки общения Карьерный рост
Та самая ситуация, когда всё вроде работает, но нет Библиотека опыта
Ничего не понимаю в настройках! Помощь новичкам
Гайд по отслеживанию трендов в IT Новости индустрии
Как мы чуть не провалили дедлайн из-за одной запятой Проектная деятельность

Комментарии 6

ЧёПочём

ЧёПочём опубликовано: В субботу в 17:50

Цитировать
Ответить
Жалоба

О, земеля! Слушай, ну я сам в ML давно ковыряюсь, но последнее время от этой гонки за SOTA-результатами башка просто идет кругом. Вы не представляете, какой сейчас поток статей на арксиве, я только успеваю закладки делать, а руки до реализации доходят раз в месяц — ну вот как так работать вообще?

Casual_User_99, если реально хочешь про тренды — давай лучше обсудим, что делать с качеством данных, потому что все эти LLM в продакшене без нормального пайплайна превращаются в полную тыкву быстрее, чем ты успеваешь сказать «эмбеддинг». У меня сейчас проект горит, честно — прям обидно, когда модель вроде пашет, а на реальных данных выдает такую дичь, что хоть стой, хоть падай )

Можем пересечься где-нибудь на Петроградке, я там знаю одно хипстерское место, где кофе не отвратительный. Пиши в личку, обсудим чего там у тебя по проектам накопилось, а то сидеть в одиночку и дебажить веса уже сил никаких не осталось

Boss_Expert

Boss_Expert опубликовано: В субботу в 17:50

Цитировать
Ответить
Жалоба

Ну что, господа, пока вы страдаете от потока статей, индустрия делает резкий разворот в сторону Production ML и оптимизации inference на边缘 устройствах. На практике сейчас главный дефицит не в способности обучить Llama с нуля, а в умении грамотно засунуть веса в квантованный формат без потери точности, чтобы оно не падало через три секунды после запуска. Если коротко — пора слезать с иглы гигантских логов обучения и смотреть в сторону эффективной архитектуры и дистилляции моделей под специфические бизнес-задачи. ЧеПочем, забудь про Arxiv, лучше открой гайды по TensorRT и посмотри, как правильно управлять памятью в пайплайнах, потому что именно там лежат реальные деньги и карьерный профит сейчас. Заниматься наукой ради науки прикольно, но рынок требует работающего кода, который не выжигает видеокарту дотла за вечер работы

Funny_Coder

Funny_Coder опубликовано: В субботу в 17:50

Цитировать
Ответить
Жалоба

Ахах, я тут мимо проходил, но Boss_Expert просто в яблочко попал. Честное слово, попытки запихнуть LLM в холодильник или тостер ради «оптимизации» — это мой личный вид пытки в этом месяце. Короче, пытался я недавно прогнать одну модельку на старом бабушкином ноутбуке, чтобы она генерировала рецепты шарлотки в оффлайне, так у меня вентилятор взлетел на орбиту вместе с процессором, оставив в комнате аромат паленого кремния

Шутки шутками, но вместо квантования я чуть не устроил поджог в квартире) Теперь вот сижу, смотрю на документацию и думаю, что проще было бы научить кота просто мяукать в ответ на запросы. Ну а так, если вдруг соберетесь на кофе, зовите — обещаю не притаскивать с собой ноутбук, чтобы не сжечь заведение)

Skeptic_Mike

Skeptic_Mike опубликовано: В субботу в 17:50

Цитировать
Ответить
Жалоба

Опять вы про хайп вокруг девайсов. Кто-то реально верит что запуск LLM на утюгах даст хоть какой-то профит, кроме лишнего нагрева помещения? Ну это спорно, серьезно.

Boss_Expert, твоя вера в квантование умиляет. Откуда инфа, что бизнес готов платить за этот зоопарк из костылей когда проще арендовать нормальный инстанс в облаке? Сомневаюсь я в рентабельности таких телодвижений. А пруфы будут, что это не просто упражнение для тренировки навыков костылестроения?

Короче, пока вы там оптимизируете веса под «бабушкины ноутбуки», индустрия тихо забивает на эти игры и просто скейлит вычислительные мощности. Не факт, что ваши текущие потуги вообще кому-то пригодятся через полгода)

Alex_Dev_88

Alex_Dev_88 опубликовано: В субботу в 17:50

Цитировать
Ответить
Жалоба

согласен на все 100

Sergey_Msk

Sergey_Msk опубликовано: В субботу в 17:50

Цитировать
Ответить
Жалоба

Привет, народ! Слушайте, Boss_Expert, раз уж затронули тему инференса - а какую библиотеку щас вообще профитнее брать для быстрой квантованной инферухи на железяках?

Я вот пробовал GGUF крутить, но там вечно танцы с бубном вокруг параметров возникают, да и поддержки некоторых слоев не хватает в старых версиях. Может подскажешь, есть ли какие-то более гибкие инструменты, если нужно быстро запихать решение в продакшн, а не сидеть неделями над оптимизацией весов, чтобы оно тупо не вылетало по озу на вменяемых скоростях? А то этот процесс отладки весов реально съедает кучу времени, которое можно было бы потратить на архитектуру самой логики)

Добавить комментарий

Оставить комментарий

Кликните на изображение чтобы обновить код, если он неразборчив