Месяц на дообучение локальной модели под свой стиль

Коротко:

1. клиент: основатель небольшого агентства по внедрению ИИ, не программист. Вторым участником пришёл его технический коллега
2. запрос: локальная модель, дообученная на своих текстах, и умение повторять весь цикл самостоятельно
3. формат: четыре занятия по 60-90 минут за месяц, онлайн, переписка между занятиями, второй участник за доплату
4. железо: свои Маки, без серверной стойки и без аренды GPU. Технический участник под эту задачу взял машину с большой памятью
5. результат: у технического участника обученный адаптер и свой автоматический отбор лучшего варианта, у основателя разобранная механика и понимание всего пути от данных до проверки результата

С чем пришли

Опыта обучения моделей не было ни у кого из двоих: одна попытка до занятий закончилась ничем, причину найти не удалось. При этом основатель уже собрал себе рабочую систему на Claude Code и уверенно ей управляет. За устройством того, чем управляет, он и пришёл. Его формулировка цели: "покупаю навык".

Что разобрали за четыре занятия

1. развилку: когда хватает промпта с образцами и Modelfile, и когда нужно обучение
2. датасет: почему переписки и расшифровки голосовых не дают письменный стиль и как набирать материал своей рукой
3. обучение LoRA на Маке через mlx: эпохи, ранг, слои, разделение на train, valid и test, остановка по расхождению loss
4. приёмку: сверка с базовой моделью на одних и тех же вопросах и три критерия оценки, это манера, выдуманные факты и сохранность общих способностей

Как была устроена работа

Программа собиралась под эту цель и менялась по ходу, вслед за тем, что менти приносили с недели. Между занятиями шла письменная работа: разбор присланного датасета по пунктам, справка по железу с таблицей "объём текстов и число эпох", методичка по обучению на Маке через mlx, конспект после каждой встречи и запись занятия.

Рядом с их результатом стоял мой собственный прогон: LoRA на 33 примерах, Qwen2.5-3B в 4 бита, 187 секунд на RTX 3060 Ti. Стиль перенёсся частично, и это ровно тот результат, который получает человек с небольшим объёмом текстов. На этот прогон я опирался в письменных разборах их датасетов, он избавляет от лишнего круга и от вывода "у меня не получилось".

Что менти сделали сами

Коллега между занятиями прошёл цикл не меньше четырёх раз: датасет, обучение, сравнение адаптеров. Сравнил обучение с Modelfile и свёл сравнение в таблицу, перебрал 1, 2 и 3 эпохи, потом слои 8, 16 и 24 на модели 14B. В конце поставил себе модель-судью на Qwen 27B (Qwen3.8-27B) с прогоном по 30 вопросам и автоматическим отбором лучшего адаптера. Этого в задании не было, он придумал сам.

Основатель разобрал механику и стал видеть, где в его системе что стоит. Он сам поставил вопрос, откуда брать письменные тексты, кроме выгрузки из мессенджера, и получил метод добора материала: модель предлагает темы и наводящие вопросы, ответы вы пишете рукой.

Что даёт такой месяц

1. понимание цикла целиком: данные, обучение, проверка результата
2. способ проверить, что дало обучение: сверка с базовой моделью на одних и тех же вопросах
3. понимание, от чего зависит результат. Стиль переносится тем точнее, чем больше текстов написано вашей рукой, и это определяет, с чего начинать

Слова клиента

Когда ты смотришь это все в Google, это все остается в Google. Вы это объясняете простыми словами, на простых примерах, и оно откладывается абсолютно по-другому.

Кому подходит такой формат

1. у вас есть тексты или данные, которые нельзя отправлять в облако
2. вы хотите уметь повторять цикл сами и держать его у себя
3. вы готовы работать между занятиями: на них разбирается то, что вы принесли

Обсудить свою задачу можно на консультации по ИИ, RAG и агентам, это 90 минут по вашему кейсу.