Недавно прикупил себе RTX 5080 с 16 GB на борту, запустил на ней Qwen 3 Coder на 30 миллиардов параметров с помощью LM Studio и потестировал с помощью opencode на спринговом проекте, как он будет справляться с типовыми задачами. В целом хочу сказать, что с задачами писать "по образу и подобию" такая модель справляется и даже умеет делать некоторый рефакторинг. Вначале работает шустро, затем чем больше делает правок и исправлений, тем сильнее замедляется, но продолжает работать. Через некоторое время правки вместо 5 минут занимают минут по 20. Но сами по себе правки остаются корректными. Поэтому по достижении более-менее устойчивого состояния надо сразу начинать новую сессию в кодинговом агенте.

В случае с LLM объём памяти является наиболее критичным параметром. И лучше брать побольше, хотя бы 24 гига. Но таких моделей в продаже очень мало и стоимость их возрастает в разы. Конечно для промышленной разработки такая видеокарта не подходит, но у локального решения есть другое неоспоримое преимущество: бесплатные токены и 100% доступность без ограничений. Вы платите разве что за электричество. Уже сейчас при желании можно составить некий бэклог простых заданий для такой модели и оставить её работать скажем на ночь. Утром можно провести ревью результатов и отправить их на следующую итерацию. То есть сейчас сфера применения локальных решений - это фоновые рутинные задачи, не критичные по времени.

Экстраполируя скорость развития AI-решений и рост цен на токены, я лишь убеждаюсь, что мы будем постепенно уходить от больших облачных моделей в сторону развёрнутых локально. Пусть не на локальном ПК, но как минимум в контуре организации. Особенно это актуально для России. Ведь даже бесплатные модели постоянно улучшаются и соответствуют топовым моделям (Qwen 3 Coder - это примерно GPT-4 по словам того же ChatGPT).

#devmark #ai #прогнозы #qwen #opencode

В продолжение поста про разработку с помощью open-source моделей, если у вас нет мощной видеокарты последнего поколения, но всё равно хочется разрабатывать с помощью агента безо всяких vpn, то в качестве альтернативы можно рассмотреть AI Studio от Яндекса. Конечно, это будет уже не бесплатно, в отличие от собственной видеокарты, зато заметно быстрее и проще.

В Яндексе уже развернуты в облаке наиболее популярные стандартные модели. Только не надо брать слишком большие модели типа qwen 235b - с ней можно за несколько минут сжечь несколько сотен рублей. Возьмите лучше ту же самую qwen3.6-35b-a3b - работает очень шустро и при этом неплохое качество кода на выходе.

Для разработки можно взять бесплатный кодинговый агент opencode. Для интеграции с моделью вам достаточно выпустить токен доступа в ЛК Яндекса и прописать нужную модель в конфиге. Вот фрагмент конфига .opencode/opencode.json:

"yandex": {
  "npm": "@ai-sdk/openai-compatible",
  "name": "Yandex AI Studio",
  "options": {
    "baseURL": "https://ai.api.cloud.yandex.net/v1",
    "apiKey": "API_KEY"
  },
  "models": {
    "gpt://YANDEX_CLOUD_FOLDER/qwen3.6-35b-a3b/latest": {
      "name": "qwen3.6-35b-a3b",
      "tool_call": true,
      "options": {
        "temperature": 0.9
      }
    }
  }
}

И вот вы уже получаете решение, которое может составить более простую альтернативу таким гигантам как Codex или Claude Code и при этом оно работает без vpn и оплачивается рублями)

#devmark #ai #yandex #opencode #qwen