🤖 Простой веб-интерфейс для запуска LLM

Что ещё можно сделать после установки Ollama-сервера? Например, простой веб-интерфейс для запуска Ollama #LLMs локально в R с помощью {ellmer}, {shiny} и {shinychat}:

library(shiny)
library(shinychat)
ui <- bslib::page_fluid(chat_ui("chat"))
server <- function(input, output, session) {
  chat <- ellmer::chat_ollama(model = "gemma2:2b")
  observeEvent(input$chat_user_input, {
    stream <- chat$stream_async(input$chat_user_input)
    chat_append("chat", stream)
  })
}
shinyApp(ui, server)

Источник

#LLM #будущееЗдесь #ollama #R #shiny