PT

Executando o GPT-OSS-20B da OpenAI Localmente com o Open WebUI (Guia Completo de Configuração)

#Ferramentas de IA
2025-12-05 18:328 min de leitura

Introdução ao Conteúdo
Fazer perguntas

Neste vídeo, Rob orienta os espectadores através de uma configuração prática da Open Web UI em um NVIDIA DGX Spark, projetado para interação com o modelo GBOSS20B da OpenAI, que contém 20 bilhões de parâmetros. O tutorial destaca os processos de configuração que podem ser realizados em várias plataformas de hardware, mas é centrado em um sistema desktop Blackwell. Rob explica como utilizar a ferramenta NVIDIA Sync para criar mapeamentos de porta SSH e gerenciar contêineres Docker para executar o aplicativo Open Web UI. Ele detalha os passos para baixar as imagens Docker necessárias, configurar montagens de volume para armazenamento de dados e acessar o uso da GPU e da memória enquanto executa o aplicativo. Após estabelecer a conta de administrador e instalar o modelo, Rob demonstra como executar uma consulta básica. O vídeo tem como objetivo fornecer um guia abrangente para usuários interessados em implantar grandes modelos de linguagem com hardware da NVIDIA.

Informações-chave

  • Rob apresenta um tutorial prático sobre como configurar a Open Web UI em um DGX Spark para interagir com uma versão local do modelo GBOSS20B da OpenAI, que possui 20 bilhões de parâmetros.
  • A configuração pode ser feita em vários hardwares, mas a demonstração é especificamente em um sistema NVIDIA DGX Spark.
  • O vídeo aborda o uso do Nvidia Sync para gerenciar a utilização da GPU e da memória ao configurar a configuração.
  • Rob demonstra como baixar imagens do Docker, criar contêineres e configurá-los com mapeamentos de porta para acesso à interface web aberta via SSH.
  • O tutorial inclui a configuração de aplicativos personalizados na interface do usuário Nvidia Sync para acesso simplificado à interface do usuário da Web Aberta.
  • Rob enfatiza a observação da utilização de GPU e RAM durante as interações com o modelo, observando picos de uso quando as consultas são processadas.
  • Ele conclui incentivando os espectadores a tentarem configurar configurações similares em seus sistemas com GPUs compatíveis.

Análise da Linha do Tempo

Palavras-chave do Conteúdo

Interface Web Aberta

Rob apresenta um tutorial prático demonstrando como configurar a Interface da Web Aberta em um NVIDIA DGX Spark para interagir com uma versão local do modelo GBOSS20B da OpenAI, que possui 20 bilhões de parâmetros. O vídeo mostra várias configurações que podem ser realizadas em diferentes hardwares.

NVIDIA DGX Spark

Detalhes sobre o sistema NVIDIA DGX Spark usado para esta configuração são abordados, incluindo seu monitoramento de desempenho através da utilidade de sincronização da Nvidia e a utilização da GPU durante diferentes tarefas.

Container Docker

O processo para baixar e executar o contêiner Docker da Open Web UI é explicado, incluindo a criação do contêiner com mapeamentos de portas e garantindo que ele interaja corretamente com as portas do sistema host.

Instalação do Modelo

Rob caminha pelo processo de instalação do modelo GPTOSS20 com 20 bilhões de parâmetros, enfatizando os aumentos de desempenho esperados em consultas subsequentes à medida que o modelo é carregado na memória.

Teste de Resposta

O vídeo conclui com o teste das capacidades do modelo, solicitando que ele entregue piadas e instruções mais complexas, enquanto se mantém um olhar sobre a utilização da GPU e da RAM durante todo o processo.

Nvidia Sync

Instruções sobre como configurar e utilizar o Nvidia Sync para gerenciar e lançar aplicativos no DGX Spark são fornecidas, juntamente com detalhes sobre como criar um aplicativo personalizado dentro da interface.

Monitoramento de Desempenho

Os usuários são incentivados a monitorar o uso da GPU e da RAM durante as operações para garantir um desempenho ideal e avaliar a responsividade do sistema à medida que diferentes consultas são feitas.

Perguntas e respostas relacionadas

Quem é Rob?

Rob é o apresentador do vídeo e está recebendo os espectadores em seu laboratório.

Qual é o tema principal do vídeo?

O vídeo é um passo a passo prático mostrando como configurar a Open Web UI em um DGX Spark para interagir com o modelo GBOSS20B da OpenAI.

O que é o GBOSS20B da OpenAI?

GBOSS20B é um modelo de peso aberto da OpenAI com 20 bilhões de parâmetros.

Qual hardware está sendo usado na demonstração?

A gravação está sendo feita em um sistema desktop Blackwell NVIDIA DGX Spark.

Que ferramentas são mencionadas para acessar a interface do usuário da web aberta?

Rob usa a ferramenta de sincronização da Nvidia para acessar o aplicativo da interface web aberta e o terminal Spark.

Como Rob monitora a utilização da GPU?

Rob abre um painel usando a sincronização Nvidia para monitorar a memória unificada e a utilização da GPU no Spark.

O que precisa ser feito antes de usar a Interface Web Aberta?

Rob baixa a imagem Docker e cria um contêiner Docker para executar a Interface da Web Aberta.

Qual é o propósito do contêiner Docker?

O contêiner Docker é usado para executar a interface da web Open e permitir a conexão via um túnel SSH.

O que é um aplicativo personalizado no contexto do Nvidia sync?

Um aplicativo personalizado na sincronização da Nvidia permite que os usuários gerenciem e lancem aplicativos facilmente, como a Interface de Usuário da Web Aberta.

Que tipo de perguntas Rob faz ao modelo da OpenAI?

Rob faz perguntas simples ao modelo, como uma piada, para testar sua funcionalidade.

Como Rob confirma que o aplicativo está em execução?

Rob usa o comando 'docker ps' para verificar se o contêiner está em execução.

O que acontece com a utilização da GPU durante interações do modelo?

A utilização da GPU aumenta quando o modelo está processando uma pergunta e retorna a zero assim que a resposta é entregue.

O setup pode ser utilizado em outros sistemas?

Sim, a configuração pode ser usada em qualquer sistema com uma GPU compatível.

Mais recomendações de vídeos

Compartilhar para: