Hoje, 30 de novembro de 2023, o ChatGPT completa um ano do seu lançamento. Trago para vocês um artigo do Andrew Ng, publicado ontem no informativo The Batch:
Prezados amigos,
Já se passou um ano desde o lançamento do ChatGPT em 30 de novembro de 2022, e é surpreendente a quantidade de grandes modelos de linguagem (LLMs) disponíveis atualmente.
Um ano atrás, o ChatGPT era praticamente a única opção disponível para consumidores (usando uma interface de usuário da web) que desejavam usar um LLM, e um punhado de modelos da OpenAI eram as únicas opções para desenvolvedores (fazendo chamadas de API). Hoje, vários modelos de código aberto e fechado estão ao nosso alcance. O ChatGPT é a maneira mais popular para os consumidores conversarem com um LLM, mas existem outros disponíveis, incluindo Microsoft Bing, Google Bard e ofertas de startups como Anthropic Claude, Inflection Pi e perplexity.ai. Também existem várias opções para desenvolvedores, incluindo APIs da Amazon Web Services, Azure, Cohere, Google Cloud, Hugging Face, OpenAI e muitos outros. A proliferação de opções é empolgante, e espero que continue!
Para casos de uso de consumidores e desenvolvedores, modelos de código aberto que você mesmo pode hospedar ou até executar localmente em seu laptop estão ficando surpreendentemente bons. Para muitas aplicações, um bom modelo de código aberto pode ter um desempenho talvez equivalente ao ChatGPT-3.5 de um ano atrás. O GPT4All e o MLC de código aberto e o LM Studio de código fechado (que tem uma interface de usuário muito bonita) estão tornando mais fácil do que nunca executar modelos localmente. Executar modelos localmente costumava ser um ato esotérico restrito a desenvolvedores que estavam dispostos a enfrentar processos complexos de instalação e configuração, mas agora está se tornando muito mais acessível.
Eu uso regularmente um chatbot como parceiro de raciocínio. Hoje em dia, me pego usando um LLM rodando no meu laptop (que roda razoavelmente rápido e garante privacidade, já que meus dados ficam na minha máquina) tanto quanto um hospedado na nuvem. Eu uso um modelo hospedado na nuvem quando preciso de um nível de desempenho que não consigo obter de um modelo de código aberto local menor. Por exemplo, costumo usar o GPT-4 para problemas complicados e brainstorming criativo.
Embora a segurança seja importante - não queremos que os LLMs distribuam instruções prejudiciais casualmente - acho que as ofertas da maioria dos grandes fornecedores foram ajustadas para serem "mais seguras" do que eu gostaria para alguns casos de uso. Por exemplo, às vezes um modelo se recusou a responder perguntas básicas sobre uma atividade que prejudica o meio ambiente, mesmo que eu estivesse apenas tentando entender essa atividade e não tivesse intenção de cometer esse dano. Agora existem alternativas de código aberto que são menos agressivamente ajustadas em termos de segurança que posso usar com responsabilidade para aplicações específicas.
A riqueza de alternativas também é uma bênção para os desenvolvedores. Um padrão de design emergente é construir rapidamente um protótipo ou produto inicial que oferece bom desempenho ao solicitar um LLM, talvez um caro como o GPT-4. Posteriormente, se você precisar de inferência mais barata ou melhor desempenho para uma tarefa específica e de escopo restrito, você poderá ajustar um dos muitos LLMs de código aberto para sua tarefa. (Alguns desenvolvedores estão supostamente usando dados gerados pelo GPT-4 para seu próprio ajuste fino, embora não esteja claro se isso viola seus termos de uso.)
Em um ano, passamos de ter essencialmente uma opção viável a ter pelo menos dezenas. A explosão de opções traz consigo o custo de escolher uma boa; espero que nossos cursos curtos sobre IA generativa possam ajudar com isso. Se você tiver experiência com LLMs de código aberto que gostaria de compartilhar ou se encontrou com alguns modelos mais úteis do que outros em aplicativos ou situações específicas, informe-me nas mídias sociais!
Continue aprendendo!
Andrew Ng
コメント