Resumo
- A Anthropic suaviza sua promessa de segurança.
- O congelamento rigoroso do desenvolvimento imposto anteriormente pela empresa foi substituído pela promessa de maior transparência.
- Essa medida pode reduzir os padrões de segurança no setor.
Anthropic, o criador do agente de IA Claude (um dos Nossas ferramentas de produtividade favoritasUma de suas principais características é seu compromisso inabalável com a segurança. postagem no blogA empresa descreveu sua Política de Expansão Responsável (PER) e as alterações incluídas na versão 3.0.
Links Rápidos
Qual era a antiga política de segurança da Anthropic?
A empresa estabeleceu um padrão da indústria em termos de garantias de segurança.
Para entender as mudanças que a Anthropic está implementando, é preciso compreender sua Política de Escalabilidade Responsável (RSP, na sigla em inglês) original. Em 2023, a Anthropic se comprometeu a interromper o treinamento de modelos de IA caso suas capacidades excedessem a capacidade da empresa de demonstrar sua segurança. Os sinais de alerta de segurança que poderiam desencadear essa interrupção incluíam os seguintes:
- Modelos que poderiam auxiliar na criação ou implantação de armas químicas, biológicas ou nucleares.
- Modelos que podem se aprimorar excessivamente.
- Modelos que podem auxiliar em ciberataques.
- Modelos que podem se comportar de certas maneiras sem intervenção humana, como "escapar" de seus ambientes para evitar serem desligados.
A Política de Expansão Responsável (RSP) impôs um limite rigoroso a esses modelos — a Anthropic interromperia o desenvolvimento mesmo que isso significasse ser ultrapassada pela concorrência. Foi uma postura ousada em um setor onde todos pareciam estar correndo a toda velocidade.
Nova Política de Expansão Responsável (RSP) da Anthropic
A versão 3.0 flexibiliza significativamente as regras.
A Anthropic ainda mantém uma política de expansão responsável, mas, com a versão 3.0, a empresa só interromperá o desenvolvimento se acreditar que já possui uma vantagem significativa sobre os concorrentes. A promessa vinculativa de parar foi substituída por uma promessa de transparência quanto ao cumprimento das metas de segurança e à igualdade ou superação das metas de segurança dos concorrentes. Em outras palavras, a empresa assumiu um compromisso com a segurança.
O que motivou essas mudanças? A Anthropic afirma que seu Compromisso de Segurança Original (RSP, na sigla em inglês) não alcançou o impacto desejado. O RSP tinha como objetivo servir de exemplo de segurança para outras empresas. Infelizmente, os concorrentes não acataram esse sinal. A empresa acredita que, ao limitar seus próprios esforços, está essencialmente permitindo que concorrentes menos preocupados com a segurança dominem o mercado e ditem o ritmo do desenvolvimento.
O que isso significa para o setor?
Um grande passo para trás.
Infelizmente, essas mudanças podem criar um precedente perigoso no campo da inteligência artificial. A Anthropic era o padrão ouro em práticas de segurança e, com essas mudanças, o nível de exigência foi consideravelmente reduzido. Isso pode transmitir aos concorrentes a mensagem de que a segurança vem em segundo plano em relação à inovação. Embora isso possa ajudar Claude a Atualizando-se com o ChatGPTNo entanto, ainda parece um passo na direção errada.
Em última análise, se quisermos dissipar os receios dos pessimistas em relação à IA, uma promessa de segurança de uma única empresa não será suficiente — toda a indústria precisa se unir e tomar uma posição firme. Neste momento, parece cada vez mais improvável que isso aconteça.
