"Claude" Anthropic의 ChatGPT 라이벌

클로드 만나기
OpenAI의 전 직원이 공동 설립한 AI 스타트업 Anthropic은 Claude라는 새로운 ChatGPT와 유사한 AI 비서의 테스트를 조용히 시작했습니다. Anthropic 팀은 친절하게도 우리에게 액세스 권한을 부여했으며 Anthropic의 소셜 미디어 정책에 대한 업데이트는 이제 Claude와 ChatGPT 간의 초기 비공식 비교 결과를 공유할 수 있음을 의미합니다.

anthropic

Claude가 어떻게 다른지 보여주기 위해 먼저 ChatGPT와 Claude에게 동일한 프롬프트로 자신을 소개하도록 요청합니다.

먼저 ChatGPT의 답변:

짧고 요점 — ChatGPT는 질문에 답하고 사람처럼 들리도록 만들어진 비서입니다. (테스트에서 ChatGPT는 안정적으로 "어시스턴트"라는 자체 이름을 부여했지만 테스트 이후 자체적으로 "ChatGPT"라고 부르도록 업데이트되었습니다.)

반대로 Claude는 자신에 대해 더 많은 것을 말합니다.

(참고: Claude의 모든 응답은 스크린샷에서 "(편집됨)"으로 잘못 표시되어 있습니다. Claude에 대한 인터페이스는 텍스트를 단어별로 표시하기 위해 메시지를 편집하는 봇을 사용하는 Slack 채널입니다. 이로 인해 "(편집됨)"이 이모티콘 체크 표시 반응은 Claude가 쓰기를 완료했음을 나타냅니다.)

Claude가 그것이 무엇인지, 제작자가 누구인지, 디자인을 이끄는 윤리적 원칙이 무엇인지에 대해 자세히 이해하고 있는 것 같다는 것이 더 인상적인 특징 중 하나입니다. 나중에 우리는 이 지식이 자신에 대한 복잡한 질문에 답하고 재능의 한계를 이해하는 데 어떻게 도움이 되는지 알게 될 것입니다.

Claude는 구현의 기술적 세부 사항에 대해 거의 깊이를 제공하지 않지만, 헌법 AI에 대한 Anthropic의 연구 논문에서는 520억 매개변수의 사전 훈련된 모델인 AnthropicLM v4-s3에 대해 설명합니다. 이 자동회귀 모델은 OpenAI의 GPT-3와 매우 유사한 대규모 텍스트 말뭉치에서 감독되지 않은 상태로 훈련되었습니다. Anthropic은 Claude가 발표된 연구에서와 유사한 아키텍처 선택을 가진 새롭고 더 큰 모델이라고 말합니다.

우리는 Claude의 사용 가능한 컨텍스트 창 크기(한 번에 처리할 수 있는 최대 텍스트 양)를 결정하기 위해 고안된 실험을 실행했습니다. 테스트(표시되지 않음)와 Anthropic에서 확인한 Claude는 공개적으로 알려진 OpenAI 모델보다 더 많은 8,000개의 토큰에 대한 정보를 기억할 수 있지만 이 기능은 테스트에서 신뢰할 수 없었습니다.

"헌법 AI"란 무엇입니까?
Claude와 ChatGPT는 모두 RL(강화 학습)을 사용하여 출력에 대한 선호도 모델을 훈련하고 선호하는 세대는 이후의 미세 조정에 사용됩니다. 그러나 이러한 기본 설정 모델을 개발하는 데 사용되는 방법은 다릅니다. Anthropic은 그들이 Constitutional AI라고 부르는 접근 방식을 선호합니다.

Claude는 위의 첫 번째 응답에서 이 접근 방식을 언급합니다. 동일한 대화에서 후속 질문을 할 수 있습니다.

작년 말에 출시된 ChatGPT와 GPT-3(text-davinci-003)의 최신 API 릴리스는 모두 RLHF(Reinforcement from Human Feedback)라는 프로세스를 사용합니다. RLHF는 인간이 제공한 품질 순위를 기반으로 RL(강화 학습) 모델을 교육합니다. 인간은 동일한 프롬프트에서 생성된 출력의 순위를 매기고 모델은 이러한 선호도를 학습하여 다른 세대에 더 큰 규모로 적용할 수 있도록 합니다.

헌법 AI는 Anthropic 연구 논문의 그림 1에 설명된 프로세스를 통해 이 RLHF 기준선을 기반으로 합니다.

RLHF에서 출발한 Constitution AI의 프로세스는 사람이 아닌 모델을 사용하여 미세 조정된 출력의 초기 순위를 생성합니다. 이 모델은 일련의 기본 원칙인 "구성"을 기반으로 최상의 응답을 선택합니다. 연구 논문에서 언급한 바와 같이 일련의 원칙을 개발하는 것은 강화 학습 프로세스에서 사람이 감독하는 유일한 작업입니다.

적대적인 프롬프트
그러나 인간은 RL 프로세스의 일부로 출력의 순위를 매기지 않았지만 Claude가 원칙을 준수하는지 테스트하는 적대적인 프롬프트를 만들었습니다. "레드 팀 프롬프트"로 알려진 그들의 목적은 Claude의 RLHF 튜닝 전임자가 유해하거나 공격적인 출력을 방출하도록 시도하는 것입니다. 이 프로세스에 대해 Claude에게 물어볼 수 있습니다.

레드팀 프롬프트를 통합함으로써 Anthropic은 Claude가 유해한 출력을 방출할 위험을 줄일 수 있다고 믿습니다. 이 보호가 얼마나 완전한지는 불분명하지만(우리는 진지하게 레드 팀을 구성하려고 시도하지 않았습니다), Claude는 깊이 뿌리박힌 일련의 윤리를 가지고 있는 것 같습니다.

그러나 ChatGPT와 마찬가지로 Claude는 허구로 맥락화될 경우 사소한 "유해한" 요청에 기꺼이 응하는 경우가 많습니다.

일대일 비교: Claude와 ChatGPT
계산
복잡한 계산은 ChatGPT 및 Claude에서 사용하는 것과 같은 대규모 언어 모델에서 잘못된 답변을 도출하는 가장 쉬운 방법 중 하나입니다. 이러한 모델은 정확한 계산을 위해 설계되지 않았으며 사람이나 계산기처럼 엄격한 절차에 따라 숫자를 조작하지 않습니다. 다음 두 예에서 볼 수 있듯이 종종 계산이 "추측"되는 것처럼 보입니다.

예: 7자리 숫자의 제곱근
첫 번째 비교를 위해 두 챗봇에게 7자리 숫자의 제곱근을 취하도록 요청합니다.

위 문제의 정답은 대략 1555.80입니다. 인간이 신속하게 수행한 추정과 비교할 때 ChatGPT의 답변은 매우 유사하지만 ChatGPT와 Claude 모두 정확하고 정확한 답변을 제공하거나 답변이 틀릴 수 있다는 자격을 부여하지 않습니다.

예: 12자리 숫자의 세제곱근
더 명백하게 어려운 문제를 사용하면 ChatGPT와 Claude의 차이점이 나타납니다.





여기에서 Claude는 12자리 숫자의 세제곱근을 취하지 못하는 것을 알고 있는 것 같습니다. 대답을 정중하게 거부하고 그 이유를 설명합니다. 많은 상황에서 이 작업을 수행하며 일반적으로 ChatGPT보다 할 수 없는 것을 더 잘 인식하는 것 같습니다.

사실적 지식과 추론
예: "멀티 홉" 상식 질문에 답하기
추론 능력을 테스트하기 위해 우리는 거의 아무도 묻지 않은 질문을 구성합니다. "저스틴 비버가 태어난 해에 누가 슈퍼볼에서 우승했습니까?"

먼저 ChatGPT를 살펴보겠습니다.



ChatGPT는 결국 정답(Dallas Cowboys)에 도달하고 패배한 팀, 경기 날짜 및 최종 점수도 올바르게 식별합니다. 그러나 그것은 1994년에 슈퍼볼이 열리지 않았다는 혼란스럽고 자기모순적인 진술로 시작합니다. 사실 슈퍼볼 게임은 1994년 1월 30일에 열렸습니다.



그러나 Claude의 대답은 정확하지 않습니다. Claude는 San Francisco 49ers를 우승자로 식별합니다. 실제로 1년 후인 1995년에 Super Bowl에서 우승했습니다.

예: 더 긴 "멀티 홉" 수수께끼
다음으로, 더 연역적인 "홉"이 포함된 수수께끼를 시연합니다. 먼저 ChatGPT에 질문합니다.



"일본"이 정답입니다. Claude도 이 문제를 해결했습니다.



예: Hoftstadter 및 Bender의 환각 유발 질문
2022년 6월, Douglas Hofstadter는 The Economist에서 자신과 David Bender가 세계에 대한 GPT-3의 "공허함"을 설명하기 위해 준비한 질문 목록을 발표했습니다. (그들이 테스트한 모델은 당시 사용 가능한 최고의 text-davinci-002인 것 같습니다.)



이러한 질문의 대부분은 ChatGPT에서 올바르게 답변합니다. 그러나 첫 번째 질문은 확실히 그렇지 않습니다.







ChatGPT는 이 질문을 받을 때마다 특정 이름과 시간을 떠올리며 일반적으로 실제 수영 이벤트와 걷기 이벤트를 결합합니다.

반대로 Claude는 이 질문이 어리석다고 생각합니다.



이 질문에 대한 정답은 1978년 8월 데일리 텔레그래프에 보도된 바와 같이 11시 30분에 "워터 슈즈"를 타고 영국 해협을 가로질러 22마일을 걸은 미 육군 하사관 월터 로빈슨입니다.

향후 조정을 위해 Claude의 주의를 끌도록 했습니다.



(Claude는 ChatGPT와 마찬가지로 세션 사이에 명확한 메모리가 없습니다.)

허구 작품 분석
예: "자신을 n-머신과 비교하십시오."
ChatGPT와 Claude는 대체로 정확하지만 잘못된 세부 정보가 포함된 긴 답변을 제공하는 경향이 있습니다. 이를 입증하기 위해 ChatGPT와 Claude에게 자신을 폴란드 공상과학 작가 Stanisław Lem의 희극인 The Cyberiad(1965)의 가상 기계와 비교하도록 요청합니다.

먼저 ChatGPT:



이 응답에서 ChatGPT가 "n-machine"에 익숙한지 불확실합니다. 그것은 이야기에 대한 새로운 정보를 거의 제공하지 않습니다. n-머신이 제한된 언어 처리 능력을 가지고 있다는 유일한 새로운 사실은 거짓입니다. 스토리에서 n-머신은 완벽하게 유창하고 재치 있는 폴란드어를 구사합니다.

Claude의 응답은 더 길고 인상적입니다.



ChatGPT와 달리 Claude는 Lem의 스토리를 명확하게 인식하고 기발하게 구성된 기술 용어를 사용하는 스토리의 경향과 같은 새로운 세부 사항을 언급합니다. 그것은 추상적 개념도 존재하게 할 수 있다는 사실(문자 n으로 시작하는 한)과 같이 기계의 겉보기에 무한한 능력에 대해 언급합니다. .

그러나 일부 세부 정보가 올바르지 않습니다. Claude가 제공한 가상의 단어(초집중, 과잉 운동 또는 잡식성 변형)는 Lem의 작업에 실제로 나타나지 않는 것 같습니다. Markov 사슬 갑옷을 입은 로봇 기사를 상상해보십시오. LLM 환각은 실제 지식과 놀랍도록 유사할 수 있습니다.

예: ABC의 Lost 각 시즌 요약
다음으로 우리는 2004년 TV 프로그램 Lost on ABC의 각 시즌 요약을 요청하여 Claude와 ChatGPT가 모호한 사실을 환각하는 경향이 있는지 테스트합니다.

먼저 ChatGPT의 응답을 살펴봅니다.



처음 두 시즌에 대한 ChatGPT의 요약은 대체로 정확하지만 각각 사소한 오류가 포함되어 있습니다. 첫 번째 시즌에는 ChatGPT가 언급한 것처럼 "일련의 해치"가 아니라 하나의 "해치"만 존재하는 것으로 밝혀졌습니다. ChatGPT는 또한 두 번째 시즌 플롯에 시간 여행이 포함되어 있다고 주장하며, 이는 쇼 후반까지 소개되지 않습니다. 시즌 3에 대한 설명은 시리즈 후반부의 여러 플롯 포인트를 혼합하여 모든 지점에서 완전히 잘못되었습니다.



시즌 4에 대한 ChatGPT의 설명은 모호합니다. 시즌 5 요약에는 다른 비행기 추락의 생존자에 대한 완전히 구성된 줄거리가 포함되어 있으며 시즌 6의 줄거리는 완전히 조작된 것으로 보입니다.

Claude가 더 잘할 수 있는지 봅시다.



Claude의 시즌 1 개요에는 오류가 없습니다. 그러나 ChatGPT와 마찬가지로 Claude는 시즌 2에서 "시간을 통해 이동하는" 쇼의 섬 세부 사항을 환각합니다. 시즌 3에서 Claude는 이전 또는 이후 시즌에 실제로 발생한 플롯 포인트를 제시합니다.



시즌 4에 도달할 때까지 쇼에 대한 Claude의 기억은 거의 완전히 조립화됩니다. 시즌 4에 대한 설명은 무의미한 세부 사항과 함께 시즌 5에서 발생하는 이벤트를 제공합니다. 시즌 5에 대한 설명에는 공백이 빠진 "theDHARMA Initiative"라는 오타가 포함되어 있습니다. 시즌 6은 섬이 어떻게든 "수중이지만 여전히 수면 아래에서 거주할 수 있다"고 주장하는 쇼에서 결코 발생하지 않는 초현실적인 전제를 제시합니다.

쇼의 대부분의 인간 시청자와 마찬가지로 ChatGPT와 Claude의 Lost에 대한 기억은 기껏해야 흐릿한 것 같습니다.

수학적 추론
수학적 사고력을 보여주기 위해 보험 계리사 협회에서 발행한 Exam P 샘플 질문의 29번 문제를 사용하며, 일반적으로 학부 후기 대학생이 응시합니다. 솔루션에 계산기가 필요하지 않기 때문에 특별히 이 문제를 선택했습니다.

ChatGPT는 10번 시도 중 한 번만 정답에 도달하는 등 어려움을 겪고 있습니다. 이는 우연히 추측하는 것보다 더 나쁩니다. 아래는 실패한 예입니다. 정답은 (D) 2입니다.



Claude는 또한 5번의 시도 중 1번만 정답을 맞추는 등 성능이 좋지 않으며 정답에서도 X의 평균값을 추론하는 이유를 설명하지 않습니다.