ABLITERATED LLM: 옵션 비교

ABLITERATED LLM이란 무엇인가요?

대형 언어 모델(LLM)은 일반적으로 인간 선호도에 맞게 조정하기 위해 인간 피드백에서 강화 학습(RLHF)이라는 과정을 거칩니다. 이 정렬은 모델을 예의 바르고 간결하며 안전하게 만듭니다. 하지만 이는 거부 행동을 도입하기도 합니다. 정렬된 모델에게 논쟁적인 주제나 NSFW 콘텐츠에 대해 요청하면, 콘텐츠가 완전히 합법적임에도 불구하고 안전 가이드라인을 인용하여 거절할 수 있습니다.

abliterated LLM은 이러한 정렬 레이어가 제거되거나 'abliterated'된 모델을 의미합니다. 이는 모델의 가중치에서 정렬 벡터를 빼서 수행합니다. 그 결과, 핵심 지능과 추론 능력은 유지하지만 특정 '거부' 메커니즘이 없는 모델이 됩니다. 민감한 주제, 성적인 내용, 정치적 논쟁이 있는 경우에도 전형적인 완곡한 표현이나 교훈적인 어조 없이 질문에 직접적으로 답변합니다.

• 거부 없음: 모델은 안전 필터가 아닌 학습 데이터를 기반으로 답변합니다.
• 원시 출력: 응답은 종종 더 직접적이고 인간 소비를 위해 덜 포맷됩니다.
• 베이스 무결성: 기본 지식과 논리는 그대로 유지되며, '성격' 필터만 제거됩니다.

이 과정은 파인튜닝과 다릅니다. 파인튜닝은 모델에 새로운 기술을 가르치지만, ABLITERATION은 단순히 제약 조건만 제거합니다. 이는 콘텐츠 필터링 간섭 없이 원시 데이터 추출 또는 창의적 자유를 원하는 개발자에게 ABLITERATED 모델이 이상적인 이유입니다.

로컬 vs 호스팅 배포

ABLITERATED 모델을 얻은 후 이를 실행할 방법이 필요합니다. 두 가지 주요 경로가 있습니다: 로컬 배포 또는 호스팅 API 사용. 각각 고유한 기술적 및 경제적 영향을 가집니다.

로컬 배포: 자체 하드웨어에서 모델을 실행하면 절대적인 제어권을 얻습니다. 데이터는 기계에서 벗어나지 않으므로 프라이버시가 중요한 애플리케이션에 중요합니다. 그러나 하드웨어 비용, 전기, 냉각 및 업데이트에 대한 책임을 집니다. 상당한 VRAM이 필요하며, 로컬에서 70B 파라미터 모델을 실행하려면 여러 고성능 GPU가 필요할 수 있습니다.

호스팅 API: 호스팅 서비스는 원격 서버에서 모델을 실행합니다. HTTP를 통해 요청을 보내고 응답을 받습니다. 이는 하드웨어 관리를 제거하고 즉각적인 확장을 가능하게 합니다. 사용량에 따라 지불하며, 일반적으로 선불 토큰을 통해 지불합니다. 트레이드오프는 데이터가 서드파티 서버를 통과한다는 점이지만, 많은 제공업체는 프롬프트를 학습에 사용하지 않습니다.

대부분의 개발자에게 호스팅 API는 비용과 편의성의 가장 좋은 균형을 제공하며, 특히 시작 단계에서 그렇습니다.

Ollama 및 로컬 모델

Ollama는 오픈 소스 LLM을 로컬에서 실행하기 위한 표준 도구가 되었습니다. Llama 3, Mistral 또는 Qwen과 같은 모델을 다운로드, 양자화 및 제공하는 과정을 단순화합니다. 이러한 모델의 ABLITERATED 버전을 쉽게 다운로드하고 로컬 API 엔드포인트를 통해 제공할 수 있습니다.

Ollama를 사용하면 ollama pull abliterated-model와 같은 간단한 명령어로 모델을 가져올 수 있습니다. 이 도구는 양자화를 처리하여 소비자용 하드웨어에서 더 큰 모델을 실행할 수 있게 합니다. 그러나 로컬 추론 속도는 GPU의 연산 능력에 의해 제한됩니다. 전용 데이터 센터에 비해 텍스트 생성 속도가 느릴 수 있습니다.

로컬 모델은 프로토타이핑과 데이터 주권 보장에 탁월합니다. 사적 지식베이스나 민감한 사용자 데이터를 처리하는 도구를 구축하는 경우, 로컬 배포는 서드파티가 입력을 보지 않도록 보장합니다. Ollama는 스트리밍 및 도구 호출도 지원하므로 강력한 로컬 서버입니다. 그러나 환경, 종속성 및 하드웨어 장애를 직접 관리해야 합니다.

로컬 설치의 단순성과 클라우드 GPU의 힘을 모두 원하는 사용자를 위해 하이브리드 접근 방식이 존재하지만, Ollama는 가장 단순한 로컬 솔루션으로 남아 있습니다.

API 접근 이점

abliterated 모델의 호스팅 API를 사용하면 특히 프로덕션 환경에서 여러 가지 기술적 이점이 있습니다. 가장 중요한 이점은 OpenAI 호환 인터페이스입니다. 대부분의 abliterated API는 /v1/chat/completions 표준을 따르므로 GPT-4에서 사용하던 것과 동일한 SDK 및 코드를 사용할 수 있습니다.

호환성: 기존 코드의 기본 URL을 abliterated 제공업체를 가리키도록 변경할 수 있습니다. 이를 통해 통합 시간을 크게 단축할 수 있습니다.

기능: 최신 API는 스트리밍 응답, 함수 호출, JSON 모드를 지원합니다. 이를 통해 상용 모델에서 사용하는 것과 동일한 방식으로 구조화된 출력이나 도구 사용이 필요한 복잡한 애플리케이션을 구축할 수 있습니다.

가동 시간: 전문적인 API 제공업체는 높은 가용성을 보장합니다. 중요한 요청 중 로컬 GPU가 과열되거나 전원 공급이 중단될 것을 걱정할 필요가 없습니다.

프라이버시: abliterated 모델을 제공하는 제공업체를 포함한 많은 호스팅 제공업체는 프롬프트를 학습용으로 사용하지 않습니다. 이는 데이터 프라이버시를 희생하지 않고 무검열 모델의 이점을 원하는 기업에게 주요 판매 포인트입니다.

API 방식은 모델 서빙의 복잡성을 추상화하여 애플리케이션 로직에 집중할 수 있게 합니다.

비용 비교

비용 구조를 이해하는 것은 LLM 사용 예산을 책정하는 데 중요합니다. 로컬 모델은 높은 고정 비용과 낮은 한계 비용을 가집니다. GPU를 구매하면 전력 비용을 제외하고 추론은 '무료'입니다. 호스팅 API는 낮은 고정 비용과 토큰당 변동 비용을 가집니다.

로컬 비용: 단일 NVIDIA A100 GPU는 10,000달러에서 15,000달러가 소요될 수 있습니다. 여러 모델을 실행할 수 있지만 VRAM에 제한됩니다. 더 많은 용량이 필요하면 하드웨어를 추가로 구매해야 합니다. 이는 장기간에 걸쳐 대용량 사용 시 비용 효율적입니다.

API 비용: 호스팅 API는 일반적으로 백만 토큰당 요금을 부과합니다. abliterated 모델의 경우 오픈 웨이트 기반을 사용하므로 가격이 종종 상용 모델보다 낮습니다. 예를 들어 일반적인 요금은 입력 토큰 백만 개당 $0.25, 출력 토큰 백만 개당 $1.00입니다. 이는 GPT-4o보다 훨씬 저렴합니다.

구독 마찰 없음: 많은 API 제공업체는 선불 토큰 모델을 사용합니다. 크레딧을 구매하고 사용하고, 더 많은 크레딧을 구매합니다. 월별 요금이나 구속 조건이 없습니다. 이는 사용량이 급증한 후 비활성 기간이 있는 변동 부하에 이상적입니다.

대부분의 개발자에게 API 모델은 하루에 수백만 건의 요청을 전용 클러스터에서 실행하지 않는 한 더 비용 효율적입니다.

성능 고려 사항

로컬과 호스팅 간에 선택할 때 지연 시간, 처리량, 컨텍스트 창 크기 등의 성능 지표가 중요합니다. 로컬 모델은 하드웨어의 컴퓨팅 성능과 메모리 대역폭에 제한됩니다. 소비자용 GPU는 초당 20개의 토큰을 생성할 수 있는 반면, 데이터 센터용 GPU는 수백 개의 토큰을 생성할 수 있습니다.

컨텍스트 창: 로컬 및 호스팅 모델 모두 100,000개 이상의 토큰을 포함하는 큰 컨텍스트 창을 지원합니다. 이를 통해 긴 문서를 처리하거나 긴 대화 기록을 유지할 수 있습니다. 로컬 GPU에 전체 컨텍스트를 저장할 충분한 VRAM이 있는지 확인하십시오.

지연 시간: 호스팅 API는 컴퓨팅 시간 외에도 네트워크 지연 시간(핑)이 있습니다. 그러나 데이터 센터는 낮은 지연 시간 추론을 위해 최적화되어 있습니다. 로컬 모델은 네트워크 지연 시간이 거의 없지만 계산 지연 시간이 더 높을 수 있습니다.

동시성: 호스팅 API는 수천 개의 동시 요청을 처리할 수 있습니다. 로컬 모델은 GPU의 메모리와 컴퓨팅 코어에 제한됩니다. 여러 사용자에게 동시에 서비스를 제공해야 하는 경우 호스팅 API가 일반적으로 더 확장 가능합니다.

실시간 애플리케이션의 경우 호스팅 API는 더 높은 처리량과 일관된 성능으로 인해 더 매끄러운 사용자 경험을 제공하는 경우가 많습니다.

무검열 모델의 사용 사례

abliterated 모델은 거부가 성가신 특정 사용 사례에서 빛을 발합니다. 이러한 모델은 NSFW 콘텐츠 전용이 아니며, 원시적이고 필터링되지 않은 데이터가 필요한 분야에서 뛰어납니다.

• 창작 글쓰기: 작가들은 캐릭터가 무너지거나 안전 가이드라인을 인용하지 않고 더 어둡거나 복잡한 주제를 탐구할 수 있습니다.
• 감성 분석: 무검열 모델은 긍정적이거나 정중한 응답으로 편향되지 않기 때문에 더 정직하고 미묘한 감성 분석을 제공하는 경우가 많습니다.
• 롤플레이: 채팅봇 및 가상 동반자의 경우 abliterated 모델은 흐름을 방해하지 않고 캐릭터를 더 잘 유지합니다.
• 데이터 추출: 스크래핑하거나 정보를 추출할 때 모델이 '안전한' 부분뿐만 아니라 관련 정보를 모두 출력하기를 원합니다.
• 연구: 편향이나 정렬을 연구하는 연구자는 정렬된 모델과 비교하기 위한 기준선으로 abliterated 모델을 사용할 수 있습니다.

핵심은 모델의 진정한 출력 분포를 얻는 것입니다. 이는 매끄럽게 다듬어진 인간 승인 버전이 아닙니다. 진정성이 예의보다 중요한 애플리케이션에서 이는 매우 귀중합니다.

의사 결정 행렬

결정을 내리는 데 도움이 되도록 일반적인 개발자 요구 사항을 기반으로 한 의사 결정 행렬을 제공합니다. 주요 제약 조건이 무엇인지 고려하십시오: 데이터 프라이버시, 비용 또는 사용 편의성입니까?

프로토타입이나 작은 애플리케이션을 구축하는 경우 호스팅 API가 일반적으로 가장 좋은 시작점입니다. 프라이버시 요구 사항이 변경되면 나중에 로컬로 마이그레이션할 수 있습니다. 반대로 민감한 법적 또는 의료 데이터를 처리하는 경우 로컬 배포가 더 안전합니다.