중국 팀이 Claude API를 연동할 때 문제는 대개 SDK가 아니라 연결 경로에 있습니다. 요청이 어디로 나가는지, 비용을 어떻게 지불하는지, 세금계산서를 어떻게 발급받는지, 속도 제한이 걸릴 때 서비스가 어떻게 물러나는지, 장애가 나면 누가 원인을 찾는지입니다. 이 몇 가지를 나눠서 보면 방안이 분명해집니다.

이 글은 공식 직접 연결, 자체 중계, 중국 내 AI 게이트웨이라는 세 가지 흔한 경로를 비교하고, 바로 적용할 수 있는 타임아웃·재시도·폴백·모니터링 설정을 제시합니다. 구체적인 모델과 가격은 사이트 내 모델 가격을 기준으로 하며, 이 글은 법률 또는 컴플라이언스 의견을 구성하지 않습니다.

안내: Anthropic, Claude, OpenAI는 각 권리자의 상표입니다. 이 글은 2026년 10월의 일반적인 제품 형태를 예로 듭니다. 국경을 넘는 네트워크, 데이터 반출과 결제·정산은 소재지 법규와 각 플랫폼의 서비스 약관을 따라야 하며, 실제 적용 전에 법무와 컴플라이언스 담당자와 상담하십시오.

1. 세 가지 경로를 먼저 정리합니다

공식 직접 연결은 Anthropic이 제공하는 API를 그대로 호출하는 방식입니다. 경로가 가장 짧고 기능과 문서가 가장 빠르게 동기화되므로, 이미 해외 법인, 해외 결제 수단, 성숙한 국제 네트워크 방안을 갖춘 팀에 적합합니다. 대신 네트워크 품질, 달러 결제, 환율, 비용 증빙을 모두 직접 처리해야 합니다.

자체 중계는 합법적인 해외 서버에 리버스 프록시 또는 게이트웨이를 두고 인증, 로그, 속도 제한, 과금을 한곳에서 관리하는 방식입니다. 통제력은 가장 높지만 운영, 인증서, 업그레이드, 보안 강화를 모두 직접 감당해야 합니다. 서버 위치와 데이터 처리가 부적절하면 오히려 컴플라이언스 위험이 커질 수 있습니다.

중국 내 AI 게이트웨이는 현지 서비스 제공자가 OpenAI 호환 진입점을 제공하고 위안화로 정산하며, 보통 콘솔, 사용량 통계, 세금계산서를 갖춥니다. 연동 비용이 낮고 여러 모델 전환이 편리하지만, 제공자의 자격, 데이터 조항, 서비스 수준, 장애 대응을 확인해야 합니다.

항목 공식 직접 연결 자체 중계 중국 내 AI 게이트웨이
네트워크·접속 국경 간 회선에 의존, 직접 최적화 필요 회선 선택 가능, 직접 운영 필요 중국 내 진입점, 대체로 즉시 사용 가능
결제·세금계산서 달러 정산, 비용 처리 경로가 김 서버와 계정 주체에 따라 다름 위안화 정산, 세금계산서 발급 가능
컴플라이언스·데이터 반출과 약관을 직접 평가 데이터 위치와 보존을 직접 책임 제공자 약관과 자격을 검토해야 함
운영 비용 중간, 주로 네트워크와 계정 높음, 서버·인증서·업그레이드 낮음, 콘솔에서 중앙 관리
속도 제한·장애 재시도와 폴백을 직접 구현 속도 제한과 상태 확인을 직접 설계 일부는 제공자가 처리, 자체 점검 필요
모델 범위 주로 Claude 직접 확장 가능 보통 여러 모델을 포괄

2. 네트워크와 경로: 먼저 측정하고 선택합니다

"연결이 되는지"만 보지 마십시오. 운영 환경에서는 네 가지를 측정해야 합니다. 첫 바이트 시간, 긴 응답의 안정성, 피크 시간대 패킷 손실, 연결 끊김 후 재연결입니다. 스트리밍 출력은 경로에 더 민감하므로 "안녕하세요" 한 문장이 아니라 실제 길이의 프롬프트로 부하 테스트를 하십시오.

자체 중계에서는 "프록시"와 "게이트웨이"를 구분해야 합니다. 프록시는 요청만 전달하고, 게이트웨이는 인증, 속도 제한, 로그, 모델 라우팅까지 수행합니다. 프록시를 공인 인터넷에 그대로 노출하고 고정 키 하나에 의존하는 것은 위험이 큽니다. 최소한 접근 제어, 요청 크기 제한, 이상 알림을 추가하십시오.

국경을 넘는 경로는 소재지 법률과 플랫폼 약관을 따라야 합니다. 출처가 불분명한 공유 프록시를 쓰거나 계정 자격 증명을 신뢰할 수 없는 제3자에게 맡기지 마십시오. 개인정보와 중요 데이터가 관련되면 먼저 데이터 분류와 반출 평가를 하십시오.

3. 결제, 계약과 세금계산서

중국 팀이 흔히 막히는 지점은 결제 주체입니다. 개인 카드 충전, 대리 결제, 비용 증빙이 서로 맞지 않으면 재무팀이 회계 처리하기 어렵습니다. 방안을 고를 때 다음을 먼저 확인하십시오. 계약은 누구와 체결하는지, 어떤 통화로 정산하는지, 어떤 세금계산서를 발급받을 수 있는지, 환불 규칙은 무엇인지입니다.

중국 내 게이트웨이는 보통 위안화 법인 계좌 이체와 부가가치세 계산서를 지원하고, 청구서를 프로젝트나 키별로 집계할 수 있어 여러 모델 지출을 통합하려는 팀에 적합합니다. 공식 직접 연결은 해외 결제 능력을 이미 갖춘 팀에 적합합니다. 어느 경로든 가격, 환율, 세금, 환불 조항을 구매 문서에 명시하고, 구체적인 비용은 모델 가격과 계약을 기준으로 하십시오.

4. 컴플라이언스와 데이터 경계

최소한 다음을 확인해야 합니다. 입출력이 학습에 사용되는지, 데이터를 얼마나 보존하는지, 어디에 저장하는지, 데이터 처리 계약을 체결할 수 있는지, 하위 처리자는 누구인지, 보안 사고를 어떻게 통보하는지입니다. 중국 사용자에게 서비스를 제공하는 경우 개인정보 보호와 데이터 반출 요건도 평가해야 합니다.

실무적인 방법은 데이터 등급화입니다. 공개 자료는 일반 경로를 이용할 수 있고, 코드·계약·고객 정보는 먼저 비식별화하며, 민감 개인정보나 중요 데이터가 관련된 상황은 별도로 평가하고 서면 자료를 남기십시오. "일단 쓰고 나중에 맞추자"는 식으로 컴플라이언스 판단을 대신해서는 안 됩니다.

5. 속도 제한, 타임아웃과 폴백

Claude API의 속도 제한은 보통 요청 수, 입력 토큰, 출력 토큰 등 여러 차원으로 계산합니다. 순간 트래픽, 긴 컨텍스트, 동시 재시도가 모두 429를 유발할 수 있고, 서버가 혼잡하면 529가 나타날 수 있습니다. 올바른 방법은 합리적인 타임아웃을 설정하고, 지수 백오프에 무작위 지터를 더하며, 최대 재시도 횟수를 제한하고, 쓰기 작업에 멱등성을 확보하는 것입니다.

import os, random, time
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["ZSQH_API_KEY"],
    base_url="https://api.zhongshangqihang.com/v1",
    timeout=60.0,
    max_retries=0,
)

def chat(messages, model, fallback):
    for name in [model, fallback]:
        for attempt in range(4):
            try:
                return client.chat.completions.create(
                    model=name,
                    messages=messages,
                    max_tokens=1024,
                    timeout=60,
                )
            except Exception as exc:
                status = getattr(exc, "status_code", None)
                if status not in (429, 500, 502, 503, 504, 529):
                    raise
                if attempt == 3:
                    break
                time.sleep(min(2 ** attempt + random.random(), 8))
    raise RuntimeError("기본 모델과 대체 모델이 모두 실패했습니다")

타임아웃은 작업별로 설정해야 합니다. 일반 질의응답은 짧게, 긴 문서 생성은 충분히 길게 잡으십시오. 타임아웃이 길수록 좋은 것은 아닙니다. 오래 매달린 연결이 커넥션 풀을 차지하기 때문입니다. 재시도는 복구 가능한 오류에만 적용하고, 401, 400, 컨텍스트 초과는 재시도하지 마십시오.

폴백 순서는 같은 제공자의 경량 모델, 다른 제공자의 동급 모델, 규칙 또는 캐시 결과 순으로 두는 것을 권합니다. 폴백 스위치는 설정 센터에 두고 코드를 고쳐 재배포하지 마십시오. 폴백이 발생할 때마다 모델명과 사유를 기록하십시오.

6. 키 격리와 모니터링

  1. 운영과 테스트는 다른 키를 사용하고, 프로젝트별로 다시 나눕니다.
  2. 키는 서버 환경 변수나 시크릿 관리 서비스에만 두고 프런트엔드, 저장소, 로그에 남기지 않습니다.
  3. 키마다 한도 또는 경보 임계값을 설정하고 정기적으로 교체합니다.
  4. 요청량, 오류율, P95 지연, 토큰 소비, 폴백 횟수를 기록합니다.
  5. 401, 429, 5xx를 각각 경보로 분리해 하나의 "오류율"이 문제를 가리지 않게 합니다.
  6. 요청 ID와 모델명을 보관해 제공자와 정산하고 원인을 추적합니다.

모니터링은 인터페이스가 200을 반환하는지만 보지 말고 비즈니스 결과까지 포괄해야 합니다. 예를 들어 JSON 파싱 실패율, 도구 호출 성공률, 빈 응답 비율은 HTTP 상태 코드보다 먼저 모델이나 프롬프트 문제를 드러내는 경우가 많습니다.

7. 출시 전 점검 목록

  1. 접속 경로와 계약 주체를 확정하고 법무·재무 검토를 마칩니다.
  2. 목표 네트워크 환경에서 실제 트래픽으로 부하 테스트를 완료합니다.
  3. 타임아웃, 재시도, 백오프, 최대 재시도 횟수를 설정합니다.
  4. 사용 가능한 폴백 모델을 최소 하나 준비하고 전환을 리허설합니다.
  5. 키 등급, 한도 설정, 교체 계획을 마련합니다.
  6. 사용량, 오류율, 지연, 폴백 모니터링을 연결합니다.
  7. 데이터 조항, 세금계산서, 결제 영수증, 검수 기록을 보관합니다.
  8. 소량 트래픽으로 점진 배포하고 일주일 관찰한 뒤 확대합니다.

자주 묻는 질문

Claude API는 중국에서 직접 연결할 수 있나요?

가능 여부는 소재지 네트워크 환경, 계정 자격, 플랫폼 약관에 따라 다릅니다. 이 글은 제한을 우회하는 방법을 제시하지 않습니다. 팀은 법규와 서비스 약관을 준수하는 접속 방식을 선택하고, 계약과 세금계산서가 가능한 중국 내 게이트웨이를 우선 고려하십시오.

게이트웨이와 프록시의 차이는 무엇인가요?

프록시는 보통 요청만 전달합니다. 게이트웨이는 인증, 속도 제한, 로그, 과금, 모델 라우팅까지 수행합니다. 운영 환경에서는 게이트웨이로 입구를 통합하고, 인증 없는 프록시를 공인 인터넷에 노출하지 마십시오.

자체 중계에서 주의할 점은 무엇인가요?

서버 위치, 데이터 보존, 접근 제어, 인증서 갱신, 장애 대응을 모두 직접 책임져야 합니다. 국경 간 배포 전에 컴플라이언스 평가를 먼저 하고, 민감 데이터를 통제되지 않는 경로에 두지 마십시오.

429가 나오면 계속 재시도해야 하나요?

아닙니다. 지수 백오프와 무작위 지터를 사용하고 횟수를 제한하십시오. 429가 지속되면 할당량이나 동시성 설정이 부족하다는 뜻이므로, 재시도를 쌓는 대신 폴백, 대기열, 할당량 조정을 검토해야 합니다.

다중 모델 게이트웨이는 안정성을 떨어뜨리나요?

계층이 하나 늘면 장애 지점도 하나 늘지만, 전환과 폴백 능력도 생깁니다. 핵심은 제공자의 서비스 수준, 모니터링, 장애 통보, 환불 규칙을 확인하고 자체적으로 엔드투엔드 상태 점검을 하는 것입니다.

다음 단계

먼저 실제 작업 묶음을 가지고 ZSQH AI 게이트웨이에서 테스트 키를 만들어 경로, 지연, 폴백을 확인한 뒤 환경별로 정식 키를 분리하십시오. 모델 범위와 비용은 모델 가격을 기준으로 합니다.

관련 글: