[AI] LLM OWASP 03 : 공급망

https://owasp.org/www-chapter-seoul/assets/files/LLMAll_ko-KR-2025-04-02.pdf

12p~ 내용을 다룹니다.

 

LLM 공급망은 학습 데이터, 모델, 배포 플랫폼의 무결성에 영향을 미칠 수 있는 모든 요소와 흐름을 의미합니다. 이러한 공급망은 LLM시스템을 구성하는 전체 시스템을 의미하며, 사전 학습된 타사 모델이나 학습 데이터 자체까지 포함하고 있습니다.

이러한 공급망은 다양한 취약점을 포함하며, 편향 출력, 보안 침해 등을 초래할 수 있습니다.

 

또한 공급망에 포함되는 외부 요소는 변조 또는 오염 공격을 통해 조작될 수 있습니다.

사실 잘 와닿는 내용은 아니라 일반적 취약점 예시를 보겠습니다.

 

일반적 취약점 예시

1. 기존 타사 패키지 취약점 : 알려진 취약점 발생가능
2. 라이선스 위험 : AI 개발에 포함되는 다양한 소프트웨어 및 데이터셋 라이선스를 제대로 관리하지 않으면 이용,배포,상용화가 제한될 수 있습니다.
3. 오래되었거나 사용되지 않는 모델 : 더 이상 유지관리되지 않는 모델을 사용하면 보안 문제가 발생할 수 있습니다.
4. 취약한 사전 훈련 모델 : 모델은 바이너리 블랙박스이며, 정적 검사로는 보안을 보장할 수 없습니다. 사전 훈련 모델에 취햑한 부분이 있을경우 숨겨진 편향, 백도어 또는 악의적인 기능을 포함할 수 있습니다.
5. 약한 모델 출처 : 출처에 대한 강력한 보증이 없어, 사회 공학 기술과 결합하여 LLM 애플리케이션의 공급망을 손상시킬 수 있습니다.
6. 취약한 LoRA 어댑터 : LoRA는 LLM을 다시 학습시키는 대신 적은 양의 파라미터만 추가하여 모델을 파인튜닝하는 기술입니다. 이 방법은 효율성이 높지만 악의적인 LoRA 어댑터가 기본 모델의 무결성과 보안을 손상시킬 수 있습니다.
7. 협업 개발 프로세스 활용 : 오픈 소스 생태계의 협업 환경인 공유 환경에서 호스팅되는 공동 모델 병합 및 모델 처리 서비스는 공유 모델의 취약점을 유발할 수 있는 지점이 됩니다. 이런 서비스들은 모델이 유통되는 과정에서 공격자가 개입할 수 있는 통로가 됩니다.
8. 디바이스 공급망 취약점에 대한 LLM 모델 : 디바이스의 LLM 모델은 제조 프로세스가 손상되고 디바이스 OS 또는 펌웨어 취약점을 악용하여 모델을 손상시킴으로써 공급망 공격 표면을 증가시킵니다. 이런 변조된 모델로 애플리케이션에 대한 변조 및 리패키징이 가능합니다.
9. 불명확한 이용약관 및 개인정보 보호 정책

공급망에 대한 완화 방법을 알아보기 전에 먼저 시나리오 예시를 살펴보겠습니다.

 

공격 시나리오 예시

 

#1 취약한 python 라이브러리 : 공격자는 취약점이 있는 Python 라이브러리를 악용하여 LLM 앱을 손상시킵니다. 오픈 ai 데이터유출 사고 당시 공격자는 모델 개발자를 속여 멀웨어가 포함된 손상된 PyTorch 종속성을 다운로드하도록 유도했습니다.

#2 직접 변조 : 모델을 직접 변조하고 게시하여 잘못된 정보를 퍼뜨리는 공격으로 모델이 학습을 통해 얻은 가중치 값을 직접 변경하고 배포합니다.

#3 인기 모델 미세 조정 : 인기 있는 오픈 액세스 모델을 가져와서 미세 조정하고, 백도어를 심어서 다시 배포합니다. 이러한 백도어가 심어진 제품들은 안전 벤치마크에서도 높은 점수를 받기 때문에 겉으로는 안전해보이지만 속에 심어진 트리거 발동시 백도어로 작용합니다.

#4 사전 학습된 모델 : LLM 시스템은 철저한 검증 없이 널리 사용되는 레포지토리에서 학습된 모델을 가져와 배포하는데, 이때 공격자에 의해 손상된 모델은 악성 코드를 도입하여 특정 맥락에서 편향된 출력을 유발하고 조작된 결과를 초래합니다.

#5 손상된 타사 공급업체 : 손상된 타사 공급업체가 허깅페이스에서 모델 병합을 사용하여 LLM에 병합되는 취약한 LoRa 어댑터를 제공합니다.

#6 공급업체 침투 : 타사 공급업체에 침투하여 LoRa 어댑터의 생산을 손상시킵니다. 이러한 손상된 LoRA 어댑터는 숨겨진 취약점과 악성 코드를 포함하도록 교묘하게 바뀌며 이때 공격자에게 시스템에 대한 진입 지점을 제공합니다.

#7 클라우드본 및 클라우드재킹 공격 : 클라우드 인프라를 표적으로 삼는 공격입니다. 공유 클라우드 환경의 펌웨어 취약점을 악용하여 물리적 서버를 손상시킵니다. 

#8 LeftOvers : Leftovers 공격은 CVE-2023-4969에 해당하는 공격으로 GPU 메모리 데이터 취약점을 의미합니다. 해당 공격은 LLM이 작동하는 물리적 인프라 수준의 공격으로, GPU가 여러 사용자나 프로세스 간에 공유될 때, 이전 사용자가 사용했던 로컬 메모리 공간을 초기화하지 않아 발생하는 취약점 입니다. 클라우드 환경에서는 여러 사용자가 동일한 물리 GPU를 사용하는 경우가 있기에 해당 방식의 공격으로 프로덕션 서버와 워크스테이션의 민감한 데이터를 유출할 수 있습니다.

#9 WizardLM : 얼마전에 Openclaw에서도 발생했던 브랜드재킹 공격으로, 리포지토리가 어떠한 이유로 내려갔을 때, 그 관심도를 이용해 백도어나 멀웨어를 심어둔 가짜버전을 외부 저장소에 올립니다.

#10 모델 병합/형식 변환 서비스 : 여러 모델을 하나로 합치거나 모델 형식을 바꾸는 중간 처리 과정을 노려 악성코드를 심습니다. 이러한 방식은 성능 순위표 순위를 유지하면서도 멀웨어를 설치할 수 있습니다.

#11 모바일 앱 리버스 엔지니어링 : 모바일 앱을 분석하여 그 안의 모델을 변조된 모델로 바꿔치기하여 사기 사이트로 유도합니다.

#12 데이터셋 오염 : 공격자가 모델을 미세 조정할 때 백도어를 생성하기 위해 공개적으로 사용 가능한 데이터셋을 오염시킵니다. 

 

이를 완화하기 위해 다음과 같은 전략을 수행할 수 있습니다

1. 신뢰할 수 있는 공급 업체만 사용하며, 이용약관 및 개인정보 보호 정책을 포함하여 공급업체를 신중하게 검토합니다.
2. 타사 모델을 선택할 때는 포괄적인 AI 레드팀 및 평가를 수행합니다.
3. 검증 가능한 출처의 모델만 사용하고, 서명 및 파일 해시와 함께 타사 모델 무결성 검사를 사용하여 모델 출처의 부족을 보완합니다.