poiri3r 님의 블로그

https://owasp.org/www-chapter-seoul/assets/files/LLMAll_ko-KR-2025-04-02.pdf 무제한 소비는 LLM이 입력 쿼리 또는 프롬프트에 기반하여 출력을 생성하는 과정을 의미합니다. LLM의 추론 기능은 학습된 패턴과 지식을 적용하여 학습된 패턴과 지식을 적용하여 관련 응답이나 예측을 생성하는 핵심적인 역할을 합니다.서비스를 방해하거나, 대상의 재정 자원을 고갈시키는 공격들은 모두 공통적인 보안 취약점을 악용하여 성공합니다. 무제한 소비는 LLM 어플리케이션이 이용자의 과도하고 통제되지 않은 추론을 허용할 때 발생하며, 이는 서비스 거부, 경제적 손실, 모델 도용, 서비스 성능 저하 등의 위험을 초래할 수 있습니다. 일반적인 취약점 예시입니다.일반적 취약..

벡터 및 임베딩 취약점은 LLM 과 RAG를 활용하는 시스템에서 보안 위험을 초래할 수 있습니다.벡터와 임베딩 취약점은 LLM이 데이터를 처리하기 위해 텍스트를 숫자로 변환하는 과정이나, 변환된 데이터가 저장된 공간에서 발생하는 보안 허점을 의미합니다. 이러한 과정에서의 취약점은 악의적인 공격에 악용될 수 있으며, 이를 통해 유해한 컨텐츠를 인젝션하거나, 모델 출력을 조작하거나, 민감 정보에 접근할 위험이 있습니다. 일반적 취약점 예시는 다음과 같습니다.일반적 취약점 예시1. 무단 접근 및 데이터 유출 : 부적절하거나 미흡한 접근 제어 정책으로 민감 정보를 포함하는 임베딩에 무단 접근할 위험이 있습니다. 관리가 제대로 이루어지지 않을 경우, 모델이 개인 데이터나 독점 정보 등 민감한 컨텐츠에 접근하여 유..

https://owasp.org/www-chapter-seoul/assets/files/LLMAll_ko-KR-2025-04-02.pdf LLM에서 시스템 프롬프트 유출 취약점은 시스템 프롬프트나 지침이 모델의 행동을 유도하는 데 사용되지만, 의도치 않게 민감 정보를 포함할 수 있는 위험을 의미합니다. 모델의 출력에 포함된 비밀정보는 다른 공격을 수행하는 데 이용될 수 있습니다. 중요한 점은, 시스템 프롬프트는 비밀로 취급되어서는 안되며, 보안 제어로 사용되어서도 안됩니다. 자격 증명, 연결 문자열 등 민감 데이터는 시스템 프롬프트 언어에 포함되지 않아야 합니다.시스템 프롬프트에 민감 정보가 포함되어 있다면, 이러한 정보 노출에 대한 근본적인 보안 위험은 이 정보 노출이 아닌, 애플리케이션이 강력한 세션..

https://owasp.org/www-chapter-seoul/assets/files/LLMAll_ko-KR-2025-04-02.pdf LLM 기반 시스템은 종종 개발자로부터 일정 수준의 자율성을 부여받습니다. 확장 기능을 통해 함수 호출이나 다른 시스템과의 인터페이스를 수행하여 프롬프트에 대한 응답으로 특정 작업을 수행하는데, 확장 호출 권한 또한 LLM Agent에게 위임될 수 있으며, 이는 입력되 프롬프트나 LLM 출력에 의해 동적으로 결정됩니다. 이러한 권한 부여는 사용자에게 편리함과 자동화에 도움이 될 수 있지만 과도한 위임은 LLM이 오작동하는 원인과 상관없이, 예상치 못한 입력, 애매한 프롬프트, 또는 조작된 출력에 의해 손상될 수 있는 작업을 수행하도록 만드는 취약점입니다.이러한 위임은..

https://owasp.org/www-chapter-seoul/assets/files/LLMAll_ko-KR-2025-04-02.pdf 부적절한 출력 처리는 대규모 언어 모델이 생성한 출력을 다른 구성 요소와 시스템에 전달하기 전에 충분한 검증, 정제 및 처리가 이루어지지 않는 것을 특별히 지칭합니다. 이러한 취약점은 웹 브라우저에서 XSS와 CSRF를 발생할 수 있으며, 백엔드 시스템에서 SSRF, 권한 상승 또는 RCE를 초래할 수 있습니다.다음과 같은 조건들은 이러한 취약점에 영향을 줄 수 있습니다.애플리케이션이 최종 이용자에게 의도된 것 이상의 권한을 LLM에게 부여하여 권한 상승이나 원격 코드 실행이 가능해집니다.애프리케이션이 간접 프롬프트 인젝션 공격에 취약하여 공격자가 대상 이용자의 환경에..

https://owasp.org/www-chapter-seoul/assets/files/LLMAll_ko-KR-2025-04-02.pdf 데이터 오염은 사전 학습, 미세 조정 또는 임베딩 데이터가 조작되어 취약점, 백도어 또는 편향성이 발생하는 경우를 말합니다.데이터 오염은 LLM 수명 주기의 여러 단계를 대상으로 하는데, 사전 학습(일반 데이터로의 학습), 미세 조정(특정 작업에 모델 적용), 임베딩(텍스트를 수치 벡터로 변환)등이 포함됩니다. 데이터 오염은 무결성 공격으로 감증되며, 검증되지 않거나 악의적인 콘텐츠를 포함하는 외부 데이터 소스를 사용할 때 위험이 큽니다. 공유 저장소나 오픈소스 플랫폼을 통해 배포되는 모델은 악성 피클링과 같은 기술을 통해 인젝션 된 멀웨어 등 데이터 오염을 넘어선 위..

https://owasp.org/www-chapter-seoul/assets/files/LLMAll_ko-KR-2025-04-02.pdf12p~ 내용을 다룹니다. LLM 공급망은 학습 데이터, 모델, 배포 플랫폼의 무결성에 영향을 미칠 수 있는 모든 요소와 흐름을 의미합니다. 이러한 공급망은 LLM시스템을 구성하는 전체 시스템을 의미하며, 사전 학습된 타사 모델이나 학습 데이터 자체까지 포함하고 있습니다.이러한 공급망은 다양한 취약점을 포함하며, 편향 출력, 보안 침해 등을 초래할 수 있습니다. 또한 공급망에 포함되는 외부 요소는 변조 또는 오염 공격을 통해 조작될 수 있습니다.사실 잘 와닿는 내용은 아니라 일반적 취약점 예시를 보겠습니다. 일반적 취약점 예시기존 타사 패키지 취약점 : 알려진 취약점 발..

https://owasp.org/www-chapter-seoul/assets/files/LLMAll_ko-KR-2025-04-02.pdf8p~11p 의 내용을 다룹니다 LLM02 : 민감 정보유출애플리케이션에 포함된 LLM의 경우 출력을 통해 민감한 데이터, 독점 알고리즘 또는 기밀 정보가 유출될 위험이 있습니다.이러한 위험을 줄이기 위해서는 LLM 애플리케이션은 적절한 데이터 정제를 수행하여 이용자 데이터가 학습 모델에 포함되지 않도록 해야 합니다. 또한 애플리케이션 소유자는 명확한 이용약관 정책을 제공하여 이용자에게 자신의 데이터를 학습 모델에 포함되지 않도록 선택권을 줘야하고, 시스템 프롬프트에 LLM이 반환할 데이터 유형에 대한 제한을 추가할 수 있습니다. 취약점 예시개인정보 유출 : LLM과 상..

오늘은 곧 있을 AI 관련 프로젝트를 위해 LLM 어플리케이션을 위한 OWASP Top 10 2025 번역본을 읽고 요약해보도록 하겠습니다. 해당 pdf는 https://owasp.org/www-chapter-seoul/assets/files/LLMAll_ko-KR-2025-04-02.pdf 에서 확인할 수 있습니다. 첫번째부터 살펴보겠습니다. LLM:01 프롬프트 인젝션프롬프트 인젝션은 범위가 좀 넓은데, 프롬프트를 이용해 AI의 원래의 지침을 무시하거나 우회하여 공격자가 원하는 동작을 수행하도록 유도하는 것입니다. 탈옥과 LLM보안에서는 비슷한 개념으로 프롬프트 인젝션을 통해 모델의 안전 프로토콜을 무시하도록 하는 것을 포함하고 있습니다. 직접 프롬프트 인젝션과 간접 프롬프트 인젝션으로 나누어져있는데..

어제 만들었던 OpenClaw에 여러가지 skill을 연결해보겠습니다. 먼저 해볼건 브라우저에 대한 권한을 주어야합니다.크롬의 확장 프로그램에 들어가서이걸 켜줘야 하는데openclaw config set skills.entries.browser.enabled true위 명령어로 권한을 한번 켜주고,이 버튼을 눌러준 뒤위의 경로의 chrome-extension을 설치해줍니다.크롬 확장프로그램 웹스토어에 검색해도 뭐가 나오긴 하는데, 제작사에서 유포한것도 아닌것같고 신뢰도가 떨어지기때문에 꼭 공식루트에 있는 프로그램을 사용하시기 바랍니다. 그 다음 프로그램 설정에서 사이트 설정에 들어가줍니다 위의 Relay Port에 포트번호를 입력하고 SAVE를 눌러줍니다. 그 다음 오른쪽 툴바에서 Openclaw B..