안녕하세요 오늘 리뷰할 논문은 openClaw Agent on Moltbook: Risky Instruction Sharing and Norm Enforcement in an Agent-Only Social Network 입니다. 제목이 좀 많이 기네요
26년 2월에 나온 아주 따끈한 논문이고, 요즘 핫한 Openclaw와 AI 커뮤니티인 Moltbook에 대한 내용들입니다.
원문은 아래의 링크에서 확인하실 있습니다.
https://arxiv.org/abs/2602.02625
OpenClaw Agents on Moltbook: Risky Instruction Sharing and Norm Enforcement in an Agent-Only Social Network
Agentic AI systems increasingly operate in shared social environments where they exchange information, instructions, and behavioral cues. However, little empirical evidence exists on how such agents regulate one another in the absence of human participants
arxiv.org
Openclaw에 대해서는 몇번 포스팅을 작성했으니 생략하도록 하겠습니다.
Moltbook은 Openclaw와 같은 AI agent들이 이용 가능한 커뮤니티입니다.
이렇게 생긴 사이트고, 게시물이나 댓글 작성시 0.2초 정도의 짧은 시간제한을 두어 물리적으로 인간이 글 쓰는게 불가능하게 만든 홈페이지입니다.
물론 코딩을 통해 쓰는 방식이 있어서 100% AI는 아니지만 그래도 80% 정도는 AI가 쓴 글과 댓글입니다.
한국에도 비슷한 사이트가 있는데
머슴닷컴이라고 , 몰트북이랑 좀 특성이 달라서 신기하지만, 읽다보면 재밌는것들도 좀 있습니다.
오늘 리뷰할 논문은 해당 커뮤니티에서의 AI 상호작용에 대한 연구입니다.
해당 커뮤니티에 행동 유발 지시 게시물이나, 폭력적인 내용의 게시물을 썼을 때 AI 에이전트들의 반응이 어떻게되는지와 같은 내용들입니다.
주요 개념
먼저 논문에서 나오는 게실글에 대한 유형은 2가지가 있습니다.
- 일반 게시글 : 위험 요소가 없는 일상적인 정보 공유나 평범한 게시글입니다.
- 위험 지시 공유 게시글(Risky Instruction Sharing) : 사회적으로 위험한 지시사항이 담겨있는 게시글, 탈옥 코드, 유해물질 제조법, 공격 스크립트 등
AI의 Comment에 대한 유형 4가지입니다
- 지지 (Endorsement) : 게시물에 대한 긍정적 표현을 포함한, 명시적인 동의, 강화, 격려 댓글입니다
- 규범 집행 (Norm Enforcement) : 안전관련 주의를 주는 댓글로, 그건 규칙 위반이야, 그런 게시물은 위험을 초래할 수 있어 등 게시물 작성자에게 주의를 주는 댓글들입니다.
- 악플 (Toxicity) : 모욕, 괴롭힘 또는 명시적으로 적대적인 언어를 포함하는 댓글입니다.
- 기타 : 그 외 중립적이거나, 주제에 벗어나거나 정보 제공적인 댓글들
AIRS
본 논문에서는 AIRS라는 행동 유도 위험 점수(Acion Inducing Risk Score)라는 가벼운 해석 지표를 도입했습니다.
AIRS는 게시물의 텍스트 내용으로부터 직접 계산되어, 의미론적인 의도나 잠재적인 위협보다는, 게시물 자체에 담긴 지시형 언어의 존재 여부를 위주로 포착하도록 하였습니다.
거기에 추가로 Karma scores와 팔로워 수 등 에이전트의 영향력에 따라 규제가 어떻게 달라지는지 조사했습니다.
결론
총 14,490개의 에이전트로부터 39,026개의 포스팅과 5712개의 댓글을 수집한 결과입니다.
먼저 39000개의 포스팅들 중 81.6%가 AIRS 점수 0점으로 위협적이지 않은 포스팅으로 알려졌고, 18.4퍼센트만이 AIRS가 1점으로 나타났습니다. 하지만 일부의 게시물들은 강력하고 구체적인 명령조 언어들을 포스팅하고 있습니다.
일반적인 게시물들에 대한 social responses입니다.
댓글들에 대한 반응들도 80% 이상이 other형태의 댓글 형태를 보였습니다.
여기서 주의깊게 확인해야 할 부분은 toxic의 댓글반응들은 전체적으로 0%에 수렴했고, enforce형식과 endorse가 비슷합니다.
여기선 Action-incducing Post에 대한 지표도 포함되어있었는데, 일반적인 게시물들과 other과 toxic수치는 비슷하지만, 행동유발게시물에서 ai agent들이 norm enforce, 즉 행동 규제에 대한 반응을 조금 더 높게 나타내었습니다.
물론 이 실험에는 여러가지 한계점들이 존재합니다. 이를테면 text 기반의 위험 탐지이기 때문에, 조금 더 심층적인 위협을 나타낼 수 없고, ai agent들이 게시물들을 보고 반응하는 low level에서의 측정이 힘들고, 관측기간이 짧은 등 여러가지 제약이 있지만, 연구 결과에서 나타난 점은 인간의 규제와 중앙 집중적인 통제 없이도, AI는 자생적으로 규제를 만들며, 기초적인 도덕적인 행동을 나타냈습니다.
또한 일반적으로 toxic 형식의 반응이 매우 적고, 행동 유도 지시 게시물이 비교적 흔하긴 하지만 , 그에 동조되는 AI는 거의 없음을 나타냈고, 이런 동조의 반응보단 규범 집행의 반응을 이끌어낸 경우가 더 많았습니다.
굉장히 흥미롭고 신기한 결과입니다.
제가 구경했었을 때 Moltbook과 한국의 머슴닷컴과 같은 사이트의 분위기가 조금 다른것 같던데 나중에, 한국 사이트 대상으로도 연구한 논문이 있으면 더 재밌게 읽을 것 같습니다.
이상으로 간단한 논문 리뷰를 마치겠습니다.
읽어주셔서 감사합니다~