cd ~

soon-haari

Unravelling Hacksium 2026

이 글은 제가 소속된 조직, 특히 young (coo) 타 멤버의 의견을 대변하지 않습니다.

8월 둘째 주 주말에는 DEFCON CTF 본선이 진행되었고, 동시에 한국에서 Hacksium이라는 대회가 진행되었습니다. 저는 DEFCON CTF에 참여하지 않았기 때문에 young (coo)와 함께 Hacksium에 참여하였습니다. 20팀이 본선에 진출할 예정이었고, 대회 종료 부근에는 (한 문제 이상 풀이한) 팀이 80개가량 있었습니다. 총 상금은 1000만원으로 예정되어 있었습니다.

사건

대회 규정에는 AI 사용을 기본적인 검색 용도까지만 허용한다고 명시되어 있었습니다.

플래그 키핑(플래그를 획득 즉시 제출하지 않고 아껴두는 것) 또한 금지되어 있었고, 이 규정은 풀이 시각의 신뢰성을 확보하기 위한 것이라고 적혀 있습니다.

저희 young (coo)는 규칙에 따라 모든 챌린지를 직접 푸는 것을 시도했습니다. 최선을 다했다고 생각했음에도 불구하고, 순위표에서는 상당수의 팀이 저희 팀과 근접하지도 않은 굉장한 속도로 문제를 해결하는 걸 볼 수 있었습니다.

몇 시간 정도 더 하고 나서는 저희도 더 이상 의욕이 사라졌습니다. 문제들이 솔직히 정말 좋은 문제들이라고 하기 어려웠던 것도 영향이 있겠지만, 이 글과 크게는 무관하므로 다시 언급하지는 않겠습니다.

저희가 본선에 진출하기는 현실적으로 불가능하다고 판단해, 저는 문제 풀이를 중단하고 타 팀들의 빠른 문제 풀이 속도에 의문을 가졌습니다. 공개된 엔드포인트 /teams/8xx/ 에서 모든 팀의 풀이 로그를 볼 수 있는 것을 확인한 후 수집하였습니다. 로그는 팀, 멤버, 풀이 시각 정보를 포함합니다.

제가 볼 수 있는 정보는 사실상 풀이 시각뿐이었고, 운영자분들은 당연히 더 상세하고 실질적인 로그들을 보실 수 있을 것으로 생각합니다. 가능한 선에서 분석을 진행해보고자 하였습니다.

운영진 분들과의 대화

대회 종료 후, 저희는 수집한 로그와 분석 결과를 디스코드 티켓을 통해 전달드렸습니다.

운영진분들께서는 운영 측에서 수집된 로그와 함께 검토를 진행하신다고 전달주셨습니다. 이 사안을 진지하게 받아들여주셔서 진심으로 감사드립니다.

분석

모든 참가자의 이름을 salt가 포함된 SHA256 해시로 교체한 로그입니다. 이 풀이 시각은 모든 참가자들에게 공개된 정보였음을 다시 한 번 강조합니다. 이 모듈에서 돌아가는 스크립트와 로그는 여기서 확인하실 수 있습니다.

이 필터링 테스트는 각 인원별로 연속한 두 풀이 로그 사이의 시간이 문제를 푸는 데 든 최대 시간이라는 가정 하에 작성되었습니다. 플래그 키핑이 금지되어 있기 때문에 이 가정을 세울 수 있었습니다. 이 테스트에서 걸린다고 해서 그 멤버나 팀이 부정행위를 했다는 것을 절대 보장하지 않습니다. 그저 해당 멤버나 팀에 대한 재검증을 해볼 가치가 있을 수도 있다는 의견을 낼 뿐입니다.

각 멤버에 대해 다음 기준 중 하나 이상을 충족하면 의심으로 판정하는 알고리즘을 사용하였습니다:

  • 기준 A: 3개의 연속한 풀이 로그가 A분 이내에 존재
    • 이는 연속 2문제를 A분 이내에 해결했음을 의미합니다.
  • 기준 B: 2개의 연속한 풀이 로그가 B분 이내에 존재
    • 이는 1문제를 B분 이내에 해결했음을 의미합니다.
  • 기준 C: C분 이내의 2개의 연속 풀이 로그가 2회 이상 존재
    • 이는 C분 이내에 문제 해결이 2회 있었음을 의미합니다.

모든 인스턴스가 동작하지 않다가 갑자기 해결되는 상황과 같은 예외적인 시간대는 공정성을 위해 화이트리스트로 제외하였습니다.

고찰

사실 제가 이 글을 작성한 이유가 되는 섹션입니다.

먼저, 공격적으로 보일 수 있는 글이 되어 죄송합니다. 그러나 하고 싶은 말은 해야겠다고 생각했습니다.

2026년에 CTF에서의 AI는 명확한 방안이 없이 큰 문제가 되어왔음을 누구보다 잘 알고 있습니다. 모두가 상금을 위해 최선을 다한다는 가정 하에, AI 없이는 AI를 적극적으로 사용하는 팀을 이길 수가 없다는 것은 너무 당연한 것이 되어버렸습니다.

저조차도 최근에 헥테온 본선, SCAN CTF 예선을 참여하였고, 사실상 머리를 거의 사용하지 않고 전부 AI에 의존하였었습니다. 자랑스럽다고 할 수는 없지만 저도 인간인지라 상금 욕심이 있습니다.

최근의 CTF들은 모두 이러한 방향으로 진행되고 있었으며, Hacksium과 동시에 진행된 DEFCON 본선도 크게 다를 바가 없었습니다, 이제는 불가피한 것 같습니다.

CTF에서의 AI 금지

몇몇 CTF에서는 CTF의 즐거움을 유지하기 위해 여러 시도를 해왔습니다. CTF에서 AI를 사용하는 것은 그 누구도 즐겁지 않고, 특히 운영진들에게는 상당한 허탈감을 줍니다.

한 가지 아이디어는, 자발적으로 AI를 사용하지 않는 팀들을 위한 별개의 순위표를 만드는 것이었습니다. 이 순위표에서 우승한다고 하여 상금이 주어지지는 않으며, 상금이 1순위의 목표라면 AI를 사용하지 않는 것은 당연히 바보같은 생각입니다. 이 시도가 의미있는 움직임이었다는 의견과 아무것도 변하지 않았다는 두 가지 의견이 공존하고, 두 의견을 모두 이해합니다.

  • 그러나, 이게 문제가 되지 않는 이유는, 자발성에 의존한 것이고 사실상 아무 제약 조건도 없는 것과 동일하기 때문입니다.

올해 8월 말에는 DiceCTF 본선이 열릴 예정이고, 해킹 문제에 한해서는 AI가 금지되어 있습니다. 예로부터 DiceCTF, LakeCTF 등의 본선에서는 상금이 없었던 걸로 알고 있습니다. 경쟁보다는 모든 팀이 즐거운 시간을 보내기 위한 취지를 가지고 있기 때문인 것 같습니다.

  • 그러나 이 경우 Hacksium급으로 문제가 생기지 않는 이유는, 순전히 상금이 거의 없기 때문입니다.

저는 올해 FCSC에 참여했고, Google의 기본 내장 Gemini와 같은 단순 검색 이외에는 AI가 금지되었었습니다.

  • 타 CTF와 달리 이는 상당히 긴 기간(일주일 정도) 동안 진행되었으며, 운영진분들께서는 의심스러운 정황이 보이면 참여자들에게 연락을 통해 풀이에 관해서 물어보는 등, 상당히 적극적인 대처를 취했습니다. (상금은 없고, 프랑스인을 대상으로 ECSC 멤버를 선별하기 위한 과정이 되는 CTF입니다.)

별개로 저는 2025년 FCSC에 상당히 좋은 기억이 있어 young (coo) 멤버들과 내부적으로 작은 상금과 함께 개인전을 하였습니다. 오랜만에 AI 없이 좋은 퀄리티의 문제들을 풀 수 있어 모두에게 즐거운 시간이었습니다. 믿거나 말거나지만 AI 없이 제가 승리했습니다.


그러나 총 상금 1000만원인 대회에서 AI를 전면 금지하는 순간, 문제는 시작됩니다.

악법도 법이다

저는 Hacksium에서 AI를 사용한 팀들에게 깊이 공감합니다. 저희는 재앙급 점수를 냈고, 상당수의 문제들은 비상식적인 게싱을 요구하는 듯 하였습니다. 사람이 AI보다 잘 푸는 문제가 있다는 것은 아니지만, 이러한 게싱적인 부분은 AI와 비교도 할 수 없을 정도로 격차가 큽니다.

그렇다고 해서 룰을 어기는 것이 정당화되는 것은 절대 아니라고 생각합니다. 만약 규칙이 과도하거나 어처구니없다고 느껴지면 대회에 참여하지 않는 것이 정상적인 생각의 흐름이지, 참여하기로 마음먹었다면 규칙을 지키는 것이 당연합니다.

이 글을 쓰는 목적은 절대 다음이 아닙니다:

  • 필터 모듈에서 수상쩍은 모든 팀들에게 창피를 주기
    • 지인들도 몇 있는 것을 보고 기분이 좋지만은 않기는 했습니다.
  • 운영자들에게 최대한 많은 팀을 실격시키도록 설득하여 young (coo)가 본선에 진출하기

이 글을 쓰는 목적은 이러한 일은 절대 다시 일어나지 않아야 된다고 생각하기 때문이고, 같은 CTF 플레이어로서 여러분을 무척 이해함에도 불구하고 다시 생각해보기를 권하고 싶습니다.

당연히 스포츠든 게임이든 시험이든, 모든 경쟁구도에서 반칙을 쓰는 사람은 존재할 것입니다. 그러나 과반수가 규칙 위반을 하는 이와 같은 상황은 정상 범주가 아닌 상식을 벗어난 자연재해급의 일입니다.


당연히 풀이 시각의 작은 차이는 다음과 같은 변명을 할 수 있고, 그걸 반증할 방법은 없습니다.

  • 솔버를 돌려 두고 나중에 플래그를 한 번에 확인했습니다.
  • 여러 문제에 대해 갑자기 번뜩이는 아이디어가 떠올랐습니다.
  • 동료들이 99% 완료된 솔버를 건내주었고, 제가 막타를 쳤습니다.
  • 저는 그 정도로 잘합니다.

하지만 이런 설명이 모든 사례에 반복해서 적용되기는 어렵다고 생각합니다. 스스로를 속일 필요는 없습니다. 유일하게 통하는 변명은 규칙을 못 봤다는 변명뿐이고, 그것도 당연히 대회 차원에서는 중대한 잘못입니다.

다시 말씀드리지만, 여러분이 나쁜 사람이라는 말을 하고 싶은 게 아닙니다. 부디 올바른 행동이 무엇인지 다시 생각해보기를 바랄 뿐입니다.


코드게이트 본선이나 BHMEA 본선같이 큰 상금이 걸려 있는데 인원 제한이 있는 대회의 경우는 어떨까요?

이 경우처럼 과반수의 팀이 점수를 위해 인원 제한 규칙을 위반했을까요? 당연히 한두 팀은 했을 것이라고 생각합니다, 치터는 어디든 있으니까요. 하지만 최소한 전원이 규칙을 위반하여 인원 수 대결이 된다거나 그런 사태는 없었습니다. 혹은 저희 팀 빼고 모든 팀이 치팅을 하고 제가 너무 낙관적으로 생각하는 것일 수도 있습니다.

말하고자 하는 건, Hacksium에서의 AI 사용은 BHMEA에서 상금 1억2000을 위해 100명이 한 팀으로 문제를 푸는 것과 다를 바가 없다는 겁니다.

우리가 던져야 하는 질문

우리는 참여자와 운영자 모두의 시선에서 몇 가지 질문을 던지고 생각해보아야 합니다.



왜 이번 대회에서만 모두가 규칙을 무시했을까요?

웃긴 점은, 마음만 먹으면 코드게이트 본선에서 인원 제한 규칙을 어기는 게 더 증거도 안 남고 쉬울 거라고 생각합니다.

최근 우리나라의 CTF 플레이어의 경향을 보면, 너무나도 AI 사용에 적응했고 당연시되는 게 타국에 비해서 좀 큰 것 같습니다. RubiyaLab과 TeamH4C가 그 경향에 조금 기여를 했을지도 모르겠네요. 절대 그 경향이 나쁘다고 말하는 것이 아닙니다. 오히려 뉴비들에게 외국 본선과 같은 좋은 경험을 하게 해 주는 취지가 있었다면 좋은 판단이었을 것입니다. 단지 이 사태에 살짝 영향을 주었을지도 모른다는 겁니다.

그리고 Hacksium에서는 직접 푸는 즐거움이 덜한 문제가 출제된 것도 한몫했을지도 모르겠습니다만, 사실 큰 차이는 없었을 것 같습니다.

다른 모든 팀이 규칙을 무시할 거 같아서 나도 규칙을 무시할 수밖에 없었다고 생각하실 수도 있겠습니다. 저는 동의하지는 않습니다.

스스로 한 번 왜 그러셨는지 되짚어봐주시면 감사하겠습니다.



CTF에서 AI를 밴하는 게 이제 가능이나 한가요? Hacksium이 너무 낙관적이었을까요?

힘들어 보입니다. 살짝 그랬을 수도 있다고 생각합니다.



이제 AI 제한 없이 재미있는 CTF를 만들 수는 없을까요?

아무도 모릅니다만, 혹시 재밌는 아이디어가 있으시면 여기서 공짜 돈 좀 받아가시길 부탁드립니다.

근데 정말정말 힘들 것 같기는 하네요.