TalkingData AdTracking Fraud Detection Challenge - Part3

---

개인적으로 Discussion에 올라오는 브리핑 내용을 수집했으나

Part2에 소개한 CPMP가 상위권 유저들의 브리핑을 엮어서 글을 올렸다.

Link Url

전체 내용에 대한 이해는 관련 지식 부족으로 설명은 못하지만,
응용할 수 있는 포인트만 남겨본다.

1위 : Link

• negative down-sampling
• five raw categorical features (ip, os, app, channel, device)
• time categorical features (day, hour)
• click count within next one/six hours
• average attributed ratio of past clicks
• bagging : reply 살펴보면 사용한 코드 예시 있다.

2위 : Link

• two methods, LightGBM and NN

3위 : Link

• Kaggle Rank 1위인 bestfitting (유저들이 bot으로 오인한다는…)
• NN Model
• n-fold models

4위 : Link1, Link2, Link3

• Link2의 IP Leak Problem & Solution
  많은 유저들이 호평한 Idea, Score 0.0005 향상을 보장하는 기법
  데이터베이스 설계에 대한 이해력으로 추론되는 결과
  개인적으로 능력 부족으로 활용에는 실패

• Link3은 Code Link

5위 : Link1, Link2

• 파생 변수 700개 이상 생성
• click_time delta 간격을 2까지 이용
• Pseudo Labeling

6위 : Link

• test data 시간대를 valid로 활용

8위 : Link

• Statistics (mean/var)
• 74 features

9위 : Link

• Device 3032 : delete
• first click gets 16:00:00.00, second gets 16:00:00.01, next 16:00:00.02

11위 : Link1, Link2

• 구글 빅쿼리 활용
  개인적으로 매우 매력적인 접근 방식
  모든 파생 변수 생성까지 20분 이내로 끝난다는 이점이 있다.

13위 : Link

• Use test supplement: it is crucial Next, Prev Click 변수의 흐름을 유지해준다. 하지만 개인적으로 시도는 여러 차례 실패했다.
• CV : 실질적인 활용이 궁금해지는…
• Careful with next click feature: a click at 14.30 in the test set
• R 사용 유저 중 최고 등수로 추정

14위 : Link

• 중국어라서 어렵지만, CV와 NN 기법이 주요 포인트로 확인

That’s for the gold teams. More sharing from other teams below.

18위 : Link

• Use test supplement

22위 : Link

• click rate (duration/count)
• app entropy
• LeaderBoard Plot

28위 : Link

34위 : Link

• Pseudo Labeling
• test supplement
• R 유저

더 많은 브리핑들이 있지만, 소개는 여기까지만 적겠다.

---

위 브링핑 중 중요 내용으로 생각되는 포인트

• negative down-sampling 1위 팀이 사용한 샘플링 방법
  is_atrributed값 0,1을 1:1 비율로 추출

• test supplement 데이터 활용
  matching 파일이 있지만, 내공 부족으로 auc 향상에는 실패

• Psuedo Lableling
  성공하면 auc 향상에 크게 기여하는 것으로 추측

• CV & Ensemble
  모든 상위 유저들이 시도하는데, 실질적 활용에 대한 아직 아이디어 없어서 아쉽다.

---

현재 응용 상황 및 마무리

여러 차례 test supplement 활용했지만, 좋은 결과를 보지 못했고, 다른 방법들로 개선 작업 중이다.

Model	Size	Valid AUC	LB Score
LGBM with NextClick	1천만	0.97	0.9715
LGBM with Next_Prev_Click	1천만	0.97	0.9709
LGBM with NP2_Last_Click	1천만	0.97	0.9720

Next, Prev 간격을 2까지 늘리고, LastClick를 추가하여 약간의 향상이 보여서 Size를 올려서 테스트 중이다.

---

Part1에서 소개된 이미지 및 동영상을 통해서

어뷰징 및 Fraud 유저의 조건을 특성 지을 수 있는 조건을 알 수 있다.

이는 굳이 광고계의 fraud click 뿐 아니라

게임업계에서는 abusing user 탐색 ,

댓글 사이트에서는 작업 계정 탐색 등으로 활용할 수 있는

feature로 비슷하게 모델링한다면 목적에 맞는 유저 탐색이 가능할 것이다.