보미의 Tech Blog

프로젝트 회고 hour를 feature로 추가했을 때 오히려 베이스라인보다 점수가 낮았다. hour와 weekday를 같이 넣었을 때에는 hour만 넣었을 때와 거의 차이가 없었다. average_correct, average_tag_correct를 추가해봤는데 둘 다 validation에는 베이스라인보다 점수가 약간 높았지만 리더보드에 제출했을 때에는 베이스라인보다 점수가 낮게 나왔다. elapsed time이 성능에 얼마나 영향을 미치는지 알아보기 위해서 feature importance를 확인해보려고 했는데 알고보니까 트리 기반 모델에서만 사용되는 개념이었다. sequence 데이터에도 적용이 가능한지는 더 알아봐야겠다.

프로젝트 회고 오늘은 추가적인 Feature Engineering을 진행했다. 새로 추가한 feature들은 다음과 같다. 시간, 요일 total_used_time 이전에 푼 문제 수, 맞춘 문제 수, 평균 정답률 사용자별: past_count, past_correct, average_correct 사용자+태그별: past_tag_count, past_tag_correct, average_tag_correct 사용자+문제별: past_content_count, past_content_correct, average_content_correct 피어세션에서 elapsed time에 대한 이야기가 나왔었는데 마지막 문제는 elapsed time을 알 수 없어서 일단 사용할만한 가치가 있을지 판단한 다음에 만약..

프로젝트 회고 오늘은 어제에 이어 RIIID 대회를 더 자세하게 조사했다. 1등 솔루션이랑 3등 솔루션 모두 feature로 current question elapsed time이랑 timestamp difference를 사용했는데 두 개의 차이가 무엇인지 아직 명쾌한 답을 찾지 못했다. 그리고 feature중에 task_container_id가 정확히 무엇을 의미하는지도 완벽히 이해하지 못했다. 이 두 가지에 대해서는 더 조사해봐야겠다.

프로젝트 회고 오늘은 캐글에서 RIIID 대회 1등, 3등 솔루션을 찾아봤다. 1등 솔루션: https://www.kaggle.com/c/riiid-test-answer-prediction/discussion/218318 1등 솔루션의 핵심 내용은 마지막 input만 query로 사용해서 시간복집도를 O(L2)에서 O(L)로 줄인 것이다. 사용한 feature들은 question id, question part, answer correctness, current question elapsed time, timestamp difference로 5가지밖에 안 되었다. 3등 솔루션: https://www.kaggle.com/c/riiid-test-answer-prediction/discussion/209585..

강의 복습 Sequence Data 문제 정의에 맞는 Transformer Architecture 설계 How to embed features for Transformers Using Half-Sequence How to use Transformers for non-sequence Conv1D Architecture 프로젝트 회고 오늘 피어세션에서 어떤 Feature를 추가하는 것이 좋을지 이야기해봤다. 문항별 난이도 이야기도 나왔고 문제가 시험지에서 몇 번째 문항인지도 나왔다. 내 생각에는 timestamp에서 문제 푸는데 걸린 시간도 의미가 있을 것 같다.

강의 복습 Sequence Modeling Tabular Approach Feature Engineering Train/Test Split Model: LGBM Sequential Approach Input Transformation Model: LSTM, LSTM+Atttention, BERT FE and Model Make ground baseline with no fe Make a small FE and see if you can understand data you have Find good CV strategy Feature selection Make deeper FE Tune Model (crude tuning) Try other Models (never forget about NN) Try B..

강의 복습 1. DKT 이해 및 DKT Trend 소개 1) DKT Task 이해 DKT(Deep Knowledge Tracing): 딥러닝을 이용해서 하는 지식 상태 추적 원리: 문제 풀이 정보를 통해 지식 상태 예측 → 지식 상태를 기반으로 다음 문제를 맞출지 예측 데이터가 많아질수록 지식 상태 예측 더욱 정밀해짐 데이터가 적을수록 오버피팅 현상이 쉽게 일어남 DKT 대회에서는 지식상태보다는 주어진 문제를 맞췄는지 틀렸는지에 집중 2) Metric 이해 Confusion Matrix AUC (Area Under the ROC Curve): 넓을수록 모형 성능 높아짐 범위: 0~1 이상적인 이유: 척도 불편, 분류 임계값 불변 3) DKT History 및 Trend Sequence Data를 다루기 ..

우리 팀 최종 점수와 순위는 다음과 같다. Public: LB점수 0.5167, 106등 / Private: LB 점수 0.3808, 106등 public이랑 private이랑 순위는 동일했지만 점수는 많이 떨어졌다. 모델이 overfitting된 것 같다.

프로젝트 Swin-T를 적용해봤는데 점수가 0.1대로 매우 낮게 나왔다. 그런데 토론게시판에 swin 적용하는 방법 설명하는 글 중에 pretrained weight을 불러오는 부분이 있어서 시도해봤더니 성능이 매우 잘 나왔다. 20epoch까지만 학습시키고 중단했는데 제출해보니까 0.5010으로 역대 최고 점수가 나왔다. 시간이 더 있었으면 이것저것 시도해보고 싶었는데 시간이 촉박해서 거의 모델만 바꿔서 실험해본 것이 아쉽다.

프로젝트 SOTA 모델 중 가장 성능이 좋은 Swin을 적용해보고 싶었지만 방법을 몰라서 못 하고 있었는데 마침 오늘 오피스아워에서 멘토님이 알려주셔서 시도해볼 예정이다. 제발 성능이 많이 올랐으면 좋겠다.