우선은 메모 형식으로 적어두고 나중에 정리할 것 같다. 일단 LLaMA2라고 하는게 맞다고 느껴질 정도로 기존 LLaMA에 비해서 PLM의 모델링 측면에서는 그렇게 많이 달라진 건 없는 것 같다. 반면에 말은 많지만 아직 체계가 덜 잡힌 RLHF에 대한 meta의 실험에 대한 내용, LLM 모델 학습을 위해 어떤 데이터가 필요하고 어떻게 데이터를 구성하는게 효율적인지에 대한 내용들은 참고할 점이 많은 것 같다. 체크 리스트 1. Grouped-query attention GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints(2023) -> Multi-head attention -> Multi-query at..
