전체 글53 [논문 리뷰 - Pruning] Rethinking the value of network pruning (2019) 논문명 : Rethinking the value of network pruning저자 : Zhuang Liu1∗ , Mingjie Sun2∗†, Tinghui Zhou1 , Gao Huang2 , Trevor Darrell1 1University of California, Berkeley 2Tsinghua University출간지/발간일 : ICLR 2019 본 논문은 프루닝을 다루는 논문이나, 새로운 관찰 결과를 제시한다. 최신 구조화 프루닝 알고리즘에서, 프루닝된 모델을 파인튜닝한 결과는 해당 모델을 무작위로 초기화한 가중치로 훈련한 결과와 비교해도 비슷하거나 오히려 성능이 낮다는 것이다. 이 말은 다음과 같은 것들을 시사한다.1. 효율적인 최종 모델을 얻기 위해 대규모의 과잉 파라미터화된 모델을 훈.. 2025. 2. 13. [논문 리뷰] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (DeepSeek-AI 2025) 논문명: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning 저자: DeepSeek-AI출간지: SCIENCE CHINA Technological Sciences발간일: 22 Jan 2025I. IntroductionLLM의 발전을 언급하며, Post-training이 특히 모델의 성능 향상의 큰 기여를 한다고 한다. 한편, OpenAI의 o1 모델 시리즈는 추론 과정(CoT)의 길이를 늘려 추론 성능을 강화하는 기법을 최초로 도입하여 다양한 영역에서 성과를 보였으나, Test-Time Scalinig 문제는 여전히 해결되지 않는 연구 과제임을 이야기 한다.* Test-Time Scaling : 모델이 훈련 .. 2025. 2. 13. [논문 리뷰] Deepseek-V3 Technical Report (DeepSeek-AI 2024) 논문명: DeepSeek-V3 Technical Report 저자: DeepSeek-AI 출간지: SCIENCE CHINA Technological Sciences발간일: 27 Dec 2024 본 포스터는 DeepSeek-V3 리포트를 읽고 리뷰한 것이다. 아키텍처와 실험 결과 위주로 보기 쉽게 정리하는 것을 목표로 두었다. (내용이 너무 많아서) I. 모델 정보항목설명총 파라미터 수671B활성화 파라미터 수토큰 당 37B개 활성화아키텍처Multi-head Latent Attnetion(MLA) 및 DeepSeekMoE 유지(V2에서 검증 완료)새로운 전략보조 손실(auxilary loss) 없이 로드 밸런싱, 다중 토큰 예측(multi-token Prediction)학습 시간2.788M 시간 - H80.. 2025. 2. 6. Opencl을 활용한 VGG16(CNN) 가속화 프로젝트 본 포스팅은 세종대학교 컴퓨터공학과 2024년도 2학기 멀티코어프로그래밍 수업에서 진행한 프로젝트를 기반으로 작성된 것입니다. 📍프로젝트 소개- 프로젝트 목표 : Opencl을 사용하여 CNN 모델의 GPU 가속 구현 (실행시간 단축)- 사용 모델 : VGG16 (conv + pooling + FC)- Data : CIFAR-10 image 3000장- Environment : C or C++, OpenCL, Visual Studio- code : Github처음 제공받는 파일들은 아래와 같다.bin파일에는 필요한 input / weight / bias / 정확도 판단 데이터들이 들어있으며, txt 파일은 실제 정답과 내가 출력해낸 정답을 저장하는 것이다. main 파일을 실행시키면, 위의 데이터들을 .. 2025. 1. 23. [Unix Programming] 12. Locking record lockinglocking : 특정 record에 대한 다른 프로세스의 읽기/쓰기 제한read lock : 읽기는 허용, 쓰기는 제한write lock : 읽기와 쓰기 모두 제한unlocking : 제한 해제int fcntl(int fildes, int cmd, struct lock *ldata);fildes :read-lock : O_RDONLY/O_RDWR로 open된 파일에 한해서 적용 가능write-lock : O_WRONLY/O_RDWR로 open된 파일에 한해서 적용 가능cmd :F_GETLK : lock 정보 얻기F_SETLK : non-blocking locking or unlockingF_SETLKW : blocking lockingstruct flock *ldatashort.. 2025. 1. 16. [Unix Programming] 11. 세마포어 세마포어세마포어란?→ 멀티프로세싱 환경에서 공유자원의 접근을 제한하기 위한 대표적인 방법p(sem) or wait(sem)// critical sectionv(sem) or signal(sem)p(sem) or wait(sem)// 세마포어의 wait 연산은 지나가느냐 or block 둘 중 하나임if(sem > 0) decrement sem by oneelse wait : sem이 non-zero가 될 때까지 (blocking) wait이 풀림 : then decrementv(sem) or signal(sem)increment sem by oneif(queue of waiting process not empty) restart first process in wait queueOS의 세마포어와 유닉스의 .. 2025. 1. 16. 이전 1 2 3 4 5 ··· 9 다음
