본문으로 바로가기

AI 시대에서의 메모리 역할과 의의

category 세미나 2018.07.24 11:01
하이닉스 박일 상무 강연.

회사와 학교에서의 연구 접근에 차이가 있는데
회사는 "양산성"이 가장 중요

요소기술리스트

*공통분모
1. PIM API 정의
-CMD set, CMD format 정의
-기존 DDR interface의 변경을 최소화하면서 handshaking 가능한 API 정의
-Handshaking에 대한 성능과 BW overhead 최소화 노력 필요
-PIM 동작 중 Memory 사용 방법론 정의

*Host side
2. AI 알고리즘 중 offloading 가능한 연산 분류하기
3. Data placement, controlled by VA -> PA mapping
4. Host-PIM API에 따른 DRAM controller 변경

*Memory side
5. Die-level 수행 혹은 DIMM-level 수행
6. MAC implementation with DRAM
7. # of MACs, MAC locations, DRAM 사이의 data path 정의
8. PIM CMD 수행할 최소한의 control ... 정의
9. 기존 DRAM 디자인의 변경


* 용량과 BW 한계는 다음과 같이 극복 가능
on die SRAM 용량 한계
-> DRAM 사용하면 수십MB에서 수GB까지 용량 증가할 수 있음
off chip DRAM BW 제한
-> DRAM die 내부 연산 이동, 내부 BW는 외부BW의 수에서 수십배

AI시스템 시장은 서버와 컨슈머로 구분 가능
인공지능 시대 메모리는 다음과 같은 방향으로 진화할 예정
DDR -GDDR - HBM - AI용 DRAM - ULP(Ultra Low Power)

PIM은 다음과 같은 방향을 발전할 수 있음
특히 HBM의 경우 DRAM die와 Logic die를 합쳐야 하는데
책임소재가 불분명하다는 현실적인 문제 존재
PIM on DIMM PCB - HBM(PNM) - PIM in DRAM - Extreme PIM
오른쪽으로 갈수록 높은 파워효율이 있지만 구현 난이도가 어렵다

GPU : 유연성(programmable)이 좋아 초기시장진입 유리
AI가속기: GPU보다 유연성 떨어지지만 전력효율이 유리
뉴로모픽: Customize가능




* CPU(GPU)에서 Function Unit의 전력소모는 5%, Control Unit이 95%의 전력소모
Function Unit = 3-1, Control Unit = 3-2

* 딥러닝에선 2,3,4의 반복이 대부분 연산을 차지함
1- 2,3,4 - 2,3,4 - ... - 5로 연산이 이루어짐

AI 파워 개선을 위해 다음과 같은 시도를 해볼 수 있음
- 알고리즘 개선 (Quantization, Pruning) = 2,3,4 개선
- AI 가속기 = 3-2개선
- PIM = 2,4,3-2rotjs
- 뉴로모픽(휘발성메모리) = 2,3,4 개선
- 뉴로모픽(비휘발성메모리) = 2,3,4, 1,5,6 개선



댓글을 달아 주세요

티스토리 툴바