Epoch, Step, Batch size, Weight(가중치), Bias(편향) 개념 정리

Weight(가중치), Bias(편향) 개념 정리

- Weight(가중치)

: 입력층에서 다음node로 넘어갈 때, 각기 다른 값을 곱해야 한다는 게 Weight(가중치)를 준다고 말한다.

데이터를 다른 비중으로 다음 은닉층(hidden layers)로 전달하기 위한 중요도(=가중치)를 다르게한다고 이해하면 편하다.

 

가중치는 각 요소에 부여되는 값(입력값 X)으로 가장 최적의 W(가중치)를 찾아내는 과정이다.

수능점수를 예측하는 딥러닝 모델을 만들 때,

4~6월 점수보다 11월 수능에 가까운 8~10월 점수의 중요성이 더 높다.

8~10월에 더 비중을 두는 것을 가중치(Weight)를 준다고 말한다.

 

 

 

- Bias(편향)

: 하나의 뉴런으로 입력된 모든 값을 모두 더한 다음(가중합한 다음), 가중합에 값을 더해주는 상수.

Bias는 하나의 뉴런에서 활성화 함수를 거쳐 최종 출력값을 조절하는 역할이다.

같은 속성값 무게, 신선도, 가격을 가지고 있더라도 Bais(성향)가 다르다면 출력이 다르게 나올 수 있다.

 

신경망 구조의 마지막 출력은 Weight(가중치)와 Bais(성향에 따라 결정된다고 할 수 있다.

 

Epoch, Step, Batch size 개념 정리

 ○ Epoch

  - 전체 sample 데이터를 한 바퀴 돌며 학습하는 것을 1 epoch라고 한다.

  - 1 epoch = 샘플 데이터 한바퀴 학습

 

 ○ Step

  - 1개의 배치로부터 loss를 계산한 후 Weight와 Bias를 1회 업데이트하는 것을 1 Step이라고 한다.

  - 1 STEP = 1Batch에서 loss 계산 후, Weight(가중치)와 Bias(편향) 업데이트

 

 ○ Batch Size

  - 1 Step에서 사용한 데이터 개수

 

epoch, step, num of sample data, batch size간 관계

- N = num of ample data : 전체 학습 데이터(training data)의 개수

 

- E = epochs = Epoch의 수

 

- B = batch size(배치사이즈)

 

- S = steps(STEP의 수)

 

관계 : S x B = N x E

 

EX) 푸쉬업 운동을 얼마나 할 것인가?

      N(Num of data) = 1회당 푸쉬업 목표 개수(50개)

      E(Epochs) =  반복 회수 : 1회

      B(Batch size)  =  1세트당 25개

      S(Steps)  =  2세트로 나눠서 수행(몇 세트로 나눠할 건가?)