노력하는 공대생의 공부일지

학교 기초 컴파일러 수업에서 F#언어를 다루고 과제가 나왔다.module P2// (Note) Do NOT change the definition of the following type and exception.type Exp =    Num of int  | Add of Exp * Exp  | Sub of Exp * Exp  | Mul of Exp * Exp  | Div of Exp * Expexception DivByZero/// Return the integer value represented by the expression 'e'. If there is any/// division-by-zero case, raise the 'DivByZero' exception.let rec eval (e: Ex..

딥러닝 개론 수업 과제를 하면서 꽤나 까다롭게 느껴져서 정리하고자 올린다.일단 gpt를 보고 어느정도 도움을 받기는 했는데 gpt는 softmax function과 sigmoid 함수 관계를 자꾸 설명하지 못해서 내가 손으로 직접 풀었다. 1. Softmax Function  2. Cross Entrophy Loss  Softmax Fuction의 미분은 같이 나오게 되는데, 이는 각각에 대해 편미분을 생각해보면 조금 편하다. 우선 j와 k가 다를 때는 분수함수의 미분을 사용해야 하는데, k에 대해서 생각을 해보면 1/f 꼴의 미분이라는 것을 알 수 있는데,e^x 의 미분은 자기 자신이여서,  f'/f = softmax(sk)가 나온다 j = k 일때는 더 쉽다. 시그모이드 함수를 g라고 하자. g(x)..