1. 문제 정의'취업'에 고민이 있는 취준생을 위해, 자신의 스펙(학점, 토익, 어학능력 등)을 입력하면,각 기업에 맞는 스펙점수를 예측하고, 합/불 결과와 보완할 점, 합격자 자소서에서 기업의 인재상을 나타내는 문장 추출해줌 2. 데이터 선정 및 수집공공데이터포털 등 데이터가 정리된 사이트에서는.. 우리가 원하는 데이터가 없음.그저 00년도에 몇 명이 취업했는지.. 정도의 데이터만 있음.따라서 '잡코리아'라는 사이트에서 크롤링을 진행하였음. BeutifulSoup 이용 3. 데이터 전처리크롤링을 하면 태그 안의 내용이 나오기 때문에, 모두 문자열의 형태이며, '점/개/회' 등의 문자가 포함된 것도 있음.또한 오픽의 경우 숫자가 아닌 IH 이런 식으로 문자열이 추출됨.따라서 오픽은 범주화, 나머지는 문자..
AI
본 포스팅은 충남대 고영준 교수님의 강의자료를 바탕으로 작성한 글입니다. 각도가 다르게 찍힌 사진에서 같은 부분을 나타내는 keypoint들을 찾고 이들을 연결시키는 문제이다.A, B 사진에서 keypoint를 패치를 이용해서 찾는다고 했을 때, A사진의 패치의 히스토그램과 B사진 패치의 히스토그램간 차이가 0이 되면 이상적이다.한 사진에 대해 특징점이 될 수 있는 key point는 여러 개가 있는데, 그 중 매칭되는 것을 어떻게 찾느냐? Feature Matching Algorithm( I1이 주어졌을 때, I2에서의 가장 좋은 매치는?)1. 두 descriptor를 비교하기 위한 거리 함수를 정의한다. (코사인, 유클리드, L2-norm 등.. 뭘 쓸지) 2. 가장 가까운 이웃을 찾는다. - 우선..
본 포스팅은 충남대 고영준 교수님의 강의자료를 바탕으로 작성한 글입니다. 오늘은 다들 아는 '파노라마'에 대해 알아볼 것이다.옆으로 길게 찍는 사진 말이다. 그런 사진을 어떻게 만들 수 있을까?파노라마를 찍을 때도 보면 손이 어쩔 수 없이 흔들리게 될 텐데 그 사진이 웬만해선 잘 이어져있다. 어떻게?! 이어 붙이기?정말 간단한 방법이다. 모두가 생각해낼 수 있을 것이다.이 방법도 물론 가능하다. 정확히 수평으로, 경계를 맞춰서 찍는다면 말이다.그렇게 찍기는 당연히 어렵다.. 그럼 이제 (완벽하지 않은) 여러 이미지를 이어붙일 때 필요한 것이 무엇인지 생각해보겠다. 1. 같은 곳을 찾는다. 각 픽셀이 어디에 위치해있는지 찾는 것!2. 이미지가 어긋나있을 텐데, 그걸 어떻게 정렬할지 찾는다. 기하학적..
DP 결과 저장/재활용으로 반복적 가치함수 개선Model-based, state늘어날 수록 계산량 급격 증가 MC LearningModel-free, 한 episode끝나야 가치함수 개선, 한 epi매우길면 학습 어려움 TD는 이 두 개를 합쳤다고 볼 수 있는데,MC같이 모델 free이며, DP처럼 매 time step마다 학습함! MC는 episode 끝까지 가보고 가치함수 업뎃했다면, TD는 조금씩(한 step or 몇 step) 가보면서 return 얻어 가치함수 업뎃! 그러다 끝까지 보게 되면 MC 되는 거임 1-Step TD Prediction (TD(0))whole episode X, one step만 가보고 return 이용해 현재 state의 가치함수 추정model free로, 환경과 상호..
본 포스팅은 충남대 김현 교수님의 강의자료를 바탕으로 작성한 글입니다. 몬테카를로 방법이란,무작위 샘플링을 바탕으로 반복 샘플링을 통해 값을 근사하는 방법이다! ex) 사각형 안에 원 그린 후, 무작위 점 찍어서 점 개수로 원 넓이 추정 그럼 이게 강화학습에선 어떻게 쓰이냐 하면,환경에 대한 dynamics를 사전에 알 수 없다는 전제 하에, agent가 환경과 상호작용 통해 s, a, r, s'를 얻고, 가치함수를 추측하는 데 사용에피소드를 반복해 나가면서 각 state의 보상의 합인 state-value function이 누적되고, 이 평균으로 실제 값을 추정 DP는 단계씩 나아갔지만,MC는 우선 끝까지 간다!! Goal : policy가 주어졌을 때, 이 policy로 만들어지는 episo..
본 포스팅은 충남대 김현 교수님의 강의자료를 바탕으로 쓴 글입니다. Dynamic Programming이 어떤 것인지 한 번쯤은 들어봤을 것이다.가장 많은 예시로 쓰이는 건 피보나치 수열이다.1, 1, 2, 3, 5, 8, 13, 21, 34, 55... 이렇게 앞의 두 숫자가 더해져서 뒤의 숫자를 만드는데,그럼 10번째 피보나치 수를 구하려면 앞의 9개 숫자를 다 구해야 하면.. 너무 오래 걸릴 것이다.그래서 이 결과를 저장해두고 두고두고 쓰는 것이다. 이걸 강화학습에 적용하면, 두 단계로 나뉜다.정책 평가와 정책 개선으로! 1. 정책 평가 (Prediction)모델에 policy가 주어질 때 policy를 평가하는 단계.S, A, P, R, gamma와 policy가 주어지면 value functio..
본 포스팅은 충남대 이종률 교수님의 강의자료를 바탕으로 작성한 글입니다. 이제 분할 방법에 대한 알고리즘을 설명할 것이다.어떤 데이터베이스 D의 n개의 객체를 k개의 클러스터로 분할하는 문제이다.군집 내 데이터 끼리의 제곱 거리를 최소화한다. K-Means Clustering이건 가장 인기있는 접근 알고리즘이다.임의의 수 k를 정하고, k개의 중심을 랜덤하게 배치한다. 각각 다른 컬러로.그리고 아래의 과정을 더이상 변화가 없을 때까지 반복하는데,1. 각 데이터를 가장 가까운 중심에 할당하고,2. 모인 각각의 색깔의 중심을 계산에 k개의 중심을 각각 색의 중심으로 이동시킨다. * 이름이 비슷한 KNN(K-Nearest Neighbors)와 헷갈릴 수 있는데,KNN은 지도학습인 분류/회귀에서 쓰이는 아예 다..
본 포스팅은 충남대 이종률 교수님의 강의자료를 바탕으로 작성한 글입니다. 이 글은, item Set들에 대한 내용이다.우리가 다루려는 모든 데이터가 들어있는 set을 U라고 하자. Universal set을 말한다.그럼 이 U에서 item들을 뽑을 수 있을 텐데, 그 뽑힌 애들을 I라고 할 것이다.그 I라는 set안에 담긴 item의 개수가 k일 때, 우리는 I를 k-itemset이라고 한다.만약 우리가 6개의 I를 만들었다면, 6 transitions의 dataset이라고 한다.예를 들어 I = {bread, beer}라 한다면, support(I)는 6개의 transitions 중 I가 포함된 것이 몇 개인지를 의미한다. association Rule RR : I1->I2 의 형태인 규칙이다.I1과 ..
