BIG DATA 

빅데이터와 인공지능의 융합

을지대학교 이지연 조교수

드림톡콘서트

빅데이터?

인공지능? 딥러닝?

구별 안되면 드루와!

AI전문가가 알려주는 미래기술

빅데이터와 인공지능의 융합#1

온라인 드림톡 콘서트

매주 수,금 오후 7시 ~ 9시

#한국창의재단 #경북대학교 #과학강연 #과학기술진로체험

한국과학창의재단 경북대학교

온라인 드림톡 콘서트

빅데이터와 인공지능의 융합

강연자 을지대학교 빅데이터인공지능전공 교수 이지연

2021 한국통신학회 우수논문상

2011 ~ 현재 을지대학교 교수

2009 ~ 2011 University of Wisconsin-Madison 이비인후과 박사후 연구원

2008 ~ 2009 UVLA (University of California, Los Angeles) 이비인후과 박사후 연구원

2003 ~ 2008 한국과학기술원(KAIST) 공학 박사

빅데이터와 인공지능

빅데이터와 인공지능의 정의와 특징

빅데이터 

· 빅데이터는 기존 데이터베이스 시스템으로는 처리가 어려울 정도로 방대한 양의 데이터를 의미한다.

· 빅데이터는 규모, 다양성, 속도, 정확성 등의 특징을 가지고 있으며, 다양한 분야에서 새로운 가치를 창출 할 수 있는 잠재력을 가지고 있다.

인공지능

· 인공지능은 인간의 지능을 모방하여 복잡한 문제를 해결하고 학습하는 기술이다.

· 경험을 통해 성능을 지속적으로 개선한다.

· 머신러닝, 딥러닝, 자연어 처리 등 다양한 기술을 포함하며, 빅데이터 분석을 통해 학습하고 발전한다. 

우선 여러분들이 빅데이터가 뭔지, 또 인공지능이 뭔지, 이런 것들에 대한 정의와 특징을 조금 알아야 될 필요가 있겠죠.

아마 많이 들어봤을 거라 생각합니다.

자, 빅데이터는 뭐라 그러냐면, 기존 데이터베이스 시스템으로 처리가 어려울 정도로 굉장히 큰 데이터를 의미합니다.

그래서 빅데이터는 규모, 다양성, 속도, 정확성 등의 특징을 가지고 있고, 다양한 분야에서 새로운 기술을 창출할 수 있도록 제일 앞쪽 부분에서 빅데이터가 들어가서 어떤 기술이 마련될 수 있도록 하는 중요한 역할을 담당하고 있습니다.

자, 인공지능은 어떻게 정의하냐면, 인간의 지능을 모방하여 복잡한 문제를 해결하고 학습하는 기술이죠.

그래서 인공지능이 다른 기계 학습이나 이런 거랑 좀 틀린 것은, 인공지능은 굉장히 똑똑해요.

왜냐하면 경험을 통해 그 성능을 지속적으로 개선할 수 있기 때문에, 인공지능은 내가 경험치가 많이 쌓이면 쌓일수록 그 성능이 굉장히 정확해지는 그런 특징을 보이고 있습니다. 

그래서 인공지능이라는 것은 머신러닝, 딥러닝, 그다음에 자연어 처리 등과 같은 다양한 기술을 포함하고, 빅데이터. 앞쪽에 빅데이터가 들어가야겠죠.

그래서 빅데이터 분석을 통해 학습하고 발전하는 것이 이제 인공지능이라고 얘기를 할 수 있습니다.

머신러닝과 딥러닝

인공지능에서의 머신러닝과 딥러닝

머신러닝(Machine Learning, 기계학습)

머신러닝은 인공지능을 만들기 위해 기계를 학습시키는 다양한 방법에 대한 학문으로 '로봇공학', '전자공학', '컴퓨터공학'과 같이 하나의 학문이다.

딥러닝(Deep Learning)

· 머신러닝보다 더 작은 개념으로 '신경망'을 통해 인공지능을 만드는 머신러닝의 한 종류이다. 이 딥러닝은 신경망을 여러 층 쌓아서 만든 것이다.

· 즁학교 교과에서 함수 y=f(x)를 배웠을 때, y=f(g(x))라는 함수 안에 들어간 또 다른 함수, 합성 함수를 배웠던 것을 기억하시나요?

함수의 합성처럼 동물의 신경세포들의 합성인 '신경망(Neural Network)' 을 따라 만든 '인공신경망(Artificial Neural Network)'에서 여러 계층을 쌓아서 만든 깊은 신경망(Deep Neural Network), 다른 이름 '딥러닝'이 만들어졌다.

· '층'이 깊다(Deep)고 해서'심층 학습, 깊은 학습'으로 불리는 학습 방법이다.

우리가 이제 인공지능에서 머신러닝이라고도 얘기를 해요, 기계 학습이라고 얘기도 하고요, 또 딥러닝이라고도 얘기를 하죠.

자, 머신러닝은 뭐냐면 우리말로 기계 학습이라고 얘기를 하는 거예요. 

그래서 인공지능을 만들기 위해 기계를 학습시키는 다양한 방법을 얘기를 합니다. 

그래서 뭐 예전에 전자 공학이나 컴퓨터 공학 같이 하나의 어떤 학문으로서 나는 기계 학습을 전공했어. 이렇게 요즘에 많이 얘기를 하죠.

딥러닝은 여러분들이 많이 들어봤을 거예요. 

딥러닝은 머신러닝보다 조금 더 작은 개념으로, 신경망을 통해서 인공지능을 만드는 머신러닝의 한 종류입니다.

그래서 결국은 신경망이 여러 층 쌓아서 만드는 건데, 아마 여러분들, 합성 함수에 대해 알 거라 생각해요. 

합성 함수는 함수 안에 들어간 또 다른 함수, 이걸 우리 합성 함수라고 하죠.

이런 것과 마찬가지로 이 함수의 합성이 신경망이란 것은 동물의 신경 세포인 신경 세포들의 합성을 신경망에서 따온 것이고요. 

신경망을 모방을 해서 우리는 인공 신경망이라고 하는거고,

여러 층을 마치 합성 함수처럼 여러 층을 쌓아서 한쪽으로 들어갔으면 그것에 대한 아웃풋이 그다음 층에 인풋으로 들어가고, 그것에 대한 아웃풋이 다른 층에 또 인풋으로 들어가는,

그렇게 여러 개 층에 쌓아서 만들어졌다. 그래서 우리는 깊은 신경망, 그래서 딥 뉴럴 네트워크라고 부르고, 이것을 다른 이름으로 우리는 딥러닝이 만들어졌다라고 얘기를 합니다.

그래서 층이 깊다 해서 딥라는 단어 때문에 심층 학습, 깊은 학습이라고 부르는 게 이제 딥러닝입니다.

머신러닝과 딥러닝의 차이점

* 머신러닝 | Machine Learning

훈련 데이터 셋 > 입력(Input) > 특징 추출(Feature extraction) > 분류(Classification) > 출력(Output)

* 딥러닝 | Deep Learning

훈련 데이터 셋 > 특징 추출 & 분류(Feature extraction & Classification) > 출력(Output)

· 머신러닝 과정에서 어떻게 패턴을 추출하는 방법을 정하는 것은 '모델'을 정했다고 표현합니다.

· 어떤 모델을 활용할지에 따라서 계산하는 방법이 다양해진다.

· 딥러닝에서 또한 특정 신경망구조를 모델링이라고 표현한다.

· 최적의 딥러닝 모델 구조(NAS)를 찾아주는 방법도 있다. 초기에 어떻게 신경망을 시작할지, 간단한 정보를 주면 최적의 신경망을 탐색하는 알고리즘이다.

· 딥러닝에서 신경망의 구조를 고르듯이, 머신러닝에서도 다양한 알고리즘(SVM, Random Forest 등)을 골라주어야 한다.

두 개의 차이점을 한번 볼까요?

이거는 머신러닝을 하는 그림을 보여줬고, 아래는 딥러닝을 하는 그림이 보여져요.

자, 어떤 차이가 있을까요? 여러분들이 보기에는 어떤 차이가 보이나요? 

여기는 사람이 있고, 여기는 사람이 없어요.

그래서 머신러닝과 딥러닝의 차이를 얘기할 때 어떻게 얘기하냐면, 사람의 개입 여부라고 우리는 그 차이점을 얘기합니다. 

어, 머신러닝, 지금 위에 보이는 머신러닝 같은 경우는 주어진 데이터를 사람이 처리를 해요. 

사람이 먼저 처리를 해. 그래서 사람이 먼저 컴퓨터에 특정 패턴을 추출하는 방법을 지시를 하고, 그 이후 컴퓨터가 스스로 데이터의 특징을 분석하고 추적합니다.

이렇게 추출된 데이터를 바탕으로 문제를 해결하는 거죠.

그래서 예를 들어서 사람이 먼저 개와 고양이의 사진을 보고 개와 고양이의 특징을 추출해요.

그다음에 그 많은 특징을 추출한 걸 가지고 컴퓨터에 학습을 시켜서 출력하게 만드는 게 전통적인 머신 러닝의 방법이에요.

자, 딥러닝 같은 경우는 그와 반대로 이제 사람이 지금 밑에 없죠. 

그래서 딥러닝 같은 경우는 머신 러닝에서 사람이 하던 패턴 추출 작업이 생략이 됩니다.

그래서 컴퓨터가 스스로 데이터를 기반으로 학습할 수 있도록 정해진 신경망에 그 데이터를 컴퓨터한테 주고, 어린이가 마치 학습을 하는 것처럼 경험 중심으로 학습을 수행하도록 해요.

그래서 다시 한 번 얘기하면, 사람이 개와 고양이의 특징을 추출을 해서 컴퓨터한테 알려주는 머신 러닝과 달리 딥러닝에서는 이 심층 신경망에 스스로 이 데이터 셋이 들어가면 얘 스스로 개와 고양이의 특성을 얘 스스로 훈련을 해서 결국 어떤 것이 개고 어떤 것이 고양이인지 분류할 수 있다라는 거죠.

그래서 머신 러닝과 딥러닝은 사람의 개입 여부에 따라서 이런 차이가 있다라고 우리가 이해하면 되겠습니다.

여기 보시면 얘가 지금 심층 신경망을 나타낸 거예요. 

아까 여러 개의 층이 쌓여 있다고 얘기를 했잖아요, 마치 합성 함수처럼. 

그래서 지금 하나, 둘, 세 개의 레이어로 되어 있는데, 이거보다 더 딥 레이어는 빅데이터 양에 따라서 그 안에 층 수가 100개도 될 수 있고 더 많을 수도 있어요.

그거를 우리는 심층 신경망이라고 하는거죠.

머신러닝 과정에서 어떻게 패턴을 추출할 것인지 정하는 것을 우리는. 어, 모델링을 한다고 표현을 합니다.

그래서 어떤 모델을 활용할지에 따라서 계산하는 방법도 되게 달라지고요.

딥러닝에서 또 모델링을 한다고 표현하고요.

또 최적의 심층 신경망 모델 구조를 찾아주는 방법도 있어요. 

그래서 초기에 어떻게 신경망을 시작할지, 또 간단한 정보를 주면 최적의 신경망을 탐색해주는 NAS라는 알고리즘도 있습니다. 

딥러닝에서 신경망의 구조를 데이터에 맞게, 또 내가 하고자 하는 목적에 맞게 잘 해주어야 하듯이, 머신러닝에서는 굉장히 다양한 알고리즘, 

뭐 SVM이나 랜덤 포레스트 같은 방법을 써 가지고, 머신러닝에서도 우리가 다양한 알고리즘 중에서 최적의 성능을 내는, 또 내 프로젝트에 맞는 성능을 내는 알고리즘 방법을 잘 선택을 해 주는 게 이 성능을 높이기 위한, 정확도를 높이기 위한 하나의 방법이라고 우리가 얘기할 수 있어요.

온라인 드림톡 콘서트

매주 수,금 오후 7시 ~ 9시

#한국창의재단 #경북대학교 #과학강연 #과학기술진로체험

한국과학창의재단 경북대학교