1. 장르 / 김도환 저
https://www.linkedin.com/in/dohwan-kim-297b6810b/
2. 간단한 줄거리
• 빅데이터와 AI 기술을 어떻게 현업에서 활용하고 사용하고 있는지에 대해 저자의 현업에서의 경험을 바탕으로 자세히 설명
• 실제 저자가 현업에서 진행한 프로젝트 사례로 빅데이터와 AI 기술이 어떻게 적용해 문제를 해결하는지 자세히 안내
- ‘스세권’ 입지 찾기: 스타벅스 드라이브스루
- 후기를 분석하다: 마약 베개
- 와인 추천은 이제 AI에게: 와인 앱 비비노
- AI 화가의 작품: GAN 기술
- 뭘 볼지 고민하지 마세요: 넷플릭스 추천 시스템
• 우선 방대한 데이터 속에서 패턴을 찾는 것이 빅데이터 속 금광을 찾는 것이며 이 패턴을 발견하는 기술은 AI가 담당함을 알 수 있었다.
※ AI의 학습방식 : 귀납적 사고방식에 가까움
> 수많은 데이터를 보고 거기서 공통된 패턴이나 규칙을 찾고 그것을 기반으로 새로운 사례를 판단
※ 딥러닝과 머신러닝의 차이 : 딥러닝은 머신러닝 내에 포함
> 딥러닝은 한번에 데이터를 처리(특징 추출과 분류를 한번에 함)
> 반면 머신러닝은 단계별로 데이터를 처리한다고 함 (특징 추출 단계, 값을 추출하는 단계가 분리)
> 피처 엔지니어링 : 모델의 입력값이 될 특징들을 변형하거나 적절하게 처리해 알고리즘의 성능을 향상시키는 작업
> 특징 추출기는 이미지의 특징을 추출하는 역할을 함
> 이후 분류기는 특징 추출기가 파악한 특징을 바탕으로 수학적 계산을 통해 어떠한 값을 출력
> 머신러닝에서는 이런 분류기가 모델에 속하고 모델의 출력값을 바탕으로 분류가 이루어짐
즉, 머신러닝은 특징을 추출하는 모델, 마지막에 값을 출력하는 모델이 별개
반면 딥러닝은 특징 추출과 분류를 한번에 처리
(인공신경망을 깊게 이어 사람의 지능과 유사한 높은 수준의 추상화 능력 겸비)
※ AI가 데이터를 통해 배우는 방법
: 지도학습과 비지도 학습
• 지도학습: 데이터별로 정답이 함께 주어지는 학습
ex: 주식의 특정 항목의 가격을 예측하기 등
• 비지도 학습 : 데이터별로 정답이 주어지지 않는 학습 (특별한 지도를 하지 않아도 답을 찾아갈 수 있는 것)
ex: 입지분석, 호두가게를 특정 지역에 오픈했을때 얻을 수 있는 매출을 예측
※ 머신러닝으로 해결하는 대표적 문제, 분류와 회귀
• 분류 : 어떤 카테고리에 속하는지 분류하는 과제
• 회귀 : 특정 카테고리가 없음, 대신 값이 존재하기에 그 값을 출력 (ex : 강쥐사진보고 몸무게 값 출력하기)
➪ AI 기술에서는 지도 학습, 비지도 학습, 분류와 회귀 방식이 모두 쓰인다고 함
※ 머신러닝의 알고리즘 : 선형회귀, 의사결정나무, 랜덤 포레스트, 서포트 벡터 머신 등
※ 데이터의 종류 : 정형 데이터와 비정형 데이터
• 정형 데이터는 문서, 회계 따위의 미리 정해놓은 형식과 구조에 따라 구성된 데이터
• 비정형 데이터는 정의된 구조가 없이 정형화되지 않은 데이터 ( 동영상 파일, 오디오 파일, 사진, 메일 본문 등)
➪ 비정형 데이터에 가까울수록 딥러닝이 유리!
➪ 빅데이터일수록 딥러닝에 적합!
➪ 데이터 간의 관계가 비선형적일수록 딥러닝이 유리!
선형적인 : 두개 데이터가 서로 일관성이 있는 (비례하는)
비선형적인 : 두 개의 데이터가 서로 일관성이 없는 (비례하지 않는)
※ 딥러닝에 가까울수록 블랙박스 모형에 가까움
• 블랙박스 모형 : 입력과 출력은 있지만 안에서 어떻게 계산하고 작동하는지 알 수 없는 모형
> 설명이 필요하다면 딥러닝을 사용할 수 없다는 것
※ AI를 도입할때 자세
➪ 사람이 개입하는 여지를 점점 줄어들어야 함
➪ 효과와 효율을 구분해서 추구
• 효과: 결과에만 집중 (얼마나 많은 비용이 들었는지 고려X)
• 효율: 투입한 비용 대비 원하는 결과를 따짐
(AI 도입시 효과와 효율을 생각하는 시기가 중요!,
효과에 집중한 비효율의 시기를 지나 결과가 나타나면 효율을 생각하는 시기로! 즉, 효율은 효과가 나타난 이후에 고려!!)
• 초기 AI 도입 과정에서는 효과를 따져야 함!
• 프로세스를 나누고 해당 단계마다 달성하고자 하는 기대치를 명확하게 한다.
• 그리고 그 기대치를 달성했을 경우 효과를 달성한 것으로 보고 다음 단계를 넘어간다
• 이때 효율은 신경쓰지 않음
➪ 파괴적 기술의 특성을 정확히 파악
➪ 고객 행동의 틈새를 파악
➪실험을 통한 데이터에 집중
※ 데이터 분석가와 데이터 과학자의 차이
데이터 분석가 : 데이터를 통해 과거나 현재를 진단 (진단분석)
데이터 과학자 : 진단분석에서 나아가 예측분석을 할 수 있음 (진단분석에 기반하여 AI를 활용, 예측분석을 수행)
데이터 전처리 (데이터 정제)
※ 데이터 분석 프로세스 4가지
: 문제 이해, 데이터 획득 및 전처리, 데이터 분석(EDA, 현황 및 예측 분석), 분석결과
: 문제 이해가 가장 중요 - 고객 요구사항 파악, 명확하게 문제 정의
: 데이터 획득 및 전처리(데이터 정제, 변환 작업) - 추출(Extract), 변환(Transform), 적재(Load) > ETL
: EDA란 데이터의 분포가 어떤 모양을 띠는지 보고 다른 데이터와 조합해서 보기도 하는 등 데이터를 다양한 각도에서 분석하는 것
※ 기술 발전 2가지 관점 : 기술주도와 수요견인
: AI는 기술 주도형
• 가장 중요한 것은 타깃이 되는 고객 설정이 우선 (AI 기술 활용보다 우선시)
: 어떤 고객을 타깃팅 할 것인지, 그리고 해당 고객과 어떤 관계를 구축할 것인지가 우선!
: 타깃 고객을 명확히 하는 것만큼 중요한 것은 없다.
• 존속적 기술과 파괴적 기술
: 존속적 기술 > 제품의 성능을 향상시키는 점
: 파괴적 기술 > 단기적으로 제품의 성능을 떨어뜨리지만 그 자체로 '혁신'이 되는 기술 (ex: 비트코인)
: 시장의 요구에 집중하는 전략은 존속적 기술
: 파괴적 기술의 경우 대개 시장이 아얘 존재하지 않음(불확실성 투성이, 데이터 X)
: 하지만 파괴적 기술의 경우에는 고객이나 시장의 요구사항과 반대되는 지표가 청신호일 수 있다고 저자는 설명
※ 고객 가치 사슬 (CVC, Customer Value Chain) : 고객이 자신의 욕구를 충족시키기 위해 택하는 주요 단계 및 확동
: 제품을 찾아보고 평가하며 구매해서 사용하고 처분하기까지의 활동
: 이 행동 패턴을 분석하다보면 시장을 파괴하는 혁신 전략이 나올 수 있음
출처: 디커플링(DECOUPLING)
※ 고객 가치 사슬 (CVC, Customer Value Chain)를 분리하는 디커플링 : CVC 사이의 단계를 분리하는 행위를 디커플
: 고객 가치 사슬을 디커플링 한 것에서 가치를 잠식하는 행위를 발견하면 이것이 틈새이며 블루오션이 숨어있다는 뜻
: 고객의 행동을 관찰하고 분석해보면서 그 행동에서 약한 가치를 발견하고 공략해야함
AI 기술은 그 자체로 디커플링을 일으킴
: AI 기술을 추구하는 자체가 시장의 틈새를 공략하는 것
ex: 자율주행, 운전을 노동으로 인식하는 사람들에게 이 부분의 가치는 약하다.
※ 의견을 데이터로 착각하지 말기
: 의견은 주관적 생각일뿐 실제 실험을 통해 검증된 데이터가 아님
: 실험은 객관적 데이터를 얻을 수 있는 유용하 ㄴ수단 (A/B 테스트 등)
: 스킨 인더 게임, 자신이 책임을 안고 직접 문제에 참여하는 것
※ 상관관계 분석 : 두 변수가 얼마나 선형적인 관계를 나타내는지 파악하기 위한 분석 (비례 정도를 수치로 표현)
GAN 기술
: 생성자와 판별자라는 2개의 네트워크
: 이 두 네트워크는 서로 경쟁함으로써 더 좋은 품질의 데이터를 생성
: 활용 분야 : 미술, 패션, 의료, 소설, 비디오 등
지식증류기법: 선생님 네트워크와 학생 네트워크
: 선생님 네트워크는 학생에게 증류하듯이 전달
: 지식 증류를 이용하면 학생은 더 가벼운 네트워크임에도 불구, 선생님 만큼의 정확도를 낼 수 있음
※ 데이터 과학자는 설득하는 기술도 필요하다.
: 아리스토텔레스의 저서 수사학에서 설득의 3요소를 설명
: 로고스, 파토스, 에토스
① 로고스: 객관적 논리와 근거, 수치를 해석하고 인과관계를 설명할 줄 아는 능력
② 파토스 : 얘기를 듣는 사람의 감성이나 심리상태 (사람의 심금을 울린다거나 감성을 자극하면 설득할 수 있음)
③ 에토스 : 상대방에게 호감을 사는 능력 (상대방이 나를 좋아하면 내 논리가 엉터리라도 설득이 될때가 있음)
에토스 ➪ 파토스 ➪ 로고스 순으로 중요!
※ 다양한 데이터에는 트랜드도 포함
※ 분석(나눌 분, 쪼갤 석) 이란 끊임없이 파고드는 것과 관련이 깊음
: 분석이란 쪼개서 하나하나 살피는 것
: 분석력은 문제해결력과도 관련이 있음
: 파고들기 위해서는 끈기라는 기초 체력이 필요
: 아는 영역을 바탕으로 모르는 영역을 점차 지워나며 문제를 해결
3. 느낀점
• 회사에서 챗봇기획을 하는 나는 AI 기획에 관심이 많아 너무나 유익한 책이었다.
(AI 기획에 있어서 AI 기술에 대한 이해가 중요하다는 점을 알게되었고 기본적이지만 핵심적인 내용을 공부할 수 있었다.)
• AI 및 데이터 분석 뿐 아니라 사람을 설득하는 기술, 협업의 자세 등 정말 군더더기가 없는 완벽한 책이라고 생각한다.
• 올해 읽은 책 중 BEST 3안에 들며 그 어떠한 교수, 저명한 빅데이터 대표 등이 서술한 책보다도 훨씬 유용하고 좋았다.
• 나또한 대학교때 컴퓨터를 전공해서 인공지능 수업을 들었지만 해당 교재보다 이 책이 훨씬 유용하고 재밌게 서술한 것 같다. 대학생들을 위한 AI & 빅데이터 교양 도서로도 대학교에서 읽힌다면 좋을 것 같다고 생각한다.
• 저자는 생활속에서 자신에게 질문을 하는 습관이 있다고 한다. 이유를 찾고 그에 따라 행동하는 삶의 패턴인데
이부분을 내 삶에도 적용하고자 한다. (스스로에 대한 이해가 깊어짐, 자신이 하는 생각과 행동을 명확히 알게 됨)
(메타인지를 높이는 방법 : 나의 특정 생각과 행동을 왜 하는지 고민해 보는 것)
• AI 기획 관련 교육과 공모전에 참여해 보고 싶다. 이 책에서 얻은 지식과 인사이트, 그리고 자세를 직접 적용해보고 싶다.
4. 생각해 볼 이야기
• AI 기술로 내가 해결해보고 싶은 문제는?
https://www.instagram.com/santiago_vibe/
댓글