04. Data Handling API

01. What is tf.data.Dateset?

• Tensorflow.js가 제공하는 대량의 data 처리를 위한 class
• tf.data는 data 처리를 위한 다양한 method 제공
  • chain으로 연결하여 pipeline형성 가능
  • ex> const data = rawDataset.filter(...).map(...).batch(...).
• 데이터 로딩 및 변환은 느리고 스트리밍 방식으로 수행됨

02. tf.data.Dataset

• 생성 함수

• 제공 methods 
  • tf.data.CSVDataset
          .columnNames
  • tf.dat.Dataset
          .batch(batchSize) – batch 로 element 들을 grouping
          .concatenate(dataset) – 두개의 dataset 을 하나로 concaten
          .filter(함수) – 함수의 조건에 따라 filtering ex) filter(x => x%2 === 0)
          .forEachAsync(f) – dataset 의 각 element 에 함수 f 적용
          .map(함수) – synchronous one-to-one mapping
          .prefetch(bufferSize) – dataset 의 element 들을 buffer 로 prefetc
          .repeat(count) – count 횟수 반복
          .skip(count) – 처음 count 개를 skip 하고 dataset 생성
          .shuffle(bufferSize) – data element 를 random 하게 shuffle
          .take(count) – 최초 count 개를 가지고 dataset 생성
          .toArray() – dataset 의 모든 element 를 array 로 변환