TF Guide - Tensors 공부

https://www.tensorflow.org/guide/tensors#shape

 

• TF는 텐서와 관련된 연산을 정의하고 실행하는 프레임워크이다.
• 텐서는 고차원 벡터/행렬의 일반화된 개념이다. (텐서는 내부적으로 base data type의 n차원 어레이로 표현된다.)

 

• TF 프로그램을 짜면서 계속 조작하고 넘겨야 할 객체가 바로 tf.Tensor 인데, tf.Tensor는 부분적으로 정의되었다가 마지막에 값을 생성하는 연산을 말한다.
• TF 프로그램은 1) 먼저 tf.Tensor의 그래프를 빌딩하고 2) 어떻게 각 텐서가 다른 가능한 텐서에 기반해 연산되는지 디테일링하고 3) 이 그래프의 일부를 실행해 원하는 값을 얻는다.

 

• tf.Tensor는 두 가지 properties를 갖는다:
  • a data type (float32, int32, string 등)
  • a shape

 

• 텐서의 각 원소는 같은 데이터타입을 가지며 data type은 언제나 알려져 있어야 한다.
• shape은 텐서가 가지는 차원의 개수와 각 차원의 사이즈를 말하며, 일부만 알려져 있을 수도 있다.
• 인풋의 shape이 완전히 알려져 있으면 대부분 아웃풋도 완전히 알려져 있으나, 그래프를 실행할 때가 되서야 shape을 찾을 수 있는 경우도 있다.

 

• 텐서 중 특별한 몇 가지가 있다:
  • tf.Variable
  • tf.constant
  • tf.placeholder
  • tf.SparseTensor

 

• tf.Variable 빼고 텐서의 값은 변하지 않는다. 즉 single execution tensors의 경우 오직 하나의 값만 갖는다.
• 그러나, 같은 텐서를 두 번 evaluating 하는 것은 다른 값을 반환할 수 있다. 예를 들어 텐서가 디스크에서 데이터를 읽어오거나 난수를 만드는 결과값일 수 있다.

 

Rank

• tf.Tensor의 rank는 차원의 개수이다. rank의 유사어로는 order, degree, n-dimension이 있다.
• TF에서의 rank는 수학에서의 matrix rank와는 다르다. 아래와 같이 TF의 각 rank는 서로 다른 수학적 엔티티와 대응된다.
  • Rank 0: Scalar (magnitude only)
  • Rank 1: Vector (magnitude and direction)
  • Rank 2: Matrix (table of numbers)
  • Rank 3: 3-Tensor (cube of numbers)
  • Rank n: n-Tensor (you get the idea)

 

• tf.rank 함수로 tf.Tensor의 rank를 결정할 수 있다.

my_image = tf.zeros([10, 299, 299, 3])  # batch x height x width x color

r = tf.rank(my_image)
# After the graph runs, r will hold the value 4.

 

• tf.Tensor 내 하나의 셀에 접근하려면 n indices를 명시해야 한다.

my_matrix = tf.Variable([ [4, 9], [16, 25] ], tf.int32)

my_scalar = my_matrix[0, 1]
# shape=(), dtype=int32, numpy=9

my_row_vector = my_matrix[0]
# shape=(2,), dtype=int32, numpy=array([4, 9], dtype=int32)

my_column_vector = my_matrix[:, 1]
# shape=(2,), dtype=int32, numpy=array([ 9, 25], dtype=int32)

 

Shape

• 텐서의 shape는 각 차원에 원소가 몇 개가 있느냐를 의미한다.
• TF는 그래프를 구성할 때 자동으로 shape를 추론한다. 이 추론된 shape는 rank를 알 수도, 모를 수도 있다. rank를 알아도 각 차원의 크기를 알 수도, 모를 수도 있다.
• TF 다큐먼트에서는 1) rank, 2) shape, 3) dimensional number 세 가지의 notational convention을 사용한다.

Rank	Shape	Dimensional number	Example
0	[]	0-D	A 0-D tensor. A scalar.
1	[D0]	1-D	A 1-D tensor with shape [5]
2	[D0, D1]	2-D	A 2-D tensor with shape [3, 4]
3	[D0, D1, D2]	3-D	A 3-D tensor with shape [1, 4, 3]
n	[D0, D1, D2, ... Dn-1]	n-D	A tensor with shape [D0, D1, D2, ... Dn-1]

 

• tf.Tensor의 shape에 접근하는 방법은 두 가지가 있다.
• 1) tf.Tensor의 shape property에 접근
  • 그래프를 빌딩할 때 텐서의 shape에 대해 이미 알고 있는 것은 무엇인지 묻는 것이 유용할 때가 있다. 이 때 이 방법을 쓴다.
  • 이 메소드는 TensorShape 객체를 반환하며, TensorShape 객체는 일부만 명시된 shape를 표현하는 편리한 방법이다. (그래프를 빌딩할 때 모든 shape가 완전히 알려지는 것은 아니므로)

 

• 2) tf.shape operation
  • tf.Tensor의 완전히 알려진 shape를 runtime에 알 수 있는 방법도 있다.
  • 이 방법으로 텐서의 shape를 조작하는 그래프를 빌딩할 수 있다. shape 조작은 인풋 tf.Tensor의 dynamic shape에 의존하는 다른 텐서를 빌딩함으로써 이루어진다.

 

• tf.Tensor의 shape 변경
  • 텐서의 원소 개수는 shape 사이즈의 곱과 같다.
  • scalar의 원소 개수는 항상 1이다.
  • 같은 원소 개수를 갖는 서로 다른 shape는 많을 수 있기 때문에, 원소는 유지하면서 shape를 바꾸는 것이 유용할 수 있다.
  • https://www.tensorflow.org/guide/tensors#getting_a_tftensor_objects_shape

 

Data types

• 차원과 더불어 텐서는 data type을 가진다. data type 리스트는 여기서 참고.
• tf.Tensor는 여러 개의 data type을 가질 수 없다. 그러나 임의의 자료 구조를 strings로 serialize 하고 tf.Tensors로 저장할 수 있다.
• tf.Tensor의 data type을 확인하려면 Tensor.dtype property를 이용하라.

 

• tf.cast를 이용해 tf.Tensor의 data type을 바꿀 수 있다.

 

• 파이썬 객체로 tf.Tensor를 만들 때 data type을 선택적으로 명시할 수 있다. 그러지 않으면 TF는 입력한 데이터를 표현할 수 있는 data type을 선택한다. TF는 파이썬 integer를 tf.int32로, 파이썬 floating point를 tf.float32로 변환한다. 
• 그러지 않으면 TF는 어레이를 변환할 대 numpy가 쓰는 룰을 사용한다.

 

Evaluating Tensors

• 일단 연산 그래프가 빌딩되면, 특별한 tf.Tensor를 생성하고 거기에 할당될 값을 fetch하는, 연산을 실행할 수 있다. 이건 디버깅에서도 유용하다.
• Tensor.eval 메소드로 텐서를 evaluating 할 수 있다. eval은 default tf.Session이 active할 때만 작동한다. eval은 그 텐서와 같은 contents를 가지는 numpy 어레이를 반환한다.
• context가 없는 상태에서 tf.Tensor를 evaluating 하는 것이 불가능할 때도 있다. 그 값이 아직 unavailable한 dynamic information에 의존할 수도 있기 때문이다.
  • 예를 들어 placeholder에 의존하는 텐서는 placeholder에 줄 값을 주지 않으면 evaluating 할 수 없다.
  • placeholder 뿐 아니라 어떤 tf.Tensor라도 feed할 수 있다.

 

• TF는 함수 내부나 control flow constructs 내부에서 정의된 tf.Tensor는 바로 evaluating 하지 못한다.
• 만약 tf.Tensor가 큐의 값에 의존ㄴ한다면, tf.Tensor를 evaluating 하는 것은 어떤 것이 인큐된 다음에서야 가능하다. 큐로 작업할 때는 tf.Tensor를 evaluating 하기 전에 tf.train.start_queue_runners를 호출하라.

 

Printing Tensors

• 디버깅 목적으로 tf.Tensor의 값을 프린트하고 싶을 수 있다.
• 단순히 print(tensor) 처럼은 잘 쓰지 않는다.
  • 이 코드는 그래프가 빌딩되었을 때의 symbolic tensor를 프린트한다. 이 텐서는 값을 가지고 있지 않다.
  • 이 코드는 미뤄진 연산을 표현하는 tf.Tensor 객체를 프린트한다. (값이 아니라)
• 대신 TF는 tf.Print operation을 제공한다.
  • tf.Print는 두 번째 인자로 전달된 tf.Tensor의 세트를 프린트하는 동안, 변경되지 않은 첫 인자를 반환한다.