Xで投稿したあと、まず見るのはいいねやインプレッションだと思います。
でも、その数字だけでは分からないことがあります。
Xからは、どんな投稿に見えているのか。
Groxを追うと、いいねやインプレッションに出る前に、Xが投稿から何を読み取っているかが見えてきます。
数字だけでは分からないことがある
Groxが担っているのは、投稿の意味や危なさを先に読むことです。
公開されている範囲でも、投稿分類、スパム検知、ポリシー判定、埋め込みなどの処理が見えます。
何について書かれた投稿か。
スパムっぽく見えないか。
扱いに注意がいる内容ではないか。
Groxは、ひとつの判定だけで済ませず、いくつもの角度から投稿を読んでいます。
おすすめに出るまでの流れで見ると、Thunderが候補を集め、Groxが内容を読み、Phoenixが並べ替える、という役割の違いがあります。
Groxが読み取った情報を抜きにすると、Phoenixが何を並べ替えているのかも見えにくくなります。
画像や動画には、何が付けられているのか
Groxが見ているのは、投稿文だけではありません。
画像では、写っている物体、人物、画面内の文字、背景などが読み取りの対象になります。
Groxは、それらを投稿文と合わせて、「何についての投稿か」を読む材料にします。
動画では、映っているものだけでなく、場面の流れや、そこで起きていることも手がかりになります。
さらに、動画内の音声も、ASRという処理によって、文字として扱える形に変換されます。
画像、動画、音声、本文を別々に見るだけでは、投稿全体の意味はつかみにくくなります。
そこでGroxは、それぞれの情報をまとめ、投稿全体を表す特徴データに変換します。
画像・動画・音声・本文をまとめて投稿の特徴として扱う。
このような処理は、マルチモーダル投稿埋め込みと呼ばれます。
画像や動画は、ただ投稿に添えられているだけではありません。
Groxにとっては、投稿の意味を読むための情報そのものです。
本編で触れている内容
note本編では、この先でスパム検知やポリシー判定まで含めて、Groxが投稿をどう読んでいるのかを見ていきます。
投稿が並ぶ前に何を読まれているのかを知ると、投稿を作るときに見る場所も少し変わります。
