Задумывались ли вы, как читают наш текст нейросети?

Задумывались ли вы, как читают наш текст нейросети? 🧠🧠🧠🧠🧠

Нейросети - это крайне сложный калькулятор, а в калькулятор мы не можем написать просто текст задачи. (я не про всякие умные программы для решения задач)😠

А значит, наш текст превращается в цифры!!! 🔢 1️⃣2️⃣3️⃣

Да

Давайте очень поверхностно разберёмся в этом 👀
А если стало интересно, то залетай на НЕЙРО-ФОРУМ, где уже есть статья где мы подробнее, но так же простым языком всё разберём!🖥

Преобразование текста в цифры происходит в 2 этапа:
1️⃣ Разбиваем текст на "Токены".
2️⃣ Конвертируем "Токены" в "Вектора".

Не пугаемся
Щас всё расскажу😎
Идём по порядку


=== ТОКЕНЫ ===

Возможно, вы уже слышали такой термин "Токены"

Особенно знакомы с ним те, кто пользовался бесплатными нейронками с ограничением, зачастую как раз по тем самым "Токенам" 🪙 (не путаем с токенами в крипте)

Давайте разобъём текст на "Токены":
🤩 "Привет мир прекрасный!"
Мы разделим на 5 токенов:
🤩"Привет", "мир", "пре", "красный", "!"

"Токен" - это один или более символов, в идеале формирующие целые слова, но не всегда.
А откуда берутся токены, почему в  более новых моделях они больше похожи на слова, чем в старых, вы можете почитать в статье.🖥
Тут всё описать физически не получится.🚫

В итоге, наш текст разбит на набор "Токенов".
Теперь надо конвертировать его в "Вектора".❓


=== ВЕКТОРА ===

Для этого действия у нас есть "Словарь токенов".
В нём у нас лежат все "Токены" и, что очень важно, "Вектора" соответствующий каждому "Токену".🐈‍⬛
Простой пример, мы как в словаре иностранного языка находим перевод из "Токена" в "Вектор".
Русский -> Английский:
🤩"Мир"-> "World"
Токен -> Вектор:
🤩"Мир" ->  [53, 854, 755, ...]

"Вектора" - это уже математическая единица, набор цифр, как раз который уже понимает нейросеть.3️⃣2️⃣1️⃣

Так мы из текста получили набор "Токенов", которые конвертировали в набор "Векторов" которые передали в Нейросеть! 🧠

Подробнее и интереснее вы можете почитать в статье на форуме.🖥
А так же на других платформах.
VC.ru
Дзен
НЕЙРО-ФОРУМ

Пишите ваши вопросы и спрашивайте, что осталось непонятным❕