Home-theater-designers
ChatGPT покорил технологический мир, и нет недостатка в достижениях и обновлениях. Но, несмотря на использование передовых технологий, в текущей версии есть довольно много ограничивающих факторов.
Одним из таких факторов является система токенов, которая продолжает нарушать цикл эволюции, ставя полезность приложения на колени. Если вы используете ChatGPT, вам может быть интересно узнать о токенах ChatGPT и о том, что делать, когда у вас заканчиваются токены.
СДЕЛАТЬ ВИДЕО ДНЯ ПРОКРУТИТЕ, ЧТОБЫ ПРОДОЛЖИТЬ СОДЕРЖАНИЕ
Давайте сделаем шаг назад и дадим вам представление обо всем, что нужно знать о базовых рабочих механизмах приложения.
Что такое токен ChatGPT?
Если вы посмотрите на фасад приложения, все, что вы увидите, — это компьютерный язык, который подчиняется вашим командам и дает вам ответы, которые вы ищете. Тем не менее, серверная часть — это просто много кода, который учится каждую минуту и быстро справляется с вопросами, на которые он отвечает.
ChatGPT преобразует каждое слово в разборчивый токен всякий раз, когда вы задаете вопрос. Чтобы разбить его дальше, токены — это текстовые фрагменты, и каждый язык программирования использует свой набор значений токенов для понимания требований.
Поскольку компьютеры не понимают текстовые значения напрямую, они разбивают их на комбинации чисел, часто называемые вложениями. Вы даже можете рассмотреть вложения, такие как Списки Python , которые напоминают список связанных чисел, например [1.1,2.1,3.1,4.1…n].
Как только ChatGPT получает первоначальный ввод, он пытается предсказать следующий возможный ввод на основе предыдущей информации. Он выбирает весь список предыдущих токенов и, используя свой синтез кодирования, пытается упредить последующий ввод пользователя. Он использует и предсказывает по одному токену за раз, чтобы языку было проще понять его использование.
Чтобы улучшить прогнозы и повысить точность, он собирает весь список вложений и пропускает его через слои преобразователя, чтобы установить ассоциации между словами. Например, когда вы задаете вопрос типа «Кто такой Томас Эдисон?», ChatGPT выбирает самые ценные слова в списке: ВОЗ и Эдисон .
Слои-трансформеры играют свою роль во всем процессе. Эти слои представляют собой форму архитектуры нейронной сети, обученную выбирать наиболее релевантные ключевые слова из строки слов. Однако процесс обучения не так прост, как кажется, поскольку обучение слоев-трансформеров на гигабайтах данных занимает много времени.
Несмотря на то, что ChatGPT прогнозирует только один токен за раз, его авторегрессивная технология запрограммирована на прогнозирование и обратную связь с основной моделью для выпуска вывода. Модель настроена на запуск только один раз для каждого токена, поэтому результат выводится по одному слову за раз. Вывод останавливается автоматически, когда приложение встречает команду маркера остановки.
Например, если вы посмотрите на калькулятор токенов на веб-сайте ChatGPT, вы можете рассчитать использование своего токена на основе ваших вопросов.
как сделать джейлбрейк ios 11 с помощью компьютера
Давайте введем пример текста, например:
How do I explain the use of tokens in ChatGPT?
Согласно калькулятору, в этой строке 46 символов, на которые уйдет 13 токенов. Если разбить его на идентификаторы токенов, это будет выглядеть примерно так:
[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]
В соответствии с Калькулятор токенов OpenAI :