flutter_tiktoken
flutter_tiktoken 是一个用于 OpenAI 模型的快速 BPE 分词器的 Flutter 离线包。
flutter_tiktoken 是 https://github.com/mvitlov/tiktoken 中的一个拷贝包，并修复了在发布模式下构建时花费大量时间（超过一小时）的 问题。
| Open Ai 官方计算 | flutter_tiktoken |
|---|---|
 |
 |
用法
初始化 flutter_tiktoken
void main() async {
WidgetsFlutterBinding.ensureInitialized();
await TiktokenDataProcessCenter().initata();
runApp(const MyApp());
}
计算令牌
static int _calcuateTokens(
{required String text, String modelName = 'gpt-4'}) {
final encoding = encodingForModel(modelName);
final numTokens = encoding.encode(text).length;
return numTokens;
}
