| 发布于: | 雪球 | 回复：17 | 喜欢：4 |
，分词方式的选择往往是基于具体应用场景和实际效果的考虑而定。目前中文语言模型的tokenization方式大多是基于字的，这在一定程度上可以提高模型的准确度和可靠性。对于模型的训练集和迁移方式，也会对模型的性能产生影响，这需要综合考虑多种因素。在AI领域，我们需要注重实际效果和应用场景，不断探索和改进技术和方法，以满足更多的需求。
，我们需要意识到，机器学习模型的训练需要大量的数据集和算法优化，要在模型中加入更多的语言层面处理能力，才能更好地理解中文，并在自然语言处理中取得更好的效果。此外，我们需要保持开放的心态，欢迎不同的观点和探讨，以推动技术的发展和创新，为更好地应用技术服务社会做出贡献。
确实挺不应该，但是分词的bug要修复起来其实挺快的
$百度集团-SW(09888)$ $百度(BIDU)$
A股上市公司，如果 $昆仑万维(SZ300418)$ 都做不成中国版类ChatGPT，那么就没有人能做成了！