U
    9%e                  A   @   sd  d dl mZ d dl mZ d dl mZ d dl mZ e	 Z
ejddddejd	d
Zejdddeejejdd dddejdejdddddejdejdddddejdejdddddejdgddddd
Ze
e ejdddeejejdd dddejdejdddddejdejdddddejdejdddddejdejd dd!ddejdejd"d#d#ddejdgddd$d%d
Ze
e ejd&d'dedejejd(d)d dd*d*dd+g dddd+ddeejd,ejd-d.dd/d*d*dd+d0d1dddd+ddeejd,ejd2d3ddd*d*dd+d0d1dddd+ddeejd,ejd4d5ddd6d7dd8ddddd+ddeejd,ejd9d:ddd#ddd8d;dddd+ddeejd,ejd<d=d#d#d*d*dd+g dddd+ddeejd,ejd>d?d!d!d#ddd8d dddd+ddeejd,ejd@dAd/dBdd!dd8edCdddd+ddeejd,ejdDdEd7dFdddd8d dddd+ddeejd,ejdGdHd*dId7d/dd8d8dddd+ddeejd,ejdJdKdBdLd#ddd+d dddd+ddMeejd,ejdNdOdFdPd#ddd+d dddd+ddMeejd,ejdQdRdLd6d#ddd8dSdddd+ddeejd,ejdTdUdPdVdd!dd8edWdddd+ddeejd,ejdXdYd6dZd#ddd8d[dddd+ddeejd,ejd\d]dVd^d#ddd8d^dddd+ddeejd,ejd_d`d^dad#ddd8ddddd+ddeejd,ejdbdcdaddd#ddd8d^dddd+ddeejd,ejdedfdZdgd7d/dd8d8dddd+ddeejd,ejdhdidIdjd7d/dd8d8dddd+ddeejd,ejdkdldddmd7d/dd8d8dddd+ddeejd,ejdndodgdpd7d/dd8d+dddd+ddeejd,ejdqdrdmdsd7d/dd8d+dddd+ddeejd,ejdtdudjdvd*d*dd+g dddd+ddeejd,ejdwdxdpdyd*d*dd+g dddd+ddeejd,ejdzd{dsd|d*d*dd+d0d1dddd+ddeejd,ejd}d~ddd7d/dd8d+dddd+ddeejd,ejddddd7d/dd8d8dddd+ddeejd,ejddddd7d/dd8d8dddd+ddeejd,ejddddd7d/dd8d+dddd+ddeejd,ejdddvdd#ddd8d dddd+ddeejd,ejdddydd#ddd8ddddd+ddeejd,ejddddd#ddd8ddddd+ddeejd,ejddddd#ddd8ddddd+ddeejd,ejddddd*d*dd8dd1dddd+ddeejd,ejddddd*d*dd8dd1dddd+ddeejd,ejddd|dd*d*dd8dd1dddd+ddeejd,ejddddd*d*dd8dd1dddd+ddeejd,ejddddd*d*dd8dd1dddd+ddeejd,ejddddd7d/dd8d+dddd+ddeejd,g(g g egdd8ddgg dddZejdddedejejddd dd*d*dd+d0d1dddd+ddeejd,ejdddddLd*dd+d0dddd+ddeejd,ejddddd7d/dd8d8dddd+ddeejd,ejddddd7d/dd8d8dddd+ddeejd,ejdddd#d7d/dd8d8dddd+ddeejd,ejddd#d!d*d*dd+d0d1dddd+ddeejd,gg g g dd8ddgg dddZejdddedejejd(dd dd*d*dd+d0d1dddd+ddeejd,ejddddd*d*dd+d0d1dddd+ddeejd,gg g g dd+dg g dddZejdddedejejddd ddFdBdd+g dddd+ddeejd,gg egg dd8ddgg dddZejdddedejejddd dd*d*dd+d0d1dddd+ddeejd,ejdddddd!dd+ed dddd+ddeejd,ejddddd6d7dd8ddddd+ddeejd,gg g egdd8ddgg dddZejdddedejejddd ddFdBdd+g dddd+ddeejd,ejdddddFdBdd+ddddd+ddeejd,ejdddddFdBdd+ddddd+ddeejd,ejdddddFdBdd+ddddd+ddeejd,ejdddd#dFdBdd+ddddd+ddeejd,gg egg dd8ddgg dddZeejd4 _ee_ee_eejd _ eejd _ee_ee_eejd _ eejd _ eejd _ eejd _ eejd _ eej!d&< eej!d< eej!d< eej!d< e
"e e#d&ej$feddZ%e
&e% e#dej$feddZ'e
&e' e#dej$fe#dej$feddeddZ(e
&e( e
&e(j) e#dej$fe#dej$feddeddZ*e
&e* e
&e*j+ de_,dejdJ _,dejdN _,dS )    )
descriptor)message)
reflection)symbol_databasezsentencepiece_model.protoZsentencepieceZproto2s   Hs  
sentencepiece_model.protosentencepiece"

TrainerSpec
input (	
input_format (	
model_prefix (	A

model_type (2$.sentencepiece.TrainerSpec.ModelType:UNIGRAM

vocab_size (:8000
accept_language (	 
self_test_sample_size (:0"
character_coverage
 (:0.9995
input_sentence_size (:0$
shuffle_input_sentence (:true 
mining_sentence_size (B"
training_sentence_size (B(
seed_sentencepiece_size (:1000000
shrinking_factor (:0.75!
max_sentence_length (:4192
num_threads (:16
num_sub_iterations (:2$
max_sentencepiece_length (:16%
split_by_unicode_script (:true
split_by_number (:true!
split_by_whitespace (:true)
treat_whitespace_as_suffix (:false
split_digits (:false
control_symbols (	
user_defined_symbols (	
required_chars$ (	
byte_fallback# (:false+
vocabulary_output_piece_score  (:true
hard_vocab_limit! (:true
use_all_vocab" (:false
unk_id( (:0
bos_id) (:1
eos_id* (:2
pad_id+ (:-1
	unk_piece- (	:<unk>
	bos_piece. (	:<s>
	eos_piece/ (	:</s>
	pad_piece0 (	:<pad>
unk_surface, (	: ⁇ +
train_extremely_large_corpus1 (:false"5
	ModelType
UNIGRAM
BPE
WORD
CHAR*	"
NormalizerSpec
name (	
precompiled_charsmap (
add_dummy_prefix (:true&
remove_extra_whitespaces (:true 
escape_whitespaces (:true
normalization_rule_tsv (	*	"y
SelfTestData3
samples (2".sentencepiece.SelfTestData.Sample)
Sample
input (	
expected (	*	"

ModelProto7
pieces (2'.sentencepiece.ModelProto.SentencePiece0
trainer_spec (2.sentencepiece.TrainerSpec6
normalizer_spec (2.sentencepiece.NormalizerSpec3
self_test_data (2.sentencepiece.SelfTestData8
denormalizer_spec (2.sentencepiece.NormalizerSpec
SentencePiece
piece (	
score (B
type (2,.sentencepiece.ModelProto.SentencePiece.Type:NORMAL"T
Type

NORMAL
UNKNOWN
CONTROL
USER_DEFINED
BYTE

UNUSED*	*	BH)namepackagesyntaxserialized_options
create_keyZserialized_pbZ	ModelTypez#sentencepiece.TrainerSpec.ModelTypeNZUNIGRAM   )r   indexnumberr	   typer
   ZBPE   ZWORD   ZCHAR   i  iC  )
r   	full_namefilenamefiler
   valuescontaining_typer	   serialized_startserialized_endTypez+sentencepiece.ModelProto.SentencePiece.TypeZNORMALUNKNOWNCONTROLZUSER_DEFINEDZBYTE   ZUNUSED   i4  i  TrainerSpeczsentencepiece.TrainerSpecinputzsentencepiece.TrainerSpec.input	   F)r   r   r   r   r   Zcpp_typelabelZhas_default_valuedefault_valuemessage_type	enum_typer   Zis_extensionZextension_scoper	   r   r
   Zinput_formatz&sentencepiece.TrainerSpec.input_format       zutf-8Zmodel_prefixz&sentencepiece.TrainerSpec.model_prefixZ
model_typez$sentencepiece.TrainerSpec.model_type      TZ
vocab_sizez$sentencepiece.TrainerSpec.vocab_sizei@  Zaccept_languagez)sentencepiece.TrainerSpec.accept_languageZself_test_sample_sizez/sentencepiece.TrainerSpec.self_test_sample_sizeZcharacter_coveragez,sentencepiece.TrainerSpec.character_coverage
   gCl?Zinput_sentence_sizez-sentencepiece.TrainerSpec.input_sentence_size   Zshuffle_input_sentencez0sentencepiece.TrainerSpec.shuffle_input_sentence   Zmining_sentence_sizez.sentencepiece.TrainerSpec.mining_sentence_size   s   Ztraining_sentence_sizez0sentencepiece.TrainerSpec.training_sentence_size   Zseed_sentencepiece_sizez1sentencepiece.TrainerSpec.seed_sentencepiece_sizei@B Zshrinking_factorz*sentencepiece.TrainerSpec.shrinking_factor   g      ?Zmax_sentence_lengthz-sentencepiece.TrainerSpec.max_sentence_length   i`  Znum_threadsz%sentencepiece.TrainerSpec.num_threads   Znum_sub_iterationsz,sentencepiece.TrainerSpec.num_sub_iterations   Zmax_sentencepiece_lengthz2sentencepiece.TrainerSpec.max_sentencepiece_length   Zsplit_by_unicode_scriptz1sentencepiece.TrainerSpec.split_by_unicode_script   Zsplit_by_numberz)sentencepiece.TrainerSpec.split_by_number   Zsplit_by_whitespacez-sentencepiece.TrainerSpec.split_by_whitespace   Ztreat_whitespace_as_suffixz4sentencepiece.TrainerSpec.treat_whitespace_as_suffix   Zsplit_digitsz&sentencepiece.TrainerSpec.split_digits   Zcontrol_symbolsz)sentencepiece.TrainerSpec.control_symbols   Zuser_defined_symbolsz.sentencepiece.TrainerSpec.user_defined_symbols   Zrequired_charsz(sentencepiece.TrainerSpec.required_chars$   Zbyte_fallbackz'sentencepiece.TrainerSpec.byte_fallback   #   Zvocabulary_output_piece_scorez7sentencepiece.TrainerSpec.vocabulary_output_piece_score       Zhard_vocab_limitz*sentencepiece.TrainerSpec.hard_vocab_limit   !   Zuse_all_vocabz'sentencepiece.TrainerSpec.use_all_vocab   "   Zunk_idz sentencepiece.TrainerSpec.unk_id(   Zbos_idz sentencepiece.TrainerSpec.bos_id)   Zeos_idz sentencepiece.TrainerSpec.eos_id*   Zpad_idz sentencepiece.TrainerSpec.pad_id+   Z	unk_piecez#sentencepiece.TrainerSpec.unk_piece-   s   <unk>Z	bos_piecez#sentencepiece.TrainerSpec.bos_piece.   s   <s>Z	eos_piecez#sentencepiece.TrainerSpec.eos_piece/   s   </s>Z	pad_piecez#sentencepiece.TrainerSpec.pad_piece%   0   s   <pad>Zunk_surfacez%sentencepiece.TrainerSpec.unk_surface&   ,   s    ⁇ Ztrain_extremely_large_corpusz6sentencepiece.TrainerSpec.train_extremely_large_corpus'   1   )   i    iN  )r   r   r   r   r   r
   fields
extensionsZnested_types
enum_typesr	   Zis_extendabler   Zextension_rangesZoneofsr   r   NormalizerSpeczsentencepiece.NormalizerSpecr   z!sentencepiece.NormalizerSpec.nameZprecompiled_charsmapz1sentencepiece.NormalizerSpec.precompiled_charsmapZadd_dummy_prefixz-sentencepiece.NormalizerSpec.add_dummy_prefixZremove_extra_whitespacesz5sentencepiece.NormalizerSpec.remove_extra_whitespacesZescape_whitespacesz/sentencepiece.NormalizerSpec.escape_whitespacesZnormalization_rule_tsvz3sentencepiece.NormalizerSpec.normalization_rule_tsviQ  i"  Samplez!sentencepiece.SelfTestData.Samplez'sentencepiece.SelfTestData.Sample.inputexpectedz*sentencepiece.SelfTestData.Sample.expectedii  i  SelfTestDatazsentencepiece.SelfTestDataZsamplesz"sentencepiece.SelfTestData.samplesi$  i  SentencePiecez&sentencepiece.ModelProto.SentencePieceZpiecez,sentencepiece.ModelProto.SentencePiece.pieceZscorez,sentencepiece.ModelProto.SentencePiece.scorer   z+sentencepiece.ModelProto.SentencePiece.typei  i  
ModelProtozsentencepiece.ModelProtopieceszsentencepiece.ModelProto.piecesZtrainer_specz%sentencepiece.ModelProto.trainer_specZnormalizer_specz(sentencepiece.ModelProto.normalizer_specZself_test_dataz'sentencepiece.ModelProto.self_test_dataZdenormalizer_specz*sentencepiece.ModelProto.denormalizer_speci  i  Zsentencepiece_model_pb2)
DESCRIPTOR
__module__)rV   r\   r]   )rY   r\   r]   )-Zgoogle.protobufr   Z_descriptorr   _messager   Z_reflectionr   Z_symbol_databaseZDefaultZ_sym_dbZFileDescriptorZ_internal_create_keyr\   ZEnumDescriptorZEnumValueDescriptorZ_TRAINERSPEC_MODELTYPEZRegisterEnumDescriptorZ_MODELPROTO_SENTENCEPIECE_TYPEZ
DescriptorZFieldDescriptordecodefloatZ_TRAINERSPECZ_NORMALIZERSPECZ_SELFTESTDATA_SAMPLEZ_SELFTESTDATAZ_MODELPROTO_SENTENCEPIECEZ_MODELPROTOZfields_by_namer$   r   r#   Zmessage_types_by_nameZRegisterFileDescriptorZGeneratedProtocolMessageTypeMessager   ZRegisterMessagerU   rX   rV   rZ   rY   _options rc   rc   i/var/www/html/Darija-Ai-API/env/lib/python3.8/site-packages/transformers/utils/sentencepiece_model_pb2.py<module>   s  8"-
2=
                        t  (;-;Rax




	
	
	
	
