U
    ãÇ-ei
  ã                   @   s`  U d dl Z d dlZd dlmZ d dlmZmZ ddlmZ ddlmZ ddl	m	Z	 ddl
m
Z
 dd	lmZ dd
lmZ ddlmZ ddlmZ ddlmZ ee edœdd„Ze	jee  e	¡ ¡ ƒfejee  e¡ ¡ ƒfejee  e¡ ¡ ƒfejee  e¡ ¡ ƒfejee  e¡ ¡ ƒfejee  e¡ ¡ ƒfe
jee  e
¡ ¡ ƒfejee  e¡ ¡ ƒfdœZdi fdddifdi fdi fdi fdi fdi fdœZe dd„ e
jjD ƒ¡ e dd„ e
jjD ƒ¡ e dd„ ejjD ƒ¡ e dd„ ejjD ƒ¡ dd hZi Zeeee f ed!< e ¡ D ] \Z\Z Z!e "e g ¡ #e¡ q eD ]Z ee   #d"¡ qFdS )#é    N)Úsha256)ÚDictÚListé   )Úarrow©Úaudiofolder)Úcsv©Úimagefolder)Újson)Úpandas)Úparquet)Úsql)Útext)ÚlinesÚreturnc                 C   sJ   g }| D ] }t  dd|¡}|r| |¡ qd |¡}| d¡}t|ƒ ¡ S )Nz#.*Ú Ú
zutf-8)ÚreÚsubÚappendÚjoinÚencoder   Ú	hexdigest)r   Zfiltered_linesÚlineZfull_strZ
full_bytes© r   úc/var/www/html/Darija-Ai-Train/env/lib/python3.8/site-packages/datasets/packaged_modules/__init__.pyÚ_hash_python_lines   s    

r   )r	   r   r   r   r   r   r   r   r	   Úsepú	r   r   r   r   )z.csvz.tsvz.jsonz.jsonlz.parquetz.arrowz.txtc                 C   s   i | ]}|d i f“qS r
   r   ©Ú.0Úextr   r   r   Ú
<dictcomp>4   s      r$   c                 C   s   i | ]}|  ¡ d i f“qS r
   ©Úupperr!   r   r   r   r$   5   s      c                 C   s   i | ]}|d i f“qS r   r   r!   r   r   r   r$   6   s      c                 C   s   i | ]}|  ¡ d i f“qS r   r%   r!   r   r   r   r$   7   s      r   r   Ú_MODULE_TO_EXTENSIONSz.zip)$Úinspectr   Úhashlibr   Útypingr   r   r   r   r	   r   r   r   r   r   r   Ústrr   Ú__name__Ú	getsourceÚ
splitlinesZ_PACKAGED_DATASETS_MODULESZ_EXTENSION_TO_MODULEÚupdateZImageFolderZ
EXTENSIONSZAudioFolderZ_MODULE_SUPPORTS_METADATAr'   Ú__annotations__ÚitemsZ_extÚ_moduleÚ_Ú
setdefaultr   r   r   r   r   Ú<module>   sR    ø
ù	