📱CleverCSV.

CleverCSV — это пакет на Python, который призван решить некоторые проблемы CSV файлов, сохраняя при этом их преимущества.

✅Пакет автоматически определяет (с высокой точностью) формат (диалект) CSV файлов, что упрощает загрузку файла без необходимости его ручной проверки.

✅CleverCSV основан на научных данных. Были изучены тысячи реальных CSV файлов, чтобы найти надежный способ автоматического определения диалекта файла. Это может показаться простой задачей, но для компьютера CSV файл — это просто длинная строка, и каждый диалект даст вам некоторую таблицу.

✅В CleverCSV используется метод, основанный на паттернах длины строк и типах данных полученных ячеек. С этим методом достигается 97% точности в определении диалектов, что на 21% лучше для нестандартных (неупорядоченных) CSV файлов по сравнению со стандартной библиотекой Python.

💡CleverCSV — отличная замена стандартному пакету Python csv с улучшенным определением диалектов для неупорядоченных CSV файлов. Также включает удобный инструмент командной строки, который может стандартизировать неупорядоченные файлы или генерировать Python код для их импорта.

#Python #CSV #CleverCSV #DataScience #MachineLearning #DataCleaning #DataWrangling #OpenSource #DataAnalysis #DataEngineering

📱Ссылка на репозиторий:
https://github.com/alan-turing-institute/CleverCSV