CSV / JSON Cleaning ati Field Mapper

Gbe wọle tabi lẹẹmọ UTF-8 CSV, jẹrisi awọn eto igbekalẹ, tunto awọn ofin aaye, lo ati atunyẹwo awọn iyatọ. Bọtini igbasilẹ naa ṣiṣẹ nikan ti eto ati iru awọn sọwedowo ba kọja, awọn abajade ko pari, ati pe awọn eewu agbekalẹ ni a koju ni gbangba.

Parsing ati ninu awọn ọna

Atọka ṣe iyatọ laarin ibẹrẹ aaye, aaye ti a ko sọ, aaye ti a sọ, ati awọn agbasọ ọrọ pipade, o si mu awọn apinpin, awọn agbasọ ọrọ meji, awọn laini titun ti a fi sii, ati CRLF. Ninu iṣẹ ṣiṣe idaduro, fun lorukọ mii, gee, asan, oriṣi ati iyọkuro ni aṣẹ ọwọn.

JSON gba àkójọ àwọn ohun nìkan. Àwọn iye gbọdọ̀ jẹ́ ọ̀rọ̀, nọ́ńbà, Boolean tàbí null; kò gba ohun tàbí àkójọ nínú ohun mìíràn. Ó pa bí a ṣe kọ nọ́ńbà ní ìpilẹ̀ṣẹ̀ mọ́, gbogbo sẹ́ẹ̀lì sì di ọ̀rọ̀. null, àwọn pápá tí kò sí àti ọ̀wọ́ ohun kikọ tí ó ṣófo di sẹ́ẹ̀lì òfo; a kò lè dá irú dátà ìpilẹ̀ṣẹ̀ padà. Àbájáde CSV máa ń lo àmì kọ́má àti CRLF nígbà gbogbo; gbogbo iye nínú àbájáde JSON jẹ́ ọ̀wọ́ ohun kikọ.

Apeere ti o le rii daju

Apeere ikẹkọ ni awọn laini data meji, itọsọna ati awọn aaye itọpa, ati eewu agbekalẹ = 2+3. Lẹhin lilo awọn ofin aiyipada, o yẹ ki o gba awọn ori ila meji ati awọn ọwọn mẹta, awọn iyipada gige meji, ki o tọju idinamọ igbasilẹ titi ti eto imulo agbekalẹ yoo fi yan.

Idiwọn

Nikan ṣe atilẹyin UTF-8; Iwọn faili ti o pọju 10 MiB, awọn igbasilẹ data 100,000, awọn ọwọn 500, aaye ẹyọkan 1 MiB. Awotẹlẹ n pese awọn laini 100. Ṣiṣayẹwo oriṣi jẹ ayẹwo sintasi kan ati pe ko rọpo ijẹrisi iṣowo.

Àwọn ààlà àpapọ̀: ó pọ̀ jù sẹ́ẹ̀lì 1000000 pẹ̀lú ìlà àkọlé; ìwọ̀n àbájáde tó pọ̀ jù ni 32 MiB. Ìwọ̀n ohun tí a fi wọlé tó pọ̀ jù ni 10 MiB, iye àkọsílẹ̀ tó pọ̀ jù ni 100000, iye òpó tó pọ̀ jù ni 500, ìwọ̀n pápá kọ̀ọ̀kan tó pọ̀ jù sì ni 1 MiB. Kò ṣeé dé gbogbo ààlà wọ̀nyí lẹ́ẹ̀kan náà. Àwòkọ́ṣe ń fi àkọsílẹ̀ 100 àkọ́kọ́ àti ohun kikọ 1000 tó pọ̀ jù ní pápá kọ̀ọ̀kan hàn. Dídà kọ àti gbígbà sílẹ̀ kì í gé àkóónú kúrú.

Ìpamọ ati imularada

Akoonu faili ti wa ni idaduro nikan ni iranti oju-iwe lọwọlọwọ ko si gbejade tabi kọ si Ibi ipamọ agbegbe. Itura yoo ko data naa kuro. Ifagile iṣẹ-ṣiṣe gigun ko ṣe itọju awọn abajade apa kan ati mu pada aworan kikun ti o kẹhin.