Rekurzív grep vs find / -típus f -exec grep {} \; Melyik hatékonyabb / gyorsabb?

Nem vagyok biztos benne:

grep -r -i "the brown dog" /* 

erre gondoltál. Ez azt jelentené, hogy rekurzívan grep az összes nem rejtett fájl és mappa a / fájlban (de a rejtett fájlokba és azokba belenézhet).

Feltételezve, hogy ezt értette:

grep -r -i "the brown dog" / 

Néhány megjegyzendő dolog:

• Nem minden grep megvalósítás támogatja a -r. És az ilyenek között a viselkedés eltér: egyesek a könyvtárakra mutató hivatkozásokat követik a könyvtárfán való áthaladáskor (ami azt jelenti, hogy végül verális idők ugyanabban a fájlban, vagy akár végtelen ciklusokban futnak), egyesek nem. Néhányan belenéznek az eszközfájlokba (és ez például sokáig tart például a /dev/zero fájlokban), vagy a pipe-okban vagy a bináris fájlokban … vannak, akik nem.
• Hatékony, mivel a grep fájlok belsejébe kezd keresni, amint felfedezi őket. De bár egy fájlban kinéz, már nem keres több fájlt keresésre (amely valószínűleg a legtöbb esetben ugyanolyan jól működik)

Az Ön:

find / -type f -exec grep -i "the brown dog" {} \; 

(eltávolította a aminek itt nem volt értelme) szörnyen nem hatékony, mert fájlonként egy grep fájlt futtat. A ; csak azokhoz a parancsokhoz használható, amelyek csak egy argumentumot fogadnak el. Ráadásul itt, mivel a grep csak egy fájlban néz ki, a fájl nevét nem fogja kinyomtatni, így nem tudhatja, hogy hol vannak az egyezések.

Ön ” nem nézel az eszközfájlokba, csövekbe, szimpla linkekbe …, nem követed a szimpla linkeket, de még mindig olyan dolgokat keresel, mint a /proc/mem.

find / -type f -exec grep -i "the brown dog" {} + 

sokkal jobb lenne, mert a lehető legkevesebb grep parancs futna. Megkapja a fájl nevét, kivéve, ha az utolsó futtatásnak csak egy fájlja van. Ehhez jobb használni:

find / -type f -exec grep -i "the brown dog" /dev/null {} + 

vagy GNU

:

find / -type f -exec grep -Hi "the brown dog" {} + 

Ne feledje, hogy a grep csak find elég fájlt talált ahhoz, hogy rágódjon rajta, ezért lesz némi kezdeti késés. És a find addig nem folytat további fájlok keresését, amíg az előző grep vissza nem tér. A nagy fájllista kiosztásának és átadásának van némi (valószínűleg elhanyagolható) hatása, így összességében valószínűleg kevésbé lesz hatékony, mint egy grep -r, amely nem követi a symlinket vagy a kinézetet az eszközök belsejében.

GNU eszközökkel:

find / -type f -print0 | xargs -r0 grep -Hi "the brown dog" 

A fentiek szerint néhány grep a lehetséges példányok futtatásra kerülnek, de a find folytatja a további fájlok keresését, míg az első grep meghívás az első köteg belsejében keres. Ez lehet vagy nem előny.Például forgó merevlemezeken tárolt adatok esetén a find és a grep lemez különböző helyein tárolt adatokhoz való hozzáférés lelassítja a lemezt áteresztőképességet a lemezfej állandó mozgatásával RAID-beállításban (ahol find és grep különböző lemezekhez férhet hozzá) vagy SSD-ken ez pozitív változást eredményezhet.

RAID-beállításban több egyidejű grep meghívás futtatása is javíthat a dolgon. A RAID1 tárhelyen lévő 3 lemezes GNU eszközök mellett továbbra is

find / -type f -print0 | xargs -r0 -P2 grep -Hi "the brown dog" 

jelentősen növelheti a teljesítményt. Vegye figyelembe azonban, hogy a második grep csak akkor indul el, ha elegendő fájl található az első grep parancs kitöltéséhez. Hozzáadhat egy -n beállítást a xargs elemhez, hogy ez hamarabb megtörténjen (és kevesebb fájlt adjon át grep invokáció).

Vegye figyelembe azt is, hogy ha a xargs kimenetet másra irányítja, csak egy végberendezésre, akkor a greps s megkezdi a kimenetük pufferelését, ami azt jelenti, hogy valószínűleg a grep k kimenetét helytelenül fogják összeszövni. A következőt kell használni: >

Ha SSD-t használsz és időt keresel elhanyagolható, használhatná a GNU párhuzamot:

find /path -type f | parallel --gnu --workdir "$PWD" -j 8 " grep -i -r "the brown dog" {} " 

Ez akár 8 grep folyamatot is végrehajt egyidejűleg a megtalálva.

Ez megsemmisíti a merevlemez-meghajtót, de az SSD-nek elég jól kell megbirkóznia vele.

Ebben a tekintetben még egy szempontot figyelembe kell venni.

Tartalmaz-e többet azok a könyvtárak, amelyeket grep nek rekurzívan kell átnéznie? fájlokat, mint a rendszer nofile beállítását? (pl. a megnyitott fájlkezelők száma, alapértelmezés szerint 1024 a legtöbb linuxos disztribúción)

Ha igen, akkor a find mindenképpen a megfelelő út, mivel a grep egy argumentumlista túl hosszú hibával fordul elő, ha olyan könyvtárba ütközik, amelynek több fájlja van, mint a maximálisan megnyitott fájl kezeli a beállítást.

Csak az én 2-esem.

Megjegyzések

• Miért lenne grep bombázni? Legalább a GNU grep használatával, ha megad egy utat / és a -R it egyszerûen végigmegyek a könyvtárakon keresztül. A shell nem fog ‘ bővíteni semmit, hacsak nem ad meg shell-globusokat. Tehát az adott példában (/*) csak a / tartalma számít, nem pedig azok az almappák, amelyeket egyszerűen felsorol a grep, nem került átadásra argumentumként a héjból.
• Nos, figyelembe véve az OP-t, a rekurzív keresés kérdése volt (pl. -r -i ‘ a barna kutya ‘ / * “), láttam A GNU ‘ s grep (legalább a 2.9-es verzió) bomba: ” -bash: / bin / grep: Az argumentumlista túl hosszú ” az OP pontos keresésével egy olyan könyvtárban, amelyben több mint 140 000 alkönyvtár volt.