Phenquestions
Sellel on järeldus. Selle tagajärg on see, et Google'is on palju kasulikke andmeid ja see nõuab nende kuldsete andmete kraapimist. Kraapitud andmeid saab kasutada andmete kvaliteedi analüüsimiseks ja suurepäraste teadmiste avastamiseks. See võib olla oluline ka suurepärase uurimisteabe saamiseks ühel katsel.
Kraapimisest rääkides saab seda teha kolmandate osapoolte tööriistadega. Seda saab teha ka Pythoni teegiga, mis on tuntud kui Scrapy. Scrapy on hinnatud üheks parimaks kraapimisvahendiks ja seda saab kasutada peaaegu kõigi veebilehtede kraapimiseks. Lisateavet saate Scrapy teegist.
Kuid hoolimata selle suurepärase raamatukogu tugevustest. Andmete kraapimine Google'is võib olla üks keeruline ülesanne. Google langeb kõikidele veebi kraapimiskatsetele raskelt, tagades, et skriptide kraapimine ei tekitaks tunni jooksul enne IP-aadressi keelamist isegi nii palju kümmet kraapimistaotlust. See muudab kolmanda osapoole ja isikliku veebi kraapimise skriptid kasutuks.
Google annab küll võimaluse teavet kraapida. Kuid mis tahes kraapimine peaks toimuma rakenduse programmeerimisliidese (API) kaudu.
Lihtsalt lisage, kui te juba ei tea, mis on rakenduse programmeerimisliides, pole midagi muretseda, sest ma esitan lühikese selgituse. Definitsiooni järgi on API funktsioonide ja protseduuride kogum, mis võimaldab luua rakendusi, mis pääsevad juurde operatsioonisüsteemi, rakenduse või muu teenuse funktsioonidele või andmetele. Põhimõtteliselt võimaldab API juurdepääsu protsesside lõpptulemusele, ilma et peaksite neis protsessides osalema. Näiteks annab temperatuuri API teile koha Celsiuse / Fahrenheiti väärtused ilma, et peaksite ise mõõtmisteks termomeetriga minema.
Selle toomine Google'ist teabe kraapimise valdkonda võimaldab meie kasutatav API meile juurdepääsu vajalikule teabele, ilma et peaksime Google'i otsingu tulemuste lehe kraapimiseks kirjutama ühtegi skripti. API kaudu on meil lihtsalt juurdepääs lõpptulemusele (pärast seda, kui Google nende lõpus "kraapib"), ilma et peaksime veebilehtede kraapimiseks koodi kirjutama.
Kuigi Google'il on erinevatel eesmärkidel palju API-sid, kasutame selle artikli jaoks kohandatud otsingu JSON API-d. Lisateavet selle API kohta leiate siit.
See API võimaldab meil teha päevas 100 otsingupäringut tasuta, hinnaplaanid on saadaval vajaduse korral täiendavate päringute esitamiseks.
Kohandatud otsingumootori loomine
Kohandatud otsingu JSON API kasutamiseks oleks meil vaja kohandatud otsingumootori ID-d. Peaksime siiski kõigepealt looma kohandatud otsingumootori, mida saab siin teha.
Kui külastate kohandatud otsingumootori lehte, klõpsake uue otsingumootori loomiseks nuppu "Lisa".
Sisestage väljale „Saidid, mida otsida” lihtsalt „www.linuxhint.com ”ja lahtrisse„ Otsingumootori nimi ”sisestage mis tahes teie valitud kirjeldav nimi (eelistatav oleks Google).
Nüüd klõpsake kohandatud otsingumootori loomiseks nuppu „Loo“ ja loomise edukuse kinnitamiseks klõpsake lehel nuppu „Juhtpaneel“.
Selle all näete jaotist „Otsingumootori ID” ja selle ID-d, see on ID, mida me API jaoks vajame, ja me viitame sellele hiljem selles õpetuses. Otsingumootori ID peaks olema privaatne.
Enne lahkumist pidage meeles, et panime sisse „www.linuhint.com ”varem. Selle seade korral saaksime tulemusi ainult saidilt. Kui soovite saada kogu veebiotsingu tavapäraseid tulemusi, klõpsake vasakpoolses menüüs valikut „Seadistamine” ja seejärel klõpsake vahekaarti „Põhitõed”. Minge jaotisse „Kogu veebis otsimine” ja lülitage see funktsioon sisse.
API-võtme loomine
Pärast kohandatud otsingumootori loomist ja selle ID saamist oleks järgmine luua API võti. API-võti võimaldab juurdepääsu API-teenusele ja see peaks pärast loomist olema turvaline nagu otsingumootori ID.
API-võtme loomiseks külastage saiti ja klõpsake nuppu "Hankige võti".
Looge uus projekt ja andke sellele kirjeldav nimi. Klõpsates nupul „Järgmine“, luuakse API-võti.
Järgmisel lehel on meil erinevad häälestusvõimalused, mis pole selle õpetuse jaoks vajalikud, nii et klõpsake lihtsalt nuppu "Salvesta" ja oleme valmis minema.
Juurdepääs API-le
Oleme kohandatud otsingu ID ja API võtme hankimisega hästi hakkama saanud. Järgmisena kasutame API-d.
Kuigi API-le pääseb juurde teiste programmeerimiskeeltega, teeme seda Pythoniga.
API-ga pääsemiseks Pythoniga peate installima Pythoni jaoks Google API kliendi. Selle saab installida paketi pip install abil järgmise käsuga:
pip installige google-api-python-klientPärast edukat installimist saate nüüd kogu meie koodi importida.
Suurem osa tehtavast toimuks läbi alloleva funktsiooni:
alates googleapiclient.avastamise impordi järkmy_api_key = "Teie API võti"
my_cse_id = "Teie täpp-ID ID"
def google_search (otsingu_termin, api_key, cse_id, ** kwargs):
service = build ("tolliotsing", "v1", arendajaKlahv = api_key)
res = teenus.cse ().loend (q = otsingu_termin, cx = cse_id, ** kwargs).täitma ()
tagastama res
Ülaltoodud funktsioonis on my_api_key ja my_cse_id muutujad tuleks stringi väärtusena asendada vastavalt API võtmega ja otsingumootori ID-ga.
Nüüd tuleb teha ainult otsingutermini kaudu edastatav funktsioon, api-võti ja cse-id.
result = google_search ("Kohv", my_api_key, my_cse_id)print (tulemus)
Ülaltoodud funktsioonikõne otsib märksõna „Kohv” ja määrab tagastatava väärtuse väärtusele tulemus muutuja, mis seejärel trükitakse. JSON-i objekti tagastab kohandatud otsingu API, seetõttu vajaks tulemuseks oleva objekti edasine parsimine JSON-i vähe teadmisi.
Seda on näha allpool toodud tulemuse valimist:
Eespool tagastatud JSON-objekt on väga sarnane Google'i otsingu tulemusega:
Kokkuvõte
Google'i teabe hankimine pole tegelikult stressi väärt. Kohandatud otsingu API muudab kõigi elu lihtsaks, kuna ainus raskus on JSON-objekti vajaliku teabe jaoks sõelumine. Meeldetuletuseks pidage alati meeles, et oma kohandatud otsingumootori ID ja API võtme väärtused tuleb hoida privaatsena.
