Seneste forumindlæg
Køb / Salg
 * Uofficiel Black/White liste V3
Login / opret bruger

Forum \ Programmering og webdesign \ Programmering
Denne tråd er over 6 måneder gammel

Er du sikker på, at du har noget relevant at tilføje?

Simpelt program til automatisk scanning af hjemmes...

Af Superbruger mr.mig | 28-12-2022 23:45 | 2258 visninger | 5 svar, hop til seneste
Kære alle og god bagjul :) Jeg skal have udviklet et simpelt program som skal kunne følgende: 1) Indlæse 2.500 urls i dette online scanningsværktøj - https://observatory.mozilla.org[...] 2) Eksportere / scrape resultatet til et excel-ark. Har forsøgt at forklare det i en lille proces-tegning her: https://ibb.co[...] Jeg tænker at lede efter en udvikler på fiverr.com eller lignende sted. Men for at kunne kravstille opgaven lidt bedre, har jeg brug for hjælp :) Jeg har følgende spørgsmål: - Er opgaven til at forstå, eller skal jeg uddybe den yderligere? - Hvordan skal jeg formidle opgaven? Er der tale om et enkelt program? Et script? Hvilket program / kodesprog er hensigtsmæssig til opgaven? Håber nogle af jer kan hjælpe mig videre :)
--
MvhMr.Mig
#1
SShadowS
Guru
28-12-2022 23:53

Rapporter til Admin
Der er jo intet det skal scrapes, der findes API til det hele. https://github.com[...]
--
5950X|Crosshair VIII Formula|64GB RAM ASUS3090STRIX-OC|PG279Q 980 PRO 2TB|970 EVO+ 2TB|Samsung 860 PRO 2TB 2xSamsung860 QVO 2TB|Corsair AX1600i
#2
Zerock
Elitebruger
29-12-2022 13:53

Rapporter til Admin
Jeg tænker, du gør klogt i at specificere dataformater ret detaljeret. F.eks.: Input: - liste af 2.500 uniformt specificerede URLs. - Komma og linje separeret - UTF-8 encoding - osv. Resultat: - En linje per input URL - UTF-8 encoding - Delimiter (jeg vil gætte på noget andet end komma, da du vil have tekst ind i felterne) - Forventede headers for hver søjle (giv dem sigende navne fremfor "Scraped result 1"). - Helt præcist hvad der skal optræde i hvert felt. Jeg tror jeg kan tyde 1 og 2, 3 og 4 forstår jeg ikke (ser ud som 4 springer et resultat over), og så aner jeg intet om 5+ - osv. Følg også #1's tip - brug API istedet for scraping. I forlængelse deraf så undersøg om der er limits på brug af API'en. 2.500 requests er ikke volsomt, men det kan være det vil ramme en eller anden begrænsning på servicen. Hvad sprog udvikleren vælger at arbejde i, ville jeg være ligeglad med. Så længe du kan levere et forventeligt specificeret input og få et ligeså forventeligt output.
--
#3
Mess
Giga Supporter
29-12-2022 14:11

Rapporter til Admin
Det kan jeg hjælpe med hvis du søger en dansk udvikler. Tager nok en smule mere end dem du finder på fiverr eller lignedne sider. Hvis der som #2 nævner ikke er nogle begrænsninger på tjenesten så burde det ikke tage mig mere end et par timer at lave.
--
hej
#4
Palcom
Maxi Supporter
29-12-2022 14:51

Rapporter til Admin
For mig at se, kan det hele klares i Excel. Med Power Query bør du kunne importere data fra websites direkte til dit excel-dokument. Herfra kan du præsentere dine data som du ønsker det. https://support.microsoft.com[...]
--
#5
Dare_Devil
Super Supporter
29-12-2022 16:58

Rapporter til Admin
Med lidt flere detaljer som nævnt i #2, burde opgaven være lige til at gå til. Jeg tænker at et Python script ville være et oplagt valg, men som nævnt andre steder kan det nok gøres i de fleste sprog. Jeg kunne måske godt hjælpe til, hvis jeg kan finde tiden. Du mangler at oploade listen af urls?
--
Sidst redigeret 29-12-2022 16:58

Opret svar til indlægget: Simpelt program til automatisk scanning af hjemmes...

Grundet øget spam aktivitet fra gæstebrugere, er det desværre ikke længere muligt, at oprette svar som gæst.

Hvis du ønsker at deltage i debatten, skal du oprette en brugerprofil.

Opret bruger | Login
NYHEDSBREV
Afstemning


ANNONCE