Skip to content
Projects
Groups
Snippets
Help
Loading...
Help
Support
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
M
Mynij-unit-tests
Project overview
Project overview
Details
Activity
Releases
Repository
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Issues
0
Issues
0
List
Boards
Labels
Milestones
Merge Requests
0
Merge Requests
0
Analytics
Analytics
Repository
Value Stream
Wiki
Wiki
Snippets
Snippets
Members
Members
Collapse sidebar
Close sidebar
Activity
Graph
Create a new issue
Commits
Issue Boards
Open sidebar
Alexandra Rogova
Mynij-unit-tests
Commits
541a9b6f
Commit
541a9b6f
authored
Oct 29, 2019
by
Alexandra Rogova
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
sitemap crawling and parsing test
parent
9e9a776c
Changes
3
Hide whitespace changes
Inline
Side-by-side
Showing
3 changed files
with
2930 additions
and
0 deletions
+2930
-0
add_sitemap.js
add_sitemap.js
+47
-0
test_files/SITEMAP/20minutes_2741.xml
test_files/SITEMAP/20minutes_2741.xml
+2745
-0
test_files/SITEMAP/44svt_135.xml
test_files/SITEMAP/44svt_135.xml
+138
-0
No files found.
add_sitemap.js
0 → 100644
View file @
541a9b6f
const
puppeteer
=
require
(
'
puppeteer
'
);
const
Server
=
require
(
'
ws
'
).
Server
;
const
args
=
require
(
"
yargs
"
)
.
usage
(
"
Usage : add_sitemap.js -file file_path
"
)
.
demandOption
([
'
file
'
])
.
alias
(
"
f
"
,
"
file
"
)
.
describe
(
"
file
"
,
"
path to the Sitemap XML File
"
)
.
nargs
(
"
file
"
,
1
)
.
argv
;
var
browser
,
start
;
function
init_server
(){
var
port
=
9030
;
var
ws
=
new
Server
({
port
:
port
});
ws
.
on
(
'
connection
'
,
function
(
w
){
w
.
on
(
'
message
'
,
function
(
msg
){
if
(
msg
.
includes
(
"
Done
"
)){
var
now
=
Date
.
now
()
console
.
log
(
msg
+
"
in
"
+
(
now
-
start
)
/
1000
+
"
s
"
);
ws
.
close
();
browser
.
close
();
}
else
{
console
.
log
(
msg
);
ws
.
close
();
browser
.
close
();
}
});
w
.
on
(
'
close
'
,
function
()
{
ws
.
close
();
});
});
}
(
async
()
=>
{
init_server
();
browser
=
await
puppeteer
.
launch
();
var
page
=
await
browser
.
newPage
();
await
page
.
goto
(
'
https://softinst115787.host.vifib.net/public/unit_tests/add_sitemap.html
'
);
start
=
Date
.
now
();
const
[
fileChooser
]
=
await
Promise
.
all
([
page
.
waitForFileChooser
(),
page
.
click
(
'
input#load
'
)
]);
await
fileChooser
.
accept
([
args
.
file
]);
})();
test_files/SITEMAP/20minutes_2741.xml
0 → 100644
View file @
541a9b6f
This source diff could not be displayed because it is too large. You can
view the blob
instead.
test_files/SITEMAP/44svt_135.xml
0 → 100644
View file @
541a9b6f
<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns=
"http://www.sitemaps.org/schemas/sitemap/0.9"
>
<url><loc>
http://44.svt.free.fr/
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/nouveau.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/enseignants_innovants.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/okapi.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/gallerand.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/mentions_legales.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/primaire.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/5.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/6.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/4_2007.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_2008.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/seconde.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/logiciels_svt_traduits.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/doc.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/ticer.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/edd.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/applicat.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/error404.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/videos.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/photos.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/biodiversite.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/grippe-porcine.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/seisme-italien.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/bardintzeff.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/b2i.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/svt44.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/interviews.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/livre-svt.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/livre-svt-5.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/livre-svt-4.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/capture-video.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/livre-svt-3.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/google.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/vtt_2.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/creer_site.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/liens_svt.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/outils.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/rechercher.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/sitesvt.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/socle_commun-svt.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/recreation.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/logsvt.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/PresseBook.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/livre_d_or.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/statistiques.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/media.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/dissection_souris.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/germination.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/moutarde.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/pelote.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/plante.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/cloporte.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/organisation_spatiale.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/seisme.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/nutrition_lentilles.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg2/v-nv/v-nv.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/respiration-criquets.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/groupes_sanguins.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/evolution_selection_naturelle.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/chaine_alimentaire.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/croissance_phasme.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/croissance_ble.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/fossile_stratigraphique.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/frise_geologique.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/forum-enseignants-innovants-2013.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/mitose.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/tour_de_france_d_unumerique_2013.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/lait_yogourt.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/prezi.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/global_forum_prague.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/devenir_male_ou_femelle.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/experience_fabre.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/volcans.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/forum-enseignants-innovants-2012.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/futur-en-seine-2012.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/doc/sol.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/phylo-classe.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/regulation_pression-arterielle.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/pyrrhocores.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/videos-bardintzeff.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/deplacement-continents.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/1ere_svt.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/determination.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/pain.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/organisation_vivant.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/espece.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/eau.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/doc/hermelles.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/experiences-peuplement-milieu.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/microscope.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/cigognes.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/tbi.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/volcanologue_3.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/beaulieu_hiver.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/pollution2.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_6.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_8.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_9.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_11.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_10.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_12.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_4.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_3.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_2.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/3_1.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg2/pain/
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/livre_svt_3_grille.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/ibis.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/maree_noire_loire.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/modelisation.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/graphique.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/peuplement.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/reproduction_vegetative.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/vegetaux_hiver.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/libellule.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/migrations.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/guppy.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/surstey.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/petitbois.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/peuplement_milieu.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/beaulieu.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/livre_svt_4_grille.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/vanilline.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/classification/
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/eau_chaux.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/circulation.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/vtt.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/doc/Flash/default.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/doc/moutarde.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/doc/fougere3.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/tice-svt.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/doc/cellules.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/doc/fougere.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/doc/criquets.htm
</loc></url>
<url><loc>
http://44.svt.free.fr/jpg/classi-phylo.htm
</loc></url>
</urlset>
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment