Улцињски гусари су као плен одвели Грилову жену, њену сестру са кћеркицом, једну служавку и неколико морнара - Грилових сабораца (два Италијана и Џек Енглез) и предали их скадарском паши Абдији Чаушевићу. За вест се брзо чуло у Перасту. Пераштани су били гневни. Не само што је њихов јунак погубљен, већ је одвођењем робља, нарочито жена, нанет велики ударац и срамота Перасту. Поготово имајући у виду да је Гарофалијина сестра, односно Злоковићева млада жена, била у дубокој трудноћи.
Пераст почиње да спрема освету. Крв са Улцињанима је и иначе често падала, сад је требало нанети и срамоту Улцињу и скадарском паши. Врло брзо наког Гриловог погубљења, једна улцињска тартана је покушала да уђе у Боку и изазива Пераштане, успут су нанели штету околини Херцег-Новог. Но, Пераштани их муњевито стигоше и код Жањице ликвидираше целу посаду.
У јануару 1747. године међу Пераштанима је постигнут договор да се робље што пре ослободи. С обзиром на значај скадарске тврђаве и пашине резиденције и велике мере обезбеђења, отмица робља била би велики ударац османској власти. На изглед, то је била готово немогућа мисија. Главни организатор акције био је конте Стјепан Бујовић. У акцији је учествовало укупно 12-орица Пераштана, на челу са харамбашом Лазаревићем, а робље су ослободили поткупљени скадарски стражари, Албанци. Била је то сложена операција. Требало је наћи и поткупити стражаре, организовати одлазак Пераштана до Скадра, при чему је требало неопажено да приђу Скадру, затим да преузму заточенике и што пре је могуће врате се у безбедност Пераста. Пашини људи су стигли бегунце на паштровској граници, и ту су им Паштровићи помогли да измакну, сукобећи се с Турцима. Остао је о томе запис Драга Мартиновића, једног од учесника ослобађања, који између осталог наводи да је овом епском отмицом „задивљен цијели свијет“! О ослобађању Гриловице и осталог робља из Скадра спевано је и неколико народних десетерачких песама.
Млетачке власти су испрва биле на страни Пераштана, сматрајући да су Улцињани криви за цео догађај, јер су убили Грила и отели његову жену и пратњу. Међутим, случај је временом почео попримати размере међународног инцидента, јер је скадарски паша сматрао да је оштећен и да му Грилова жена и њена сестра припадају као нека врста ратног плена. Тих дана се Грилова свастика породила. Под притиском Порте, Млечани временом мењају став, да би коначно Перашкој општини упутили захтев да се ослобођено робље врати скадарском паши. Ту на сцену ступа солидарност Пераштана. На писано наређење млетачких власти да им жене буду изручене, представници перашке општине одлазе у кућу Јована Злоковића да разговарају са женама. Након тога, обавештавају млетачке власти да су оне пристале да буду изручене у Скадар.
Према постигнутом договору, 7. августа 1747. године у 15 часова, на обалу је приспео чамац који је требало да превезе жене до Котора. Међутим, на договореном месту се није појавио нико из Пераста. Одмах је наређено да се претресу све перашке куће и бродови и затворе Вериге како не би неко побегао морским путем. Бегунцима није било ни трага, па је закључено да су побегли копненим путем, вероватно према Црној Гори.