Generisanje random UNIQUE kodova

[MorenoArdohain]

Pa ja preferiram memoriju, manje ce drljati disk

[MorenoArdohain]

Originalno napisao Milos Vukotic

Moze i ovo Morenovo (osim sto treba $niz[$counter] = $broj]; )

Ne mora, key se automatski povecava

[noviKorisnik]

Originalno napisao bluesman

Ja ipak ne bih da smeštam 2 miliona kodova u memoriju pa onda da čuvam u file, to će potrajati i ako pukne, moram ponovo... nesigurno je.

Može biti, ali je dovoljno jednostavno da dozvoliš sebi luksuz da to testiraš. Deluje mi racionalnije od bar 2 miliona pojedinačnih inserta u bazu.

[dinke]

Uvek moze da koristi memory tabelu tj:

engine = memory

[MorenoArdohain]

Kad bi vi ovako teoretisali i o mom geotargeted postu, cccc
http://www.devprotalk.com/showthread.php?t=587

[noviKorisnik]

Default memory limit je 8M. Za niz treba 2 miliona po 8 bajtova, dakle oko 16 mega. Ostatak koda ne troši memoriju, tako da bi trebalo da ti...

PHP kôd:

ini_set ('memory_limit', 19000000); 


... valjano priprema memoriju za ovo.



// ali mu zato treba kila vremena ... stavio sam da se vrti za 200 000 i nikako da završi skriptu

[MorenoArdohain]

Kad bolje razmislim, ova moja verzija ima jednu manu, za svaki generisani broj se proverava ceo niz.. sto znacajno usporava..

Dok bi mysql verzija bila u prednosti, jer kad lupis insert, odmah znas jel insertovao ili nije (ako vec postoji u bazi), pa ce skript raditi brze

Tako da.. bolje mySQL (idem da se pokrijem ushima)

[Petar Marić]

Sad sam upravo generisao vektor od 2.000.000 celih pseudo-slučajnih brojeva sa opsegom [0..2^32-1] pomoću ove linije koda u MATLAB-u:

brojevi = randint(1, 2e6, 2^32);

Vreme izvršenja? Nešto malo više od 1 sekunde u virtuelnoj mašini.

Nešto sam malo kopao po MATLAB-ovom helpu ali nisam uspeo da nađem funkciju koja uklanja istovetne vrednosti iz vektora, tako da mogu da dam sledeći algoritam (mrzelo me da pišem kod) koji može biti prilično brži od vaših IMHO:
1. Pokrenemo MATLAB i u definišemo sledeće promenljive: broj_kodova (broj jedinstvenih kodova koje želimo da generišemo), multiplikator (generišemo s njim "rezervne kodove", uzmimo da je vrednost 2) i faktor_ubrzanja (ubrzava dolazak do rešenja tako što poništava efekat nejedinstvenih kodova - uzmimo za vrednost 2)

2. Izvršimo

podaci = sprintf('%x\n', randint(1, broj_kodova*multiplikator, 2^32));

Ovim korakom ćemo automatski dobiti broj_kodova*multiplikator kodova (u suštini su to 32-bitni brojevi u heksadecimalnoj reprezentaciji)

3. Izvršimo sledeći kod:

brojac = 1;
delta = broj_kodova;

4. Napravimo view jedinsteni_kodovi u bazi koji se sastoji od SELECT DISTINCT... SQL upita, tako da možemo jednostavnim brojanjem redova u view-u da saznamo koliko imamo jedinstvenih kodova, i hajde da kažemo da tu vrednost čuvamo u broj_jedinstvenih_kodova

5. Uradimo bulk insert podaci(brojac:delta+brojac-1, :) kodova u bazu (MATLAB podržava da se bulk insert izvrši jednim pozivom insert() funkcije)

6. Učitamo novu vrednost promenljive broj_jedinstvenih_kodova

7.

brojac = delta+brojac;
delta = (broj_kodova - broj_jedinstvenih_kodova) * faktor_ubrzanja;

8. Ako je delta > 0 onda se vraćamo na korak 5

9. Iz view-a povadimo broj_kodova redova i to smestimo u neku tabelu/dump/neki-drugi-izvor-podataka.

10. Pokrenemo, protegnemo se, popijemo kaficu i gotovo ;)



I have way too much free time on my hands :D

[dinke]

Originalno napisao MorenoArdohain

Kad bolje razmislim, ova moja verzija ima jednu manu, za svaki generisani broj se proverava ceo niz.. sto znacajno usporava..

Dok bi mysql verzija bila u prednosti, jer kad lupis insert, odmah znas jel insertovao ili nije (ako vec postoji u bazi), pa ce skript raditi brze

Tako da.. bolje mySQL (idem da se pokrijem ushima)

Pa rekoh ja lepo, a niko da slusa

MySQL tabela:

create table kodovi ( kod char(8) not null, primary key (kod)) engine = memory;

[bluesman]

nego, da li neko moze da me podseti kako se tu racuna broj kombinacija. Znaci string od 8 karaktera, potencijalne vrednosti a...z i 0...9 (nema velikih slova) = 36 karaktera.

Da li je 8^36 ? 2.821.109.907.456 ? Sve sam zaboravio, a nekada sam imao poseban predmet matematicka verovatnoca Doduse, to je bilo pre 18 godina... (bolje da sam ćutao za godine)