Le but ici est de vous fournir un programme simple pour vous permettre de rechercher les doublons que vous pourriez avoir dans une de vos table SAS.  

Nous utilisons pour cela la proc SQL de SAS.  

On commence par afficher les informations de la table avec deux petites particularités :  

On regroupe les observations sur un critère que vous devez déterminer, ici on à choisi : « Nom, prenom, ville, region, pays » c’est l’objet de la partie GROUP BY.  

Ensuite on demande à SAS de nous retourner toutes les lignes aggrégées de la table dont le nombre de tuples « Nom, prenom, ville, region, pays » est supérieur à 1. C’est la clause HAVING.   

Le résultat renverra toutes les lignes possédant au moins un doublon, l’ensemble des variables de la table plus le « nombre » d’occurences pour chaque tuple.


/* ****************************************** */
/* Site : http://www.formations-sas.fr - 2010 */
/*                                            */
/* PGM = Détection des doublons sur Table SAS */
/*                                            */
/* Auteur : Pascal MAUBERT                    */
/* ****************************************** */

proc sql;
   title ‘Recherche des doublons’;
   select *, count(*) as nombre
      from table_double_sas
      group by Nom, prenom, ville, region, pays
      having count(*) > 1;
quit;

Programme Exemple SAS : Extraction Aléatoire sans Doublon

La problématique est la suivante, réaliser une pannélisation, pour des raisons de performance.

Afin d’appliquer un modèle prédictif sur une représentation limitée de population, ou afin d’optimiser les performance lors de l’écriture de programme SAS en effectuant des tests sur une petite portion d’une base de données, nous avons la possibilité avec le système SAS de réaliser très simplement une extraction de données, de type aléatoire et bien sur, cerise sur le gâteau : sans doublons.

Dans le programme SAS suivant, il vous suffit de renseigner les macros variables, entre le signe ‘=’ et le signe ‘;’ : PCT, contenant le pourcentage de lignes de la table à extraire et DS1, donnez lui le nom complet de la table SAS source, soit libname.tablename, ensuite lancer le programme SAS et voilà c’est tout.

Programme exemple SAS : Extraction aléatoire sans doublon.


/***  Pourcentage d'observations à garder ***/
* - - - - - - - - - - A modifier - - - - - - - - *
%let pct=20;	           /***  <=== PCT A modifier       ***/
%let ds1=ia.employee_data; /***  <=== Table SAS A modifier ***/
* - - - - - - - - - - A garder - - - - - - - - - *
data extraction(drop=nombre_aleatoire indice_depl nb_ligne_out d1 pct nb rc);
/* Combien d'observations dans la table sas. */
  if _n_ = 1 then do;
    d1=open("&ds1");
    nb=attrn(d1,'nobs');
    if d1 then rc=close(d1);
  end;

/* Préparation à l'extraction des données SAS */
  pct=input(symget('pct'),2.2);
  pointer=0;
  nb_ligne_out=nb * pct;

/* Boucle d'extraction */
  do while(nb_ligne_out > 0);
    pointer+1;
    nombre_aleatoire=ranuni(0);
    indice_depl=nb_ligne_out / (nb - pointer);
    if nombre_aleatoire < indice_depl then do;
      set &ds1 point=pointer;
      output;
      nb_ligne_out=nb_ligne_out-1;
    end;
  end;
stop;
run;

Ce code SAS, peut être utilisé avec SAS BASE, avec SAS Macro, avec SAS enterprise Guide (SEG). Des exemples (outils) comme celui-ci sont fournis lors de nos formations/stages.